CN109726668A - 基于计算机视觉的洗手及消毒流程规范性自动检测方法 - Google Patents
基于计算机视觉的洗手及消毒流程规范性自动检测方法 Download PDFInfo
- Publication number
- CN109726668A CN109726668A CN201811592418.0A CN201811592418A CN109726668A CN 109726668 A CN109726668 A CN 109726668A CN 201811592418 A CN201811592418 A CN 201811592418A CN 109726668 A CN109726668 A CN 109726668A
- Authority
- CN
- China
- Prior art keywords
- hands
- hand
- image
- rubbing
- testing result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于计算机视觉的洗手及消毒流程规范性自动检测方法，包括如下步骤：S1：将摄像头固定于能够保证完整拍摄到水池区域的位置；S2：对待处理图像进行流程规范性自动检测：检测水龙头是否出水；检测手是否正在水中冲洗及手在水中冲洗的时间；检测是否采集了洗手液；检测手在搓洗过程中是否产生了足够的泡沫；检测双手在搓洗过程中是否有相互搓洗的动作；检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；检测双手在搓洗过程中是否有搓洗左右手背的动作；S3：将S2中的各项规范性检测结果显示在显示界面。本发明解决了微生物学采样检测洗手是否合格的方法成本高周期长结果易受干扰的问题。
Description
技术领域
本发明涉及计算机视觉技术领域，具体而言，尤其涉及一种基于计算机 视觉的洗手及消毒流程规范性自动检测方法。
背景技术
目前判断洗手是否合格的方法主要是对手部进行微生物学采样检测 致病菌：洗前涂抹荧光物质，洗后通过荧光灯照射采集手部图片判断是否 洗净，进而判断洗手是否合格，该方法存在的问题包括：
1)成本高，需要制作操作台，荧光灯、摄像头等设备；
2)缺点是检测周期长；
3)检测结果易受其它因素干扰。
发明内容
根据上述提出现有的微生物学采样检测洗手是否合格的方法成本高周期 长结果易受干扰的技术问题，而提供一种基于计算机视觉的洗手及消毒流程 规范性自动检测方法。本发明主要利用计算机视觉的方法对洗手及消毒过程 中的各个流程依次进行检测并将各步骤的检测结果实时的反映到显示界面 上，从而起到实施监督洗手过程规范性的作用。
本发明采用的技术手段如下：
基于计算机视觉的洗手及消毒流程规范性自动检测方法，包括如下步 骤：
S1：将摄像头固定于能够保证完整拍摄到水池区域的位置，水池区域内 包括水龙头出水口、排水口和洗手液按压头且摄像头能拍摄到由出水口至排 水口的完整水流；
S2：将摄像头拍摄的视频中每隔4帧取一帧图像作为待处理图像进行流 程规范性自动检测：
(1)流动水洗手规范性检测：
①检测水龙头是否出水；
②检测手是否正在水中冲洗及手在水中冲洗的时间；
(2)洗手液使用规范性检测：
①检测是否采集了洗手液；
②检测手在搓洗过程中是否产生了足够的泡沫；
(3)洗手动作规范性检测：
①检测双手在搓洗过程中是否有相互搓洗的动作；
②检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；
③检测双手在搓洗过程中是否有搓洗左右手背的动作；
S3：将S2中的各项规范性检测结果显示在显示界面。
进一步地，S1中，固定好摄像头后，将摄像头拍摄的视频中的第一帧图 像作为参考帧图像，参考帧图像中没有人且水龙头关闭；
打开水龙头，截取摄像头拍摄的视频中的一帧图像，手动选取图像中的 6个ROI区域并分别确定各区域的坐标数据，用于进行S2中的流程规范性自 动检测，6个ROI区域具体包括：
a1：出水口水流的位置区域，选定区域宽度大于出水口水流宽度；
a2：位于整个水流的中下部分的在水流中冲手的区域；
a3：水流落入排水口的位置区域，选定区域宽度为水流宽度的4倍；
a4：洗手液按压头区域；
a5：泡沫检测区域，选定区域包括洗手过程中双手的活动区域；
a6：洗手姿势判断区域，选定区域大于泡沫检测区域，用于判断洗手过 程中左右手背搓洗情况。
进一步地，检测水龙头是否出水具体包括如下步骤：
(1)根据a1区域的坐标数据提取参考帧图像和待处理图像的a1区域；
(2)采用水流垂直边缘检测方法检测待处理图像中是否存在垂直边缘， 若存在垂直边缘，对应的检测结果为水龙头出水，否则对应的检测结果为水 龙头未出水；根据检测结果更新显示界面上的显示内容，当检测结果为水龙 头出水时，对当前待处理图像继续进行S2中其他规范性检测；否则结束对当 前待处理图像的规范性检测。
进一步地，当待处理图像对应的水龙头是否出水的检测结果为水龙头出 水时，检测手是否正在水中冲洗及手在水中冲洗的时间，具体包括如下步骤：
(1)根据a2区域的坐标数据提取待处理图像的a2区域；
(2)对a2区域图像进行色彩增强，再对增强后的图像用肤色检测算 法区分出a2区域二值图像中的手的部分和非手部分，其中，手的部分的 像素值为1，非手部分的像素值为0；
(3)判断a2区域二值图像中手的部分的最小列是否处于第一列；若 处于，则表示手处在水流落下的区域，记rflow1＝1；否则，记rflow1＝0；
(4)根据a3区域的坐标数据提取参考帧图像和待处理图像的a3区域， 并采用水流垂直边缘检测方法检测a3区域图像中是否存在垂直边缘，若 存在垂直边缘，则说明排水孔位置有水流垂直落下，记rflow2＝1，否则，记 rflow2＝0；
(5)当rflow1＝1且rflow2＝0时，对应检测结果为手正在水中冲洗，记 Rwash＝1；否则，检测结果为手未在水中冲洗，记Rwash＝0；根据检测结果更 新显示界面上的显示内容；
(6)根据(5)中的检测结果Rwash，计算并在显示界面显示手在水中 冲洗的时间T′：
T′＝T+Rwash/fps
其中，T为当前待处理图像之前的视频中手在水中的累计时间，fps 为摄像头每秒采集图像帧的数量。
进一步地，采用的水流垂直边缘检测方法包括：
(1)对参考帧图像和待处理图像的ROI区域图像进行灰度化并做差分 取绝对值，得到差分图像；
(2)对差分图像进行倾斜矫正；
(3)对倾斜矫正后的差分图像使用SOBEL算子进行垂直边缘检测及二 值化处理，得到二值图像；
(4)统计二值图像中相邻2列的像素点像素值总和的最大值 其中，Pij表示第i列j行的像素值，H表示二值图像的高， W表示二值图像的宽，a＝{1,2,...,W-1}；
(5)将E与阈值Ⅰ进行比较，其中，阈值Ⅰ为ROI区域图像高度的70％ 至85％；若E大于阈值Ⅰ，则表示存在垂直边缘，否则不存在垂直边缘。
进一步地，当待处理图像对应的水龙头是否出水的检测结果为水龙头 出水时，检测是否采集了洗手液，具体包括如下步骤：
(1)根据a4区域的坐标数据提取待处理图像的a4区域；
(2)对a4区域图像进行色彩增强，再对增强后的图像用肤色检测算 法区分出a4区域二值图像中的手的部分和非手部分，其中，手的部分的 像素值为1，非手部分的像素值为0；
(3)采用下列公式计算a4区域二值图像中手的部分所占比例：
其中，Psij表示a4区域二值图像中第i行j列的像素值，Hs表示a4区 域图像的高，Ws表示a4区域图像的宽；
(4)比较Ssoap与阈值Ⅱ的大小，其中，阈值Ⅱ为0.8：
①若Ssoap＞阈值Ⅱ，则表示当前待处理图像中手处于a4区域；
进一步对先前各帧图像是否完成了洗手液采集进行具体判断：
若在当前待处理图像进行检测之前有连续N1帧图像的检测结果均为 正在采集洗手液，其中N1为预设值，则记Rsoap＝1，对应的检测结果为已 完成采集洗手液但手未离开；
若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始， 则记Rsoap＝2，对应的检测结果为正在采集洗手液；
②若Ssoap≤阈值Ⅱ，则表示当前待处理图像中手不在a4区域；
进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的 检测结果：
若当前待处理图像的前一帧的检测结果为已完成采集洗手液但手未 离开，则记Rsoap＝3，对应的检测结果为完成洗手液采集且手已离开；
若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始， 则记Rsoap＝4，对应的检测结果为采集洗手液的动作未开始；
(5)根据检测结果更新显示界面上的显示内容。
进一步地，当当前待处理图像对应的是否采集了洗手液的检测结果为 Rsoap＝3时，检测手在搓洗过程中是否产生了足够的泡沫，具体包括如下步 骤：
根据手在水中冲洗的时间，判断冲手时间是否足够；
若足够，则继续进行检测；
若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像 的检测；
(1)根据a5区域的坐标数据提取待处理图像的a5区域；
(2)根据由场景的光照条件预设的阈值Ⅲ区分待处理图像的灰度直 方图中的泡沫部分和非泡沫部分，将a5区域图像转化为二值图像后，泡 沫部分的像素值为1，非泡沫部分的像素值为0；
(3)采用下列公式计算a5区域二值图像中泡沫部分所占比例：
其中，Pfij表示a5区域二值图像中第i行j列的像素值，Hf表示a5区 域图像的高，Wf表示a5区域图像的宽；
(4)比较Sfoam与预设的阈值Ⅳ的大小，并将比较结果保存：
①若Sfoam＞阈值Ⅳ，则表示当前待处理图像中泡沫量达到要求；
②若Sfoam≤阈值Ⅳ，则表示当前待处理图像中泡沫量未达到要求；
(5)统计当前待处理图像及之前的N2帧图像对应的是否产生了足够 的泡沫检测结果，其中N2为预设值；若统计的所有检测结果中泡沫量达 到要求的数量大于阈值Ⅴ，对应的检测结果为产生了足够的泡沫，否则检 测结果为未产生足够的泡沫；其中，阈值Ⅴ的取值为7～15；
(6)根据检测结果更新显示界面上的显示内容。
进一步地，当待处理图像对应的是否使用了洗手液的检测结果为 Rsoap＝3时，检测双手在搓洗过程中是否完成相互搓洗的动作，具体包括如 下步骤：
根据手在水中冲洗的时间，判断冲手时间是否足够；
若足够，则继续进行检测；
若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像 的检测；
(1)根据a6区域的坐标数据提取待处理图像的a6区域；
(2)对a6区域图像进行色彩增强，再对增强后的图像用肤色检测算 法区分出a6区域二值图像中的手的部分和非手部分，并统计手的部分的 位置坐标，其中，手的部分的像素值为1，非手部分的像素值为0；
(3)统计a6区域二值图像中并拢的双手总长：
①将二值图像第一列像素点的像素值置零；
②统计二值图像中像素值为0的每一个连通区域的面积和位置坐标， 连通区域的面积为连通区域内的像素点个数；
③步骤②中的连通区域中面积最大的区域为b1，面积第二大的区域为 b2；
④采用下列公式计算并拢的双手总长：
L＝min xb2-min xhand
其中，xb2表示b2的横坐标，xhand表示图像中手的部分的横坐标，L表 示图像中双手相对靠前的指尖与相对靠后的手腕之间的距离；
(4)采用下列公式计算当前待处理图像与前一帧图像的L的差的绝 对值：
dLn＝|Ln-1-Ln|
其中，dLn表示两帧图像的L的差的绝对值，Ln表示第n帧图像的并 拢的双手总长，Ln-1表示第n-1帧图像的并拢的双手总长；
(5)统计包括当前待处理图像的连续的5帧图像内双手相对运动的 总路程若总路程大于阈值Ⅵ，则表示双手在搓洗过程中有相互搓 洗的动作，记rmove＝1；否则表示双手在搓洗过程中没有相互搓洗的动作， 记rmove＝0；
其中，阈值Ⅵ为预设值，用于区分连续5帧图像内双手进行了相互搓 洗与双手并拢没有相互搓洗两种情况；
(6)统计当前待处理图像及之前的N3帧图像对应的rmove＝1的数量， 其中N3为预设值；若数量超过预设的阈值Ⅶ，对应的检测结果为互相搓 洗动作已完成，否则检测结果为互相搓洗动作未完成；
(7)根据检测结果更新显示界面上的显示内容，其中，若检测结果 为互相搓洗动作已完成，对当前待处理图像继续进行后续其他规范性检 测；否则结束对当前待处理图像的规范性检测。
进一步地，检测双手在搓洗过程中是否完成十指交叉相互搓洗的动 作，具体包括如下步骤：
若当前待处理图像的前一帧图像的双手在搓洗过程中是否完成十指 交叉相互搓洗的动作的检测结果为已经完成十指交叉相互搓洗的动作，则 结束检测，否则继续判断当前待处理图像是否有双手在搓洗过程中有相互 搓洗的动作，若rmove＝1则继续检测，否则结束检测：
(1)提取待处理图像的a6区域；将a6区域图像二值化，得到得到泡 沫检测二值图像ffoam和手部检测二值图像fhand；根据公式fcross＝fhand∪ffoam， 得到泡沫补偿后的手部检测二值图像fcross(填补因泡沫覆盖无法检测出的 手部)；
(2)手指数量检测：
①将手部检测二值图像fcross中像素值为0的连通区域中面积第二大的 区域b2中横坐标值最小的像素点所在列至fcross最右侧一列区间内所有像 素点的像素值置零，得到图像f′cross；
②计算图像f′cross的重心的横坐标xG；
③用半径大小为0.08L的圆盘型结构元素对f′cross图像进行ferode＝f'crossΘB 运算，其中B为结构元素；然后用同样的结构元素对ferode做运 算；
④对二值图像fopen的像素值取反得到f′open，将f′nepo中第xG列及其右侧 的所有列全部置零，得到fdl；
⑤根据公式ffinger＝f′cross∩fdl得到ffinger；
⑥统计ffinger中连通域数量即为手指数量Nfinger；
(3)比较手指数量Nfinger与4大小：
①若Nfinger≥4，表示在当前待处理图像中双手在搓洗过程中十指处于 交叉状态，记rcross＝1；
②若Nfinger＜4，表示在当前待处理图像中双手在搓洗过程中十指未处 于交叉状态，记rcross＝0；
(4)统计当前待处理图像及之前的N4帧图像对应的rmove＝1的数量是 否大于预设的阈值Ⅷ，其中N4为预设值；若大于阈值Ⅷ，对应的检测结 果为已经完成十指交叉相互搓洗的动作；否则检测结果为未完成十指交叉 相互搓洗的动作；
(5)根据检测结果更新显示界面上的显示内容。
进一步地，检测双手在搓洗过程中是否完成搓洗左右手背的动作，具 体包括如下步骤：
若当前待处理图像的前一帧图像的双手在搓洗过程中是否完成搓洗 左右手背的动作的检测结果为已完成左手背搓洗且已完成右手背搓洗，则 结束检测，否则继续判断当前待处理图像是否有相互搓洗的动作，若 rmove＝1则继续检测，否则结束检测：
(1)提取待处理图像的a6区域；将a6区域图像二值化，得到得到泡 沫检测二值图像ffoam和手部检测二值图像fhand；根据公式fcross＝fhand∪ffoam， 得到泡沫补偿后的手部检测二值图像fcross(填补因泡沫覆盖无法检测出的 手部)；
(2)对fcross用半径大小为5的圆盘型结构元素进行运 算，其中C为结构元素；然后用同样的结构元素对fdilate做fclose＝fdilateΘC运 算，再对二值图fclose的第一列置零得到f′close；
(3)统计f′close中的各连通域的面积和位置坐标，并保存N帧内的连 通域信息；
(4)比较当前待处理图像的连通域数量与2的关系：
若大于等于2，则进入(5)；
若小于2，则表示手没有处于手背搓洗状态，保持所有结果不变，对 应检测结果为否；
(5)比较当前待处理图像的所有连通域中面积第二大的连通域的面 积Sarea2与预设的阈值Ⅸ的关系，其中，阈值Ⅸ为手部检测二值图像fcross中 像素值为0的连通区域中面积第二大的区域b2的面积的1.5倍：
若Sarea2＞阈值Ⅸ，则进入(6)；
若Sarea2≤阈值Ⅸ，则判断手没有处于“手背搓洗”状态，保持所有结果 不变，对应检测结果为否；
(6)比较当前待处理图像和前N帧图像的所有的Sarea2的最大值与最 小值的差dS与预设的阈值Ⅹ的大小：
若dS＞阈值Ⅹ，则表示此时正在搓洗手背，进入(7)进行检测搓洗 的是左手背还是右手背；
若dS≤阈值Ⅹ，则判断手没有处于“手背搓洗”状态，保持所有结果不 变，对应检测结果为否；
(7)统计(5)中第二大的连通域内像素点中纵坐标最小值minyarea2， 并保存N5帧内的minyarea2，其中，N5为预设值；
(8)计算前一帧图像的上一帧图像与当前待处理图像对应的minyarea2的差值dY，判断dY与预设的阈值Ⅺ的关系：
若dY＞阈值Ⅺ，表示当前待处理图像中左手在大幅度上下移动，即正 在搓洗右手背，记rright＝1；
若dY≤阈值Ⅺ，表示左手基本没有在进行动作，即右手在搓洗左手背， 记rleft＝1；
(9)统计rleft＝1和rright＝1的数量：
若rleft＝1的数量大于预设的阈值Ⅻ，则对应的检测结果为已完成左手 背搓洗，否则对应的检测结果为未完成左手背搓洗；
若rright＝1的数量大于预设的阈值Ⅻ，则对应的检测结果为已完成右手 背搓洗，否则对应的检测结果为未完成右手背搓洗；
(10)根据检测结果更新显示界面上的显示内容。
较现有技术相比，本发明具有以下优点：
1、本发明提供的基于计算机视觉的洗手及消毒流程规范性自动检测 方法，从计算机视觉的角度模拟人的监督方式对洗手流程进行监督，对硬 件要求很低，不需要昂贵的检测仪器和传感器，只需要一台摄像机和计算 机。
2、本发明提供的基于计算机视觉的洗手及消毒流程规范性自动检测方 法，对各种结果的显示基本能够达到实时，便于监督。
3、本发明提供的基于计算机视觉的洗手及消毒流程规范性自动检测方 法，不需要被监督人多余的配合操作，如洗手前提前涂抹荧光物质，洗完放 到检测仪下检测；实际应用的适应性很高。
综上，应用本发明的技术方案利用计算机视觉的方法对洗手及消毒过程 中的各个流程依次进行检测并将各步骤的检测结果实时的反映到显示界面 上，从而起到实时监督洗手过程规范性的作用。因此，本发明的技术方案解 决了现有技术中的微生物学采样检测洗手是否合格的方法成本高周期长结果 易受干扰的技术问题。
基于上述理由本发明可在洗手规范性检测等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述基于计算机视觉的洗手及消毒流程规范性自动检测方 法的流程图。
图2为摄像头拍摄的水池区域的图像。
图3为选择了6个ROI区域的图像。
图4为检测双手在搓洗过程中是否完成相互搓洗的动作时a6区域的二值 图像。
图5为检测双手在搓洗过程中是否完成搓洗左右手背的动作时a6区域的 二值图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显 然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下 所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先 后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的 本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此 外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的 包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不 必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于 这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
如图1-2所示，本发明提供了一种基于计算机视觉的洗手及消毒流程规 范性自动检测方法，包括如下步骤：
S1：将摄像头固定于能够保证完整拍摄到水池区域的位置，水池区域内 包括水龙头出水口、排水口和洗手液按压头且摄像头能拍摄到由出水口至排 水口的完整水流；
S2：将摄像头拍摄的视频中每隔4帧取一帧图像作为待处理图像进行流 程规范性自动检测：
(1)流动水洗手规范性检测：
①检测水龙头是否出水；
②检测手是否正在水中冲洗及手在水中冲洗的时间；
(2)洗手液使用规范性检测：
①检测是否采集了洗手液；
②检测手在搓洗过程中是否产生了足够的泡沫；
(3)洗手动作规范性检测：
①检测双手在搓洗过程中是否有相互搓洗的动作；
②检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；
③检测双手在搓洗过程中是否有搓洗左右手背的动作；
S3：将S2中的各项规范性检测结果显示在显示界面。
进一步地，S1中，固定好摄像头后，将摄像头拍摄的视频中的第一帧图 像作为参考帧图像，参考帧图像中没有人且水龙头关闭；
如图3所示，打开水龙头，截取摄像头拍摄的视频中的一帧图像，手动 选取图像中的6个ROI区域并分别确定各区域的坐标数据，用于进行S2中 的流程规范性自动检测，6个ROI区域具体包括：
a1：出水口水流的位置区域，选定区域宽度大于出水口水流宽度；
a2：位于整个水流的中下部分的在水流中冲手的区域；
a3：水流落入排水口的位置区域，选定区域宽度为水流宽度的4倍；
a4：洗手液按压头区域；
a5：泡沫检测区域，选定区域包括洗手过程中双手的活动区域；
a6：洗手姿势判断区域，选定区域大于泡沫检测区域，用于判断洗手过 程中左右手背搓洗情况。
进一步地，检测水龙头是否出水具体包括如下步骤：
(1)根据a1区域的坐标数据提取参考帧图像和待处理图像的a1区域；
(2)采用水流垂直边缘检测方法检测待处理图像中是否存在垂直边缘， 若存在垂直边缘，对应的检测结果为水龙头出水，否则对应的检测结果为水 龙头未出水；根据检测结果更新显示界面上的显示内容，当检测结果为水龙 头出水时，对当前待处理图像继续进行S2中其他规范性检测；否则结束对当 前待处理图像的规范性检测。
进一步地，当待处理图像对应的水龙头是否出水的检测结果为水龙头出 水时，检测检测手是否正在水中冲洗及手在水中冲洗的时间，具体包括如下 步骤：
(1)根据a2区域的坐标数据提取待处理图像的a2区域；
(2)对a2区域图像进行色彩增强，再对增强后的图像用肤色检测算 法区分出a2区域二值图像中的手的部分和非手部分，其中，手的部分的 像素值为1，非手部分的像素值为0；
(3)判断a2区域二值图像中手的部分的最小列是否处于第一列；若 处于，则表示手处在水流落下的区域，记rflow1＝1；否则，记rflow1＝0；
(4)根据a3区域的坐标数据提取参考帧图像和待处理图像的a3区域， 并采用水流垂直边缘检测方法检测a3区域图像中是否存在垂直边缘，若 存在垂直边缘，则说明排水孔位置有水流垂直落下，记rflow2＝1，否则，记 rflow2＝0；
(5)当rflow1＝1且rflow2＝0时，对应检测结果为手正在水中冲洗，记 Rwash＝1；否则，检测结果为手未在水中冲洗，记Rwash＝0；根据检测结果更 新显示界面上的显示内容；
(6)根据(5)中的检测结果Rwash，计算并在显示界面显示手在水中 冲洗的时间T′：
T′＝T+Rwash/fps
其中，T为当前待处理图像之前的视频中手在水中的累计时间，fps 为摄像头每秒采集图像帧的数量；
计算手在水中冲洗的时间T′时，假设视频第一帧图像的检测结果为 Rwash＝1，fps为30，则T＇＝0+1/30＝1/30，显示界面上手在水中冲洗的时间 更新为1/30s；第二帧图像的检测结果为Rwash＝0，则T＇＝1/30+0/30＝1/30； 第三帧图像的检测结果为Rwash＝1，则T＇＝1/30+1/30＝2/30，显示界面上手 在水中冲洗的时间更新为2/30s，以此类推……。
进一步地，采用的水流垂直边缘检测方法包括：
(1)对参考帧图像和待处理图像的ROI区域图像进行灰度化并做差分 取绝对值，得到差分图像；
(2)对差分图像进行倾斜矫正；
(3)对倾斜矫正后的差分图像使用SOBEL算子进行垂直边缘检测及二 值化处理，得到二值图像；
(4)统计二值图像中相邻2列的像素点像素值总和的最大值 其中，Pij表示第i列j行的像素值，H表示二值图像的高， W表示二值图像的宽，a＝{1,2,...,W-1}；
(5)将E与阈值Ⅰ进行比较，其中，阈值Ⅰ为ROI区域图像高度的70％ 至85％，具体的：在检测水龙头是否出水时，阈值Ⅰ为a1区域图像高度的 70％至85％；在检测手是否正在水中冲洗时，阈值Ⅰ为a2区域图像高度的70％ 至85％；
若E大于阈值Ⅰ，则表示存在垂直边缘，否则不存在垂直边缘。
进一步地，当待处理图像对应的水龙头是否出水的检测结果为水龙头 出水时，检测是否采集了洗手液，具体包括如下步骤：
(1)根据a4区域的坐标数据提取待处理图像的a4区域；
(2)对a4区域图像进行色彩增强，再对增强后的图像用肤色检测算 法区分出a4区域二值图像中的手的部分和非手部分，其中，手的部分的 像素值为1，非手部分的像素值为0；
(3)采用下列公式计算a4区域二值图像中手的部分所占比例：
其中，Psij表示a4区域二值图像中第i行j列的像素值，Hs表示a4区 域图像的高，Ws表示a4区域图像的宽；
(4)比较Ssoap与阈值Ⅱ的大小，其中，阈值Ⅱ为0.8：
①若Ssoap＞阈值Ⅱ，则表示当前待处理图像中手处于a4区域；
进一步对先前各帧图像是否完成了洗手液采集进行具体判断：
若在当前待处理图像进行检测之前有连续N1帧图像的检测结果均为 正在采集洗手液，其中N1为预设值，则记Rsoap＝1，对应的检测结果为已 完成采集洗手液但手未离开；
若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始， 则记Rsoap＝2，对应的检测结果为正在采集洗手液；
②若Ssoap≤阈值Ⅱ，则表示当前待处理图像中手不在a4区域；
进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的 检测结果：
若当前待处理图像的前一帧的检测结果为已完成采集洗手液但手未 离开，则记Rsoap＝3，对应的检测结果为完成洗手液采集且手已离开；
若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始， 则记Rsoap＝4，对应的检测结果为采集洗手液的动作未开始；
(5)根据检测结果更新显示界面上的显示内容。
进一步地，当当前待处理图像对应的是否采集了洗手液的检测结果为 Rsoap＝3时，检测手在搓洗过程中是否产生了足够的泡沫，具体包括如下步 骤：
根据手在水中冲洗的时间，判断冲手时间是否足够；
若足够，则继续进行检测；
若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像 的检测；
(1)根据a5区域的坐标数据提取待处理图像的a5区域；
(2)根据由场景的光照条件预设的阈值Ⅲ区分待处理图像的灰度直 方图中的泡沫部分和非泡沫部分，将a5区域图像转化为二值图像后，泡 沫部分的像素值为1，非泡沫部分的像素值为0；
(3)采用下列公式计算a5区域二值图像中泡沫部分所占比例：
其中，Pfij表示a5区域二值图像中第i行j列的像素值，Hf表示a5区 域图像的高，Wf表示a5区域图像的宽；
(4)比较Sfoam与预设的阈值Ⅳ的大小，并将比较结果保存：
①若Sfoam＞阈值Ⅳ，则表示当前待处理图像中泡沫量达到要求；
②若Sfoam≤阈值Ⅳ，则表示当前待处理图像中泡沫量未达到要求；
其中，用户根据实际应用中用户划定的a5区域面积大小预设阈值Ⅳ 的值；
(5)统计当前待处理图像及之前的N2帧图像对应的是否产生了足够 的泡沫检测结果，其中N2为预设值；若统计的所有检测结果中泡沫量达 到要求的数量大于阈值Ⅴ，对应的检测结果为产生了足够的泡沫，否则检 测结果为未产生足够的泡沫；其中，阈值Ⅴ的取值为7～15；
(6)根据检测结果更新显示界面上的显示内容。
进一步地，当待处理图像对应的是否使用了洗手液的检测结果为Rsoap＝3时，检测双手在搓洗过程中是否完成相互搓洗的动作，具体包括如 下步骤：
根据手在水中冲洗的时间，判断冲手时间是否足够；
若足够，则继续进行检测；
若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像 的检测；
(1)根据a6区域的坐标数据提取待处理图像的a6区域；
(2)如图4所示，对a6区域图像进行色彩增强，再对增强后的图像 用肤色检测算法区分出a6区域二值图像中的手的部分和非手部分，并统 计手的部分的位置坐标，其中，手的部分的像素值为1，非手部分的像素 值为0；
(3)统计a6区域二值图像中并拢的双手总长：
①将二值图像第一列像素点的像素值置零；
②统计二值图像中像素值为0的每一个连通区域的面积和位置坐标， 连通区域的面积为连通区域内的像素点个数；
③步骤②中的连通区域中面积最大的区域为b1，面积第二大的区域为 b2；
④采用下列公式计算并拢的双手总长：
L＝min xb2-min xhand
其中，xb2表示b2的横坐标，xhand表示图像中手的部分的横坐标，L表 示图像中双手相对靠前的指尖与相对靠后的手腕之间的距离；
(4)采用下列公式计算当前待处理图像与前一帧图像的L的差的绝 对值：
dLn＝|Ln-1-Ln|
其中，dLn表示两帧图像的L的差的绝对值，Ln表示第n帧图像的并 拢的双手总长，Ln-1表示第n-1帧图像的并拢的双手总长；
(5)统计包括当前待处理图像的连续的5帧图像内双手相对运动的 总路程若总路程大于阈值Ⅵ，则表示双手在搓洗过程中有相互搓 洗的动作，记rmove＝1；否则表示双手在搓洗过程中没有相互搓洗的动作， 记rmove＝0；
其中，阈值Ⅵ为预设值，用于区分连续5帧图像内双手进行了相互搓 洗与双手并拢没有相互搓洗两种情况；
(6)统计当前待处理图像及之前的N3帧图像对应的rmove＝1的数量， 其中N3为预设值；若数量超过预设的阈值Ⅶ，对应的检测结果为互相搓 洗动作已完成，否则检测结果为互相搓洗动作未完成；
其中，阈值Ⅶ根据需要预设，例如用户要求相互搓洗的时间大于等于 5s，fps为30帧/秒，则阈值Ⅶ＝5/5*30＝30，式中第一个5为用户要求相互 搓洗的时间5s，第二个5为采用该方法进行检测时每5帧采集一张图片；
(7)根据检测结果更新显示界面上的显示内容，其中，若检测结果 为互相搓洗动作已完成，对当前待处理图像继续进行后续其他规范性检 测；否则结束对当前待处理图像的规范性检测。
进一步地，检测双手在搓洗过程中是否完成十指交叉相互搓洗的动 作，具体包括如下步骤：
若当前待处理图像的前一帧图像的双手在搓洗过程中是否完成十指 交叉相互搓洗的动作的检测结果为已经完成十指交叉相互搓洗的动作，则 结束检测，否则继续判断当前待处理图像是否有双手在搓洗过程中有相互 搓洗的动作，若rmove＝1则继续检测，否则结束检测：
(1)提取待处理图像的a6区域；将a6区域图像二值化，得到得到泡 沫检测二值图像ffoam和手部检测二值图像fhand；根据公式fcross＝fhand∪ffoam， 得到泡沫补偿后的手部检测二值图像fcross(填补因泡沫覆盖无法检测出的 手部)；
(2)手指数量检测：
①将手部检测二值图像fcross中像素值为0的连通区域中面积第二大的 区域b2中横坐标值最小的像素点所在列至fcross最右侧一列区间内所有像 素点的像素值置零，得到图像f′cross；
②计算图像f′cross的重心的横坐标xG；
③用半径大小为0.08L的圆盘型结构元素对f′cross图像进行ferode＝f'crossΘB 运算，其中B为结构元素；然后用同样的结构元素对ferode做运 算；
④对二值图像fopen的像素值取反得到f′open，将f′nepo中第xG列及其右侧 的所有列全部置零，得到fdl；
⑤根据公式ffinger＝f′cross∩fdl得到ffinger；
⑥统计ffinger中连通域数量即为手指数量Nfinger；
(3)比较手指数量Nfinger与4大小：
①若Nfinger≥4，表示在当前待处理图像中双手在搓洗过程中十指处于 交叉状态，记rcross＝1；
②若Nfinger＜4，表示在当前待处理图像中双手在搓洗过程中十指未处 于交叉状态，记rcross＝0；
(4)统计当前待处理图像及之前的N4帧图像对应的rmove＝1的数量是 否大于预设的阈值Ⅷ，其中N4为预设值；若大于阈值Ⅷ，对应的检测结 果为已经完成十指交叉相互搓洗的动作；否则检测结果为未完成十指交叉 相互搓洗的动作；
其中，阈值Ⅷ根据需要预设，例如用户要求相互搓洗的时间大于等于 5s，fps为30帧/秒，则阈值Ⅷ＝5/5*30＝30，式中第一个5为用户要求相互 搓洗的时间5s，第二个5为采用该方法进行检测时每5帧采集一张图片；
(5)根据检测结果更新显示界面上的显示内容。
进一步地，检测双手在搓洗过程中是否完成搓洗左右手背的动作，具 体包括如下步骤：
若当前待处理图像的前一帧图像的双手在搓洗过程中是否完成搓洗 左右手背的动作的检测结果为已完成左手背搓洗且已完成右手背搓洗，则 结束检测，否则继续判断当前待处理图像是否有相互搓洗的动作，若 rmove＝1则继续检测，否则结束检测：
(1)提取待处理图像的a6区域；将a6区域图像二值化，得到得到泡 沫检测二值图像ffoam和手部检测二值图像fhand；根据公式fcross＝fhand∪ffoam， 得到泡沫补偿后的手部检测二值图像fcross(填补因泡沫覆盖无法检测出的 手部)；
(2)对fcross用半径大小为5的圆盘型结构元素进行运 算，其中C为结构元素；然后用同样的结构元素对fdilate做fclose＝fdilateΘC运 算，再对二值图fclose的第一列置零得到f′close；
(3)统计f′close中的各连通域的面积和位置坐标，并保存N帧内的连 通域信息；
(4)比较当前待处理图像的连通域数量与2的关系：
若大于等于2，则进入(5)；
若小于2，则表示手没有处于手背搓洗状态，保持所有结果不变，对 应检测结果为否；
(5)比较当前待处理图像的所有连通域中面积第二大的连通域的面 积Sarea2与预设的阈值Ⅸ的关系，其中，阈值Ⅸ为手部检测二值图像fcross中 像素值为0的连通区域中面积第二大的区域b2的面积的1.5倍：
若Sarea2＞阈值Ⅸ，则进入(6)；
若Sarea2≤阈值Ⅸ，则判断手没有处于“手背搓洗”状态，保持所有结果 不变，对应检测结果为否；
(6)比较当前待处理图像和前N帧图像的所有的Sarea2的最大值与最 小值的差dS与预设的阈值Ⅹ的大小：
若dS＞阈值Ⅹ，则表示此时正在搓洗手背，进入(7)进行检测搓洗 的是左手背还是右手背；
若dS≤阈值Ⅹ，则判断手没有处于“手背搓洗”状态，保持所有结果不 变，对应检测结果为否；
其中，阈值Ⅹ根据需要预设，略小于实际拍摄情况中在手背搓洗的时 候Sarea2的最大值与最小值的差；
(7)统计(5)中第二大的连通域内像素点中纵坐标最小值minyarea2， 即图5中的y，并保存N5帧内的minyarea2，其中，N5为预设值；
(8)计算前一帧图像的上一帧图像与当前待处理图像对应的minyarea2的差值dY，判断dY与预设的阈值Ⅺ的关系：
若dY＞阈值Ⅺ，表示当前待处理图像中左手在大幅度上下移动，即正 在搓洗右手背，记rright＝1；
若dY≤阈值Ⅺ，表示左手基本没有在进行动作，即右手在搓洗左手背， 记rleft＝1；
其中，阈值Ⅺ根据需要预设，根据实际的拍摄场景，统计在拍摄时搓 洗单手手背及在做其他动作时dY的值的变化范围，阈值Ⅺ的取值大于在 做其他动作时的dY值；
(9)统计rleft＝1和rright＝1的数量：
若rleft＝1的数量大于预设的阈值Ⅻ，则对应的检测结果为已完成左手 背搓洗，否则对应的检测结果为未完成左手背搓洗；
若rright＝1的数量大于预设的阈值Ⅻ，则对应的检测结果为已完成右手 背搓洗，否则对应的检测结果为未完成右手背搓洗；
其中，阈值Ⅻ根据需要预设，例如用户要求相互搓洗的时间大于等于 5s，fps为30帧/秒，则阈值Ⅻ＝5/5*30＝30，式中第一个5为用户要求相互 搓洗的时间5s，第二个5为采用该方法进行检测时每5帧采集一张图片；
(10)根据检测结果更新显示界面上的显示内容。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者 对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使 相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于，包括如下步骤：
S1：将摄像头固定于能够保证完整拍摄到水池区域的位置，水池区域内包括水龙头出水口、排水口和洗手液按压头且摄像头能拍摄到由出水口至排水口的完整水流；
S2：将摄像头拍摄的视频中每隔4帧取一帧图像作为待处理图像进行流程规范性自动检测：
(1)流动水洗手规范性检测：
①检测水龙头是否出水；
②检测手是否正在水中冲洗及手在水中冲洗的时间；
(2)洗手液使用规范性检测：
①检测是否采集了洗手液；
②检测手在搓洗过程中是否产生了足够的泡沫；
(3)洗手动作规范性检测：
①检测双手在搓洗过程中是否有相互搓洗的动作；
②检测双手在搓洗过程中是否有十指交叉相互搓洗的动作；
③检测双手在搓洗过程中是否有搓洗左右手背的动作；
S3：将S2中的各项规范性检测结果显示在显示界面。
2.根据权利要求1所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：S1中，固定好摄像头后，将摄像头拍摄的视频中的第一帧图像作为参考帧图像，参考帧图像中没有人且水龙头关闭；
打开水龙头，截取摄像头拍摄的视频中的一帧图像，手动选取图像中的6个ROI区域并分别确定各区域的坐标数据，用于进行S2中的流程规范性自动检测，6个ROI区域具体包括：
a1：出水口水流的位置区域，选定区域宽度大于出水口水流宽度；
a2：位于整个水流的中下部分的在水流中冲手的区域；
a3：水流落入排水口的位置区域，选定区域宽度为水流宽度的4倍；
a4：洗手液按压头区域；
a5：泡沫检测区域，选定区域包括洗手过程中双手的活动区域；
a6：洗手姿势判断区域，选定区域大于泡沫检测区域，用于判断洗手过程中左右手背搓洗情况。
3.根据权利要求2所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
检测水龙头是否出水具体包括如下步骤：
(1)根据a1区域的坐标数据提取参考帧图像和待处理图像的a1区域；
(2)采用水流垂直边缘检测方法检测待处理图像中是否存在垂直边缘，若存在垂直边缘，对应的检测结果为水龙头出水，否则对应的检测结果为水龙头未出水；根据检测结果更新显示界面上的显示内容，当检测结果为水龙头出水时，对当前待处理图像继续进行S2中其他规范性检测；否则结束对当前待处理图像的规范性检测。
4.根据权利要求2所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
当待处理图像对应的水龙头是否出水的检测结果为水龙头出水时，检测手是否正在水中冲洗及手在水中冲洗的时间，具体包括如下步骤：
(1)根据a2区域的坐标数据提取待处理图像的a2区域；
(2)对a2区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a2区域二值图像中的手的部分和非手部分，其中，手的部分的像素值为1，非手部分的像素值为0；
(3)判断a2区域二值图像中手的部分的最小列是否处于第一列；若处于，则表示手处在水流落下的区域，rflow1＝1；否则rflow1＝0；
(4)根据a3区域的坐标数据提取参考帧图像和待处理图像的a3区域，并采用水流垂直边缘检测方法检测a3区域图像中是否存在垂直边缘，若存在垂直边缘，则说明排水孔位置有水流垂直落下，则结果rflow2＝1，否则rflow2＝0；
(5)当rflow1＝1且rflow2＝0时，对应检测结果为手正在水中冲洗Rwash＝1；否则，检测结果为手未在水中冲洗Rwash＝0；根据检测结果更新显示界面上的显示内容；
(6)根据(5)中的检测结果Rwash，计算并在显示界面显示手在水中冲洗的时间T′：
T′＝T+Rwash/fps
其中，T为当前待处理图像之前的视频中手在水中的累计时间，fps为摄像头每秒采集图像帧的数量。
5.根据权利要求3或4所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于，采用的水流垂直边缘检测方法包括：
(1)对参考帧图像和待处理图像的ROI区域图像进行灰度化并做差分取绝对值，得到差分图像；
(2)对差分图像进行倾斜矫正；
(3)对倾斜矫正后的差分图像使用SOBEL算子进行垂直边缘检测及二值化处理，得到二值图像；
(4)统计二值图像中相邻2列的像素点像素值总和的最大值其中，Pij表示第i列j行的像素值，H表示二值图像的高，W表示二值图像的宽，a＝{1,2,...,W-1}；
(5)将E与阈值Ⅰ进行比较，其中，阈值Ⅰ为ROI区域图像高度的70％至85％；若E大于阈值Ⅰ，则表示存在垂直边缘，否则不存在垂直边缘。
6.根据权利要求2所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
当待处理图像对应的水龙头是否出水的检测结果为水龙头出水时，检测是否采集了洗手液，具体包括如下步骤：
(1)根据a4区域的坐标数据提取待处理图像的a4区域；
(2)对a4区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a4区域二值图像中的手的部分和非手部分，其中，手的部分的像素值为1，非手部分的像素值为0；
(3)采用下列公式计算a4区域二值图像中手的部分所占比例：
其中，Psij表示a4区域二值图像中第i行j列的像素值，Hs表示a4区域图像的高，Ws表示a4区域图像的宽；
(4)比较Ssoap与阈值Ⅱ的大小，其中，阈值Ⅱ为0.8：
①若Ssoap＞阈值Ⅱ，则表示当前待处理图像中手处于a4区域；
进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的检测结果：
若在当前待处理图像进行检测之前有连续N1帧图像的检测结果均为正在采集洗手液，其中N1为预设值，则Rsoap＝1，对应的检测结果为已完成采集洗手液但手未离开；
若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始，则Rsoap＝2，对应的检测结果为正在采集洗手液；
②若Ssoap≤阈值Ⅱ，则表示当前待处理图像中手不在a4区域；
进一步判断当前待处理图像检测前各帧图像的是否采集了洗手液的检测结果：
若当前待处理图像的前一帧的检测结果为已完成采集洗手液但手未离开，则Rsoap＝3，对应的检测结果为完成洗手液采集且手已离开；
若当前待处理图像的前一帧的检测结果为采集洗手液的动作未开始，则Rsoap＝4，对应的检测结果为采集洗手液的动作未开始；
(5)根据检测结果更新显示界面上的显示内容。
7.根据权利要求6所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
当当前待处理图像对应的是否采集了洗手液的检测结果为Rsoap＝3时，检测手在搓洗过程中是否产生了足够的泡沫，具体包括如下步骤：
根据手在水中冲洗的时间，判断冲手时间是否足够；
若足够，则继续进行检测；
若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像的检测；
(1)根据a5区域的坐标数据提取待处理图像的a5区域；
(2)根据由场景的光照条件预设的阈值Ⅲ区分待处理图像的灰度直方图中的泡沫部分和非泡沫部分，将a5区域图像转化为二值图像后，泡沫部分的像素值为1，非泡沫部分的像素值为0；
(3)采用下列公式计算a5区域二值图像中泡沫部分所占比例：
其中，Pfij表示a5区域二值图像中第i行j列的像素值，Hf表示a5区域图像的高，Wf表示a5区域图像的宽；
(4)比较Sfoam与预设的阈值Ⅳ的大小，并将比较结果保存：
①若Sfoam＞阈值Ⅳ，则表示当前待处理图像中泡沫量达到要求；
②若Sfoam≤阈值Ⅳ，则表示当前待处理图像中泡沫量未达到要求；
(5)统计当前待处理图像及之前的N2帧图像对应的是否产生了足够的泡沫检测结果，其中N2为预设值；若统计的所有检测结果中泡沫量达到要求的数量大于阈值Ⅴ，对应的检测结果为产生了足够的泡沫，否则检测结果为未产生足够的泡沫；其中，阈值Ⅴ的取值为7～15；
(6)根据检测结果更新显示界面上的显示内容。
8.根据权利要求6所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
当待处理图像对应的是否使用了洗手液的检测结果为Rsoap＝3时，检测双手在搓洗过程中是否完成相互搓洗的动作，具体包括如下步骤：
根据手在水中冲洗的时间，判断冲手时间是否足够；
若足够，则继续进行检测；
若不足，则保持显示界面上的检测结果不变并结束对当前待处理图像的检测；
(1)根据a6区域的坐标数据提取待处理图像的a6区域；
(2)对a6区域图像进行色彩增强，再对增强后的图像用肤色检测算法区分出a6区域二值图像中的手的部分和非手部分，并统计手的部分的位置坐标，其中，手的部分的像素值为1，非手部分的像素值为0；
(3)统计a6区域二值图像中并拢的双手总长：
①将二值图像第一列像素点的像素值置零；
②统计二值图像中像素值为0的每一个连通区域的面积和位置坐标，连通区域的面积为连通区域内的像素点个数；
③步骤②中的连通区域中面积最大的区域为b1，面积第二大的区域为b2；
④采用下列公式计算并拢的双手总长：
L＝minxb2-minxhand
其中，xb2表示b2的横坐标，xhand表示图像中手的部分的横坐标，L表示图像中双手相对靠前的指尖与相对靠后的手腕之间的距离；
(4)采用下列公式计算当前待处理图像与前一帧图像的L的差的绝对值：
dLn＝|Ln-1-Ln|
其中，dLn表示两帧图像的L的差的绝对值，Ln表示第n帧图像的并拢的双手总长，Ln-1表示第n-1帧图像的并拢的双手总长；
(5)统计包括当前待处理图像的连续的5帧图像内双手相对运动的总路程若总路程大于阈值Ⅵ，则表示双手在搓洗过程中有相互搓洗的动作rmove＝1；否则表示双手在搓洗过程中没有相互搓洗的动作rmove＝0；
其中，阈值Ⅵ为预设值，用于区分连续5帧图像内双手进行了相互搓洗与双手并拢没有相互搓洗两种情况；
(6)统计当前待处理图像及之前的N3帧图像对应的rmove＝1的数量，其中N3为预设值；若数量超过预设的阈值Ⅶ，对应的检测结果为互相搓洗动作已完成，否则检测结果为互相搓洗动作未完成；
(7)根据检测结果更新显示界面上的显示内容，其中，若检测结果为互相搓洗动作已完成，对当前待处理图像继续进行后续其他规范性检测；否则结束对当前待处理图像的规范性检测。
9.根据权利要求8所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
检测双手在搓洗过程中是否完成十指交叉相互搓洗的动作，具体包括如下步骤：
若当前待处理图像的前一帧图像的双手在搓洗过程中是否完成十指交叉相互搓洗的动作的检测结果为已经完成十指交叉相互搓洗的动作，则结束检测，否则继续判断当前待处理图像是否有双手在搓洗过程中有相互搓洗的动作，若rmove＝1则继续检测，否则结束检测：
(1)提取待处理图像的a6区域；将a6区域图像二值化，得到得到泡沫检测二值图像ffoam和手部检测二值图像fhand；根据公式fcross＝fhand∪ffoam，得到泡沫补偿后的手部检测二值图像fcross(填补因泡沫覆盖无法检测出的手部)；
(2)手指数量检测：
①将手部检测二值图像fcross中像素值为0的连通区域中面积第二大的区域b2中横坐标值最小的像素点所在列至fcross最右侧一列区间内所有像素点的像素值置零，得到图像f′cross；
②计算图像f′cross的重心的横坐标xG；
③用半径大小为0.08L的圆盘型结构元素对f′cross图像进行ferode＝f'crossΘB运算，其中B为结构元素；然后用同样的结构元素对ferode做运算；
④对二值图像fopen的像素值取反得到f′open，将f′open中第xG列及其右侧的所有列全部置零，得到fdl；
⑤根据公式ffinger＝f′cross∩fdl得到ffinger；
⑥统计ffinger中连通域数量即为手指数量Nfinger；
(3)比较手指数量Nfinger与4大小：
①若Nfinger≥4，表示在当前待处理图像中双手在搓洗过程中十指处于交叉状态rcross＝1；
②若Nfinger＜4，表示在当前待处理图像中双手在搓洗过程中十指未处于交叉状态rcross＝0；
(4)统计当前待处理图像及之前的N4帧图像对应的rmove＝1的数量是否大于预设的阈值Ⅷ，其中N4为预设值；若大于阈值Ⅷ，对应的检测结果为已经完成十指交叉相互搓洗的动作；否则检测结果为未完成十指交叉相互搓洗的动作；
(5)根据检测结果更新显示界面上的显示内容。
10.根据权利要求8所述的基于计算机视觉的洗手及消毒流程规范性自动检测方法，其特征在于：
检测双手在搓洗过程中是否完成搓洗左右手背的动作，具体包括如下步骤：
若当前待处理图像的前一帧图像的双手在搓洗过程中是否完成搓洗左右手背的动作的检测结果为已完成左手背搓洗且已完成右手背搓洗，则结束检测，否则继续判断当前待处理图像是否有双手在搓洗过程中有相互搓洗的动作，若rmove＝1则继续检测，否则结束检测：
(1)提取待处理图像的a6区域；将a6区域图像二值化，得到得到泡沫检测二值图像ffoam和手部检测二值图像fhand；根据公式fcross＝fhand∪ffoam，得到泡沫补偿后的手部检测二值图像fcross(填补因泡沫覆盖无法检测出的手部)；
(2)对fcross用半径大小为5的圆盘型结构元素进行运算，其中C为结构元素；然后用同样的结构元素对fdilate做fclose＝fdilateΘC运算，再对二值图fclose的第一列置零得到f′close；
(3)统计f′close中的各连通域的面积和位置坐标，并保存N帧内的连通域信息；
(4)比较当前待处理图像的连通域数量与2的关系：
若大于等于2，则进入(5)；
若小于2，则表示手没有处于手背搓洗状态，保持所有结果不变，对应检测结果为否；
(5)比较当前待处理图像的所有连通域中面积第二大的连通域的面积Sarea2与预设的阈值Ⅸ的关系，其中，阈值Ⅸ为手部检测二值图像fcross中像素值为0的连通区域中面积第二大的区域b2的面积的1.5倍：
若Sarea2＞阈值Ⅸ，则进入(6)；
若Sarea2≤阈值Ⅸ，则判断手没有处于“手背搓洗”状态，保持所有结果不变，对应检测结果为否；
(6)比较当前待处理图像和前N帧图像的所有的Sarea2的最大值与最小值的差dS与预设的阈值Ⅹ的大小：
若dS＞阈值Ⅹ，则表示此时正在搓洗手背，进入(7)进行检测搓洗的是左手背还是右手背；
若dS≤阈值Ⅹ，则判断手没有处于“手背搓洗”状态，保持所有结果不变，对应检测结果为否；
(7)统计(5)中第二大的连通域内像素点中纵坐标最小值minyarea2，并保存N5帧内的minyarea2，其中，N5为预设值；
(8)计算前一帧图像的上一帧图像与当前待处理图像对应的minyarea2的差值dY，判断dY与预设的阈值Ⅺ的关系：
若dY＞阈值Ⅺ，表示当前待处理图像中左手在大幅度上下移动，即正在搓洗右手背rright＝1；
若dY≤阈值Ⅺ，表示左手基本没有在进行动作，即右手在搓洗左手背rleft＝1；
(9)统计rleft＝1和rright＝1的数量：
若rleft＝1的数量大于预设的阈值Ⅻ，则对应的检测结果为已完成左手背搓洗，否则对应的检测结果为未完成左手背搓洗；
若rright＝1的数量大于预设的阈值Ⅻ，则对应的检测结果为已完成右手背搓洗，否则对应的检测结果为未完成右手背搓洗；
(10)根据检测结果更新显示界面上的显示内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811592418.0A CN109726668B (zh) | 2018-12-25 | 2018-12-25 | 基于计算机视觉的洗手及消毒流程规范性自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811592418.0A CN109726668B (zh) | 2018-12-25 | 2018-12-25 | 基于计算机视觉的洗手及消毒流程规范性自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109726668A true CN109726668A (zh) | 2019-05-07 |
| CN109726668B CN109726668B (zh) | 2022-12-23 |
Family
ID=66297497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811592418.0A Active CN109726668B (zh) | 2018-12-25 | 2018-12-25 | 基于计算机视觉的洗手及消毒流程规范性自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109726668B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334684A (zh) * | 2019-07-12 | 2019-10-15 | 上海秒针网络科技有限公司 | 指导洗手流程的方法及装置 |
| CN110403716A (zh) * | 2019-07-16 | 2019-11-05 | 南方医科大学南方医院 | 一种用于监测洗手合格率的伸缩式检测器 |
| CN111855656A (zh) * | 2020-07-21 | 2020-10-30 | 苏州智昕医教科技有限公司 | 洗手效果检测装置及方法 |
| CN111860448A (zh) * | 2020-07-30 | 2020-10-30 | 北京华捷艾米科技有限公司 | 洗手动作识别方法及系统 |
| CN112084851A (zh) * | 2020-08-04 | 2020-12-15 | 珠海格力电器股份有限公司 | 手卫生效果检测方法、装置、设备及介质 |
| CN113243805A (zh) * | 2021-04-13 | 2021-08-13 | 深圳市美日净化科技有限公司 | 具有门禁功能的洁净车间用洗手烘干台、门禁系统及方法 |
| WO2021229710A1 (ja) * | 2020-05-13 | 2021-11-18 | 富士通株式会社 | 手洗い認識システムおよび手洗い認識方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017101380A1 (zh) * | 2015-12-15 | 2017-06-22 | 乐视控股（北京）有限公司 | 手识别方法、系统及装置 |
| CN107480653A (zh) * | 2017-08-30 | 2017-12-15 | 安徽理工大学 | 基于计算机视觉的客流量检测方法 |
-
2018
- 2018-12-25 CN CN201811592418.0A patent/CN109726668B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017101380A1 (zh) * | 2015-12-15 | 2017-06-22 | 乐视控股（北京）有限公司 | 手识别方法、系统及装置 |
| CN107480653A (zh) * | 2017-08-30 | 2017-12-15 | 安徽理工大学 | 基于计算机视觉的客流量检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李博男等: "基于曲率的指尖检测方法", 《南京航空航天大学学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334684A (zh) * | 2019-07-12 | 2019-10-15 | 上海秒针网络科技有限公司 | 指导洗手流程的方法及装置 |
| CN110403716A (zh) * | 2019-07-16 | 2019-11-05 | 南方医科大学南方医院 | 一种用于监测洗手合格率的伸缩式检测器 |
| WO2021229710A1 (ja) * | 2020-05-13 | 2021-11-18 | 富士通株式会社 | 手洗い認識システムおよび手洗い認識方法 |
| JPWO2021229710A1 (zh) * | 2020-05-13 | 2021-11-18 | ||
| EP4152257A4 (en) * | 2020-05-13 | 2023-06-28 | Fujitsu Limited | Hand-wash recognition system and hand-wash recognition method |
| JP7447998B2 (ja) | 2020-05-13 | 2024-03-12 | 富士通株式会社 | 手洗い認識システムおよび手洗い認識方法 |
| CN111855656A (zh) * | 2020-07-21 | 2020-10-30 | 苏州智昕医教科技有限公司 | 洗手效果检测装置及方法 |
| CN111860448A (zh) * | 2020-07-30 | 2020-10-30 | 北京华捷艾米科技有限公司 | 洗手动作识别方法及系统 |
| CN112084851A (zh) * | 2020-08-04 | 2020-12-15 | 珠海格力电器股份有限公司 | 手卫生效果检测方法、装置、设备及介质 |
| CN113243805A (zh) * | 2021-04-13 | 2021-08-13 | 深圳市美日净化科技有限公司 | 具有门禁功能的洁净车间用洗手烘干台、门禁系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109726668B (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109726668A (zh) | 基于计算机视觉的洗手及消毒流程规范性自动检测方法 | |
| CN107563347B (zh) | 一种基于tof相机的客流计数方法和装置 | |
| Haritaoglu et al. | w 4 s: a real-time system for detecting and tracking people in 2 1/2 d | |
| Zhou et al. | A phase discrepancy analysis of object motion | |
| Yi et al. | Moving object detection based on running average background and temporal difference | |
| CN108416336A (zh) | 一种智慧社区人脸识别的方法和系统 | |
| CN102186003B (zh) | 用于内容自适应空-时运动自适应噪声降低的方法和装置 | |
| Pardàs et al. | Motion estimation based tracking of active contours | |
| CN109670398A (zh) | 一种猪只图像的分析方法及设备 | |
| CN110276298A (zh) | 用户行为的判定方法、装置、存储介质和计算机设备 | |
| CN105631405B (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
| Cavallaro et al. | Accurate video object segmentation through change detection | |
| Ning et al. | Articulated model based people tracking using motion models | |
| CN105913008B (zh) | 基于假设检验的人群异常事件检测方法 | |
| CN103049748A (zh) | 行为监测方法及装置 | |
| CN103324906B (zh) | 一种遗留物检测的方法和设备 | |
| Sultan et al. | Tracking large anterior mitral leaflet displacements by incorporating optical flow in an active contours framework | |
| Duric et al. | Using normal flow for detection and tracking of limbs in color images | |
| Fischer et al. | Face detection using 3-d time-of-flight and colour cameras | |
| Sivabalakrishnan et al. | Person counting system using EFV segmentation and fuzzy logic | |
| Yao et al. | Arm gesture detection in a classroom environment | |
| CN110414542A (zh) | 一种用于自动榨汁售卖机的水果流道检测方法和系统 | |
| Séguier | A very fast adaptive face detection system | |
| RU2276407C2 (ru) | Способ и устройство для сегментации фона на основе локализации движения | |
| Bernier | Real-time 3d articulated pose tracking using particle filters interacting through belief propagation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |