JP2017134712A - 手洗い監視システム - Google Patents

手洗い監視システム Download PDF

Info

Publication number
JP2017134712A
JP2017134712A JP2016015286A JP2016015286A JP2017134712A JP 2017134712 A JP2017134712 A JP 2017134712A JP 2016015286 A JP2016015286 A JP 2016015286A JP 2016015286 A JP2016015286 A JP 2016015286A JP 2017134712 A JP2017134712 A JP 2017134712A
Authority
JP
Japan
Prior art keywords
hand
washing
wash
image
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016015286A
Other languages
English (en)
Other versions
JP6305448B2 (ja
Inventor
吉雄 松本
Yoshio Matsumoto
吉雄 松本
和宏 美山
Kazuhiro Miyama
和宏 美山
寺田 賢治
Kenji Terada
賢治 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokushima NUC
Earth Environmental Service Co Ltd
Original Assignee
University of Tokushima NUC
Earth Environmental Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokushima NUC, Earth Environmental Service Co Ltd filed Critical University of Tokushima NUC
Priority to JP2016015286A priority Critical patent/JP6305448B2/ja
Publication of JP2017134712A publication Critical patent/JP2017134712A/ja
Application granted granted Critical
Publication of JP6305448B2 publication Critical patent/JP6305448B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】被験者が何らの機器類も身体に装着する必要がなく、単に、手洗い用シンクで手洗いするだけで、手洗いの良否検査を行うことができる、手洗い監視システムを提供することを課題とする。【解決手段】手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む画像取得ステップと、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する手領域抽出ステップと、前記フレーム画像から手洗いが開始されたか否か判定する手洗い開始判定ステップと、前記フレーム画像から手領域の動きを抽出することにより、実行された洗い方の種類を識別する洗い方認識ステップと、識別された洗い方が所定の順番の洗い方である場合に当該洗い方に秒数加算していくことにより擦り状態の良否を判定する擦り判定ステップと、前記フレーム画像から手洗いの終了を判定する手洗い終了判定ステップとから成る。【選択図】図2

Description

本発明は、手洗い監視システムに関するものであり、より詳細には、例えば、食品工場、薬品工場、病院等のように、作業に際して身体、特に手指の清潔性が求められる施設において、作業者がその作業に先立って適正な手洗いを実行したか否かを監視するためのシステムに関するものである。
食品工場、薬品工場、病院等の施設に従事する者は、作業に際してその身体、特に手指が清潔であることが求められる。そこで、これらの施設には、それぞれ適正な手洗いのためのマニュアルが用意され、また、そのための教育がなされる。しかし、そのマニュアル等に基づいて適正な手洗いが実行されたか否かは、結局各作業者自身が判断することになるため、慣れや手抜き等によって、適切な手洗いが実行されない場合も起こり得る。
このような場合を考慮して、医師や看護婦等の医療被験者に手指衛生行動を実行させるための、手指衛生励行システムが提案されている(特許第5097965号公報)。このシステムは、被験者に装着されて当該被験者の体の動きを検出する動き検出手段、 前記動き検出手段の検出結果に基づいて前記被験者の行動を認識して行動情報を作成する行動認識手段、前記行動認識手段によって作成した行動情報に基づいて前記被験者による手指衛生行動の動作回数および動作量の少なくとも1つを含む実行状態を評価する評価手段、及び、前記評価手段の評価結果に関連して前記被験者にアドバイスを行うアドバイス手段を備えることを特徴とするものである。
しかし、このシステムの場合は、各医療被験者に体の動きを検出する動き検出手段を装着して、その体の動きを検出し、その検出結果を評価して所定の手指衛生行動が実行されたか否かを判定するものであって、動き検出手段を被験者ごとに用意しなければならないためにコストがかかり、また、各被験者がその都度動き検出手段を装着しなければならない煩わしさがあり、更に、動き検出手段の非装着者に対しては適用できないという問題がある。
また、特表2012−502343号公報において、個人の衛生習慣を監視するための方法及びシステムが開示されているが、このシステムの場合も、当該システム使用者に、複数の個人衛生事象を検出するための個人衛生モニタを装着する必要があるので、上記の場合と同様の問題が生ずる。
特許第5097965号公報 特表2012−502343号公報
上述したように、従来提案されている手指衛生励行システムや個人衛生習慣監視システムの場合は、利用者ごとに動き検出センサや個人衛生モニタ等を用意して装着させなければならないため、コストがかかるだけでなく、その都度それらのセンサ等を着脱しなければならない煩わしさがあり、また、それらのセンサ等の非装着者に対しては適用できないという問題があった。
本発明は、このような上記従来システムにおける問題を解決するためになされたもので、比較的シンプルな構成で低コストにて導入でき、利用者(被験者)は、何らの機器類も身体に装着する必要がなく、単に、所定の手洗い用シンクで手洗いするだけで検査を行うことができる、手洗い監視システムを提供することを課題とする。
上記課題を解決するための請求項1に係る発明は、手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む画像取得ステップと、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する手領域抽出ステップと、前記フレーム画像から手洗いが開始されたか否かを判定する手洗い開始判定ステップと、前記フレーム画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する洗い方認識ステップと、識別された洗い方が所定の順番の洗い方である場合に、当該洗い方に秒数加算していくことにより当該洗い方についての擦り状態の良否を判定する擦り判定ステップと、前記フレーム画像から手洗いの終了を判定する手洗い終了判定ステップとから成ることを特徴とする手洗い監視方法である。
一実施形態においては、前記擦り判定ステップにおいて得られた秒数に基づいてアバターを階層的に表示するアバター表示ステップを更に含む。その場合のアバター表示は、左右が存在する洗い方については、左右の手を識別した上で、それぞれについて行われる。
一実施形態においては、前記手領域抽出ステップは、前記手洗い画像からの肌色抽出工程と、ノイズの除去工程とを含む。
一実施形態においては、前記洗い方認識ステップにおける洗い方の識別指標として指の数が用いられ、指の数が3本以上である場合は、手の甲洗いと親指洗いのいずれかであると判断される。そして、前記洗い方認識のために指の数を用いない洗い方の場合は、前記手領域中に存する孔の補間処理を行う。
上記課題を解決するための請求項8に係る発明は、手洗い用シンクに設置される撮影手段と、前記撮影手段によって撮影される手洗い画像を読み込んで、適切な手洗い実行の成否を判定する解析装置と、解析結果及びメッセージを表示するモニタとから成り、
前記解析装置は、前記手洗い画像の取得手段と、取得された前記手洗い画像から手領域を抽出する手領域抽出手段と、前記手領域抽出手段において得られるフレーム画像から実行された洗い方の種類を識別する洗い方認識手段と、識別された洗い方が所定の順番の洗い方である場合に当該洗い方に秒数加算していくことにより擦り状態の良否を判定する擦り判定手段と、前記モニタに、手洗いに要した秒数に基づいてアバターの階層的表示を行わせる表示手段とを含むことを特徴とする手洗い監視システムである。
本発明に係る手洗い監視方法及びシステムは上記のとおりであって、比較的シンプルな構成で低コストにて導入でき、利用者(被験者)は、何らの機器類も身体に装着する必要がなく、単に、所定の手洗い用シンクで手洗いするだけで検査を行うことができるという効果がある。
本発明に係る手洗い監視システムの簡略ブロック図である。 本発明に係る手洗い監視方法の処理の流れを示すフロー図である。 手領域抽出ステップにおける赤みヒストグラムの作成方法を示す図である。 手領域抽出ステップにおけるノイズ除去方法(一次処理)を示す図である。 手領域抽出ステップにおけるノイズ除去方法(二次処理)を示す図である。 洗い方認識ステップにおける、6種類の洗い対象部分を識別する方法の流れを示すフロー図である。 手領域の孔補間処理ステップにおける指の本数取得方法を示す図である。 洗い方認識ステップにおいて補間する必要がある場合とない場合とを示す図である。 洗い方認識ステップにおける洗い方識別方法を示す図である。 洗い方認識ステップにおける手の甲洗いと親指洗いの識別方法を示す図である。 洗い方認識ステップにおける指先洗いか否かの識別方法を示す図である。 洗い方認識ステップにおける手のひら洗いか、指の間洗い又は手首洗いかの判定方法を示す図である。 洗い方認識ステップにおける指の間洗いと手首洗いとの識別方法を示す図である。 擦り判定ステップにおける左右の手の判定方法(矩形内の高さによる)を示す図である。 擦り判定ステップにおける左右の手の判定方法(エッジの傾きによる)を示す図である。 擦り判定ステップにおける左右の手の判定方法(手の傾きによる)を示す図である。 アバターの階層的表示ステップにおける初期段階、手洗い終了時及び手洗い途中におけるアバターの例を示す図である。 アバターのモニタ表示例を示す図である。
本発明に係る手洗い監視方法及びシステムは、食品工場、薬品工場、病院等における業務に従事する者(以下「被験者」とする)が、下記基準(種類及び順序)に沿って正しく手洗いを実行したか否かを監視するためのもので、手洗い時における手の動きを抽出して、手洗いが適正になされたか否かの判断を行うことを特徴とするものである。
本発明において基準とする手洗いの種類は、以下の6種であり、例えば、下記のとおりの順序で行う。
種類1)手のひらを合わせてよく洗う。
種類2)手の甲を伸ばすように洗う。
種類3)指先及び爪の間を洗う。
種類4)指の間を十分に洗う。
種類5)親指と手のひらをねじり洗いする。
種類6)手首を洗う。
本発明に係る手洗い監視方法は、図2に示されるように、手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む画像取得ステップ(S11)と、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する手領域抽出ステップ(S12)と、前記フレーム画像から手洗いが開始されたか否かを判定する手洗い開始判定ステップ(S13)と、前記フレーム画像から手領域の動きを抽出することにより、実行された洗い方の種類を識別する洗い方認識ステップ(S14)と、識別された洗い方が所定の順番の洗い方である場合に当該洗い方に秒数加算していくことによりする擦り状態の良否を判定する擦り判定ステップ(S15)と、前記フレーム画像から手洗いの終了を判定する手洗い終了判定ステップ(S17)とから成る。
また、必要に応じ、手洗いに要した秒数に基づいて擦り判定後の手領域のアバターを階層的に表示するアバターの階層的表示ステップ(S16)を更に含む。
また、本発明に係る手洗い監視システムは上記方法を実施するためのもので、このシステムは、図1の簡略ブロック図に示されるように、手洗い用シンクに設置される撮影手段1と、撮影手段1によって撮影された画像を処理して適正な手洗いが行われたか否かを判定する解析装置2と、解析装置2によって解析された結果を表示する、液晶等のモニタ3とから成る。
解析装置2は、撮影手段1によって撮影された手洗い画像を取り込む画像取得手段4と、取り込んだ手洗い画像から手領域を抽出する手領域抽出手段5と、洗い方の種類を識別する洗い方認識手段6と、識別された洗い方が所定の順番の洗い方である場合に当該洗い方に秒数加算する擦り判定手段7と、判定結果をモニタ3に表示させる表示手段8とを備える。
以下に、本発明に係るシステム及び方法につき、図2に示すフロー図を参照しつつ、処理ステップごとに詳述する。
画像取得ステップ(S11)
このステップは、工場等の手洗い用シンクに設置した撮影手段(監視カメラ)1によって手洗い状況の撮影を行い、撮影した手洗い画像を、画像取得手段4を介して解析装置2内に取り込むステップである。
手領域抽出ステップ(S12)
この手領域抽出ステップ(S12)は、手領域抽出手段5において、画像取得手段4によって取り込んだ手洗い画像から肌色抽出を行って手領域を抽出し、手領域の処理系列画像(以下「フレーム画像」とする)を生成するステップである。このステップにおいては、取得画像をYUV変換してYUV色情報を取得し、人の手の肌色に対応する赤みVを抽出し、抽出したV値から、赤みヒストグラムを作成する処理が行われる。図3はヒストグラムの一例を示すもので、横軸がV値(画素値)、縦軸が個数(頻度)である。このヒストグラムにおいては、手に対応するピークと背景に対応するピークがあるので、2つのピークの谷を閾値とし、谷部分よりも左側の部分(赤み部分)が手領域とされる。
上記処理によって得られるフレーム画像にはノイズが含まれるので(図4中の取得画像参照)、これを除去する必要がある。図4,5はノイズの除去方法を示すもので、先ず、取得画像(ノイズを含むフレーム画像)を3×3のブロックに分割していき、ブロック内の9画素中4画素以上が肌色であるブロックのみ抽出し、他のブロックはノイズとして削除する一次処理を行う(図4)。次いで、抽出されて残った各ブロックについて8近傍に着目し、連結成分が2つ以上ある場合は手領域として残し、他のブロックはノイズとして削除する二次処理を行う(図5)。図5に示す例では、一次処理を経て3箇所に残っていたノイズは、いずれも連結成分がないために、ノイズとして削除される。かくして、ノイズが除去されたフレーム画像が得られる。
手洗い開始判定ステップ(S13)
この手洗い開始判定ステップは、上記のようにしてノイズが除去されたフレーム画像を解析し、手洗いが開始されたか否かを判定するステップである。本発明に係る方法においては、水で手洗いし、石鹸の泡を手に載せ(泡タイプのハンドソープを用い、ポンプから泡を出して手に載せた直後で、泡を広げる前)、両手を離して開いたまま静止した状態にあることが手洗い開始判定条件とされ、この条件が検出された段階で、換言すれば、動きがない状態で大きい肌色領域が2つ認識された段階で、手洗い動作が開始されたとの判定がなされる。大きい肌色領域が2つ存在することは、背景差分によって認識可能である。
上記手洗い開始の判定条件は、予め被験者に知らせておく。手洗い用シンクにモニタ3を設置する場合は、モニタ3にその手洗い開始判定条件のメッセージを表示することができる。その場合のメッセージは、例えば、「石鹸をつけ、両手をパーで静止してください。」といった内容のものとなる。この手洗い開始判定ステップ(S13)において一度条件が満たされると(S13 Yes)、後述する手洗い終了の判定(S17 Yes)がなされるまで、Yesの状態が持続する。また、音声ガイドにて、進行状況に応じて洗い方の指示を行うようにすることが好ましい。その場合、例えば、日本語、中国語、英語、スペイン語等の音声を用意し、利用者が選択可能に構成することもできる。
洗い方認識ステップ(S14)
上記手洗い開始の判定後洗い方認識ステップ(S14)に移行し、洗い方認識手段6において、送られてくるフレーム画像における手領域から、上述した6種類の洗い方のうちのどの洗い方が実行されているかが識別される。図6は、この洗い方認識ステップ(S14)における処理の流れ、換言すれば、6種類の洗い対象部分を識別する方法を示すフロー図である。
この洗い方認識においては、6種類の洗い対象部分を識別するための指標として指の本数を用いるので、先ず、指の本数の抽出方法について説明しておく。指の本数抽出のために、上記手領域の抽出に引き続き、手領域中の孔を肌色で補間する処理が行われる。即ち、上記ノイズが除去されたフレーム画像における手領域中には、石鹸の泡に起因して生ずる欠けである孔が存在し、これが指の本数の抽出に支承をきたすおそれがあるので、手領域中の孔を肌色で補間する処理が必要となる。
この補間処理においては投影ヒストグラムが用いられるが、この投影ヒストグラムの作成に当たっては、先ず、判定領域が抽出される。この判定領域は、列ごとの肌色が含まれるブロック及びその下のブロックの上下2つのブロックとされ(ブロックサイズは20×20)、これらのブロックの集合が探索範囲(判定領域)となる(図7の太枠内)。この探索範囲内で縦方向に手の投影ヒストグラムが作成され、その投影ヒストグラムから指の本数が取得される。図7に示す例の場合は山の個数が4個であるので、指の本数は4本と判定される。
指の本数はこのようにして判定されるが、洗い方認識ステップ(S14)における洗い方の認識において、指の本数を用いる場合と用いない場合とがあり、上記手領域中の孔の補間は、指の本数を用いない場合にのみ行われる。即ち、洗い方認識において指の本数を用いるのは、手の甲又は親指を洗っているときであり(種類2,5)、これらの場合は補間処理を行わないが(図8(A)参照)、手のひら、指の間、指先、手首を洗っているとき(種類1,3,4,6)には、洗い方認識のために指の本数を使用しないので、補間処理を行う(図8(B)参照)。補間処理は、行ごとに左端と右端の肌色画素を抽出し、その間の画素をすべて肌色で補間することにより行う。このように補間処理することにより、孔のない手領域が得られる。
上述した方法によって指の数(投影ヒストグラムにおける山の数)が取得され(ステップS101)、指の数(山の数)が3本以上である場合は、手の甲洗い(種類2)と親指洗い(種類5)のいずれかと判定される(図9(B)参照)。そして、その場合は引き続き手の形状が認識され、手の甲洗い(種類2)と親指洗い(種類5)のいずれであるかの判定がなされる(ステップS102)。
手の甲洗い(種類2)と親指洗い(種類5)の判別、即ち、手の形状の認識は、横幅の推移に基づいて行われる。そのために、手領域の行ごとの最小・最大値を用いて左右の輪郭線を抽出してその幅の推移を観察し、それが一旦狭くなった後に広くなっている場合(図10(A)参照)は手の甲洗いと判定し、それが狭くなるのみである場合(図10(B)参照)は親指洗いと判定する。
また、山の数が2つ以下の場合は、手のひら洗い(種類1)、指先洗い(種類3)、指間洗い(種類4)、手首洗い(種類6)のいずれかということになるが(図9(A)参照)、これら4種類の洗い方のうち、先ず、指先洗い(種類3)の判定が行われる。指先洗い(種類3)の判定は、投影ヒストグラムを参照し、山の位置が偏っているか否かにより行われ、偏っている場合に指先洗い(種類3)と判定される(ステップS103)。
この点についてより詳細に説明すると、指先洗い(種類3)であるとの判定は、投影ヒストグラムを作成する工程と、閾値を上回った山を抽出する工程と、閾値を上回っている山の横幅を抽出する工程と、閾値を上回っている山が手の左右半分のどちらかに位置しているときに指先洗い(種類3)と判断する工程とから成る(図11)。図11に示された例では、山は左半部に位置しているので、指先洗い(種類3)と判断される。
手のひら洗い(種類1)と、指間洗い(種類4)並びに手首洗い(種類6)との判別は、探索範囲内における横幅の推移に基づいて行う(図12、ステップS104)。その場合、例えば、手の下側50%を探索範囲に設定し、その範囲内における横幅を抽出する。そして、現在の行で肌色の最大横幅を抽出すると共に、その下の行における肌色の最大幅を抽出し、上の行との比較で幅の増減をみていき、増加及び減少の数によって場合分けする。手のひらの場合は、一様に細くなっていくのに対し、指の間の場合や手首の場合は細くなったり(減少したり)太くなったり(増加する)するので、その判別は容易である。
指間洗い(種類4)と手首洗い(種類6)の判別は、縦幅が短い領域を抽出することにより行う(ステップS105)。即ち、探索枠内を縦方向に走査し、縦幅が短い(例えば、枠の高さの2分の1以下)部分を抽出し、例えば、その部分を赤色に表示し、赤色部分とそれ以外の肌色部分との比率で、指間洗いか手首洗いかの判断をする(図13参照)。その場合、
閾値=(赤色画素/肌色画素)×100
とし、閾値が10%以上であれば指間洗いと判断し、それが10%以下であれば手首洗いと判断する。
擦り判定ステップ(S15)
上記6種類の洗い方はこのようにして識別判定され、この洗い方の判別後、次の擦り判定ステップ(S15)に移行する。本発明に係る方法においては、上記6種類の洗い方がその順に行われることを前提としており、例えば、現在が手のひらのターンであるとすると、上記洗い方認識ステップ(S14)において洗い方が手のひらか否かの判定がなされ、Yesの場合は擦り判定ステップ(S15)に移行し、判定手段7において手のひらの洗い方の良否を判定するために、手のひらの洗い方に対して秒数加算されていく。この秒数加算は、入力画像からオプティカルフローを抽出することにより取得される擦り回数から求めることができる。また、Noの場合は、その次の洗い方である手の甲であるか否かの判定がなされ、Yesの判定の場合は手の甲の洗い方に対し、上記と同様にして秒数加算され、以後同様の処理がなされる。
表示ステップ(S16)
表示ステップ(S16)は、表示手段8が、擦り判定を経た手領域を、その判定結果を反映してモニタ3にアバター表示するステップである。そのアバター表示は、左右が存在する洗い方については、左右の手を識別した上で、それぞれについて表示される。上記6種の洗い方のうち左右が存在するのは、親指洗い(種類5)、指先洗い(種類3)、手の甲洗い(種類2)及び手首洗い(種類6)の4種であり、これらの洗い方の場合のアバター表示は、それぞれ下記方法によって左右の手を判別した上でなされる。
先ず、親指洗い(種類5)と指先洗い(種類3)の場合の左右の手の判別は、矩形の探索範囲内の縦幅を参照して行われる。その場合、先ず、探索範囲内を中間で左右に二分し、左右の矩形内の肌色領域の縦幅の平均長が抽出され、縦幅の平均長が長い側にある手が洗っている手と判定される(図14)。
手の甲洗い(種類2)の場合の左右の手の判別は、エッジ線の傾きを用いて行われる。そのために手の交点を抽出し、その範囲でエッジの検出(Cannyフィルタ)を行い、どちらに線が傾いているかを抽出し、エッジ線が左に傾いているときは右手(右手が上側)と判定し(図15参照)、エッジ線が右に傾いているときは左手(左手が上側)と判定することとする。なお、交点の抽出は、手の半分より上の部分において空白領域の抽出を行い、縦方向に投影ヒストグラムを作成し、ヒストグラムの頂点を交点として抽出する方法による。
手首洗い(種類6)の場合の左右の手の判別は、手の傾きを用いて行われる。手の傾きは、手の特徴点としてフレーム上端部の肌色部分の端点(左右の手の内側の上端点)と、手の交点の3点を抽出し、交点と各特徴点とを縦方向に直線で結んでX字状に交差する線を生成し、手の縦軸最下部に最も近接している線に対応する手を、現在洗っている手であると判定する(図16参照)。
アバター画像の手のひらと手の甲は、初期段階(処理開始時)は黒色(R:0,G:0,B:0)であり(図17(A)参照)、洗い終わったとき(処理終了時)は肌色(R:254,G:207,B:169)になる(図17(B)参照)。初期設定で洗い秒数を5秒とした場合、1秒洗った時に、その洗われた部位の範囲が、肌色の1/5の色で表示される。そして、5秒を超えた部位は、完全な肌色として表示され、視覚的に洗い終わったと判断できるようになる。
図17(C)は、手洗い途中(手のひらを4秒、手の甲を5秒、指先を5秒洗った状態)のアバター例を示すものであり、洗い終わった手の甲と指先は肌色に表示され、手のひらは肌色の4/5の色で表示され、他の部分は黒色に表示されており、洗い終わった部分と洗い終わっていない部分とを明確に視認できる。図18は、洗い状態を経時的にモニタ表示する例を示すものであり、その例では、初期状態と、両手のひらと左手の甲を洗った10秒後の状態と、すべての洗いが終了した55秒後の状態とが示されている。
手洗い終了判定ステップ(S17)
手洗い終了判定ステップ(S17)は、両手を離した状態で静止したときを終了判定条件とし、この終了判定条件が検出されたとき(S17 Yes)に、手洗いの終了と判定するステップである。なお、この終了判定条件は、予め被験者に知らせておき、あるいは、モニタ3にそのメッセージを表示することは、手洗い開始判定条件の場合と同様である。被験者は、手洗い終了まではこの動作、即ち、両手を離した状態で静止する動作を行わないので(ステップ17 No)、画像取得ステップに戻り、後続の手洗い画像について上記各ステップが実行される。
本発明に係るシステムにおいては、上記擦り判定ステップ(S15)において得られる被験者ごとの判定結果を、表示ステップ(S16)においてモニタ3にアバター表示させることができ、被験者はそれを見ることで、どの種類の洗い方が不十分であるかの確認をすることができる。また、上記判定結果データを各被験者ごとに記録保存し、管理者が随時チェックして分析することで、必要な指導を行うようにすることができ、衛生管理体制の改善に役立てることができる。
1 撮影手段
2 解析装置
3 モニタ
4 画像取得手段
5 手領域抽出手段
6 洗い方認識手段
7 判定手段
8 表示手段

Claims (8)

  1. 手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む画像取得ステップと、
    取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する手領域抽出ステップと、
    前記フレーム画像から手洗いが開始されたか否かを判定する手洗い開始判定ステップと、
    前記フレーム画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する洗い方認識ステップと、
    識別された洗い方が所定の順番の洗い方である場合に、当該洗い方に秒数加算していくことにより当該洗い方についての擦り状態の良否を判定する擦り判定ステップと、
    前記フレーム画像から手洗いの終了を判定する手洗い終了判定ステップとから成ることを特徴とする手洗い監視方法。
  2. 前記擦り判定ステップにおいて得られた秒数に基づいてアバターを階層的に表示するアバター表示ステップを更に含む、請求項1に記載の手洗い監視方法。
  3. 前記アバター表示は、左右が存在する洗い方については、左右の手を識別した上で、それぞれについて行われる、請求項2に記載の手洗い監視方法。
  4. 前記手領域抽出ステップは、前記手洗い画像からの肌色抽出工程と、ノイズの除去工程とを含む、請求項1乃至3のいずれかに記載の手洗い監視方法。
  5. 前記洗い方認識ステップにおける洗い方の識別指標として指の数を用いる、請求項1乃至4のいずれかに記載の手洗い監視方法。
  6. 指の数が3本以上である場合は、手の甲洗いと親指洗いのいずれかであると判定される、請求項5に記載の手洗い監視方法。
  7. 前記洗い方認識のために指の数を用いない洗い方の場合は、前記手領域中に存する孔の補間処理を行う、請求項5に記載の手洗い監視方法。
  8. 手洗い用シンクに設置される撮影手段と、前記撮影手段によって撮影される手洗い画像を読み込んで、適切な手洗い実行の成否を判定する解析装置と、解析結果及びメッセージを表示するモニタとから成り、
    前記解析装置は、前記手洗い画像の取得手段と、取得された前記手洗い画像から手領域を抽出する手領域抽出手段と、前記手領域抽出手段において得られるフレーム画像から実行された洗い方の種類を識別する洗い方認識手段と、識別された洗い方が所定の順番の洗い方である場合に当該洗い方に秒数加算していくことにより擦り状態の良否を判定する擦り判定手段と、前記モニタに、手洗いに要した秒数に基づいてアバターの階層的表示を行わせる表示手段とを含むことを特徴とする手洗い監視システム。
JP2016015286A 2016-01-29 2016-01-29 手洗い監視システム Active JP6305448B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016015286A JP6305448B2 (ja) 2016-01-29 2016-01-29 手洗い監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016015286A JP6305448B2 (ja) 2016-01-29 2016-01-29 手洗い監視システム

Publications (2)

Publication Number Publication Date
JP2017134712A true JP2017134712A (ja) 2017-08-03
JP6305448B2 JP6305448B2 (ja) 2018-04-04

Family

ID=59502857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016015286A Active JP6305448B2 (ja) 2016-01-29 2016-01-29 手洗い監視システム

Country Status (1)

Country Link
JP (1) JP6305448B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191117A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110956117A (zh) * 2019-11-26 2020-04-03 上海秒针网络科技有限公司 卫生检测方法和装置
JP2020091739A (ja) * 2018-12-06 2020-06-11 株式会社 日立産業制御ソリューションズ 手順検知装置、および手順検知プログラム
JP2020140678A (ja) * 2019-03-03 2020-09-03 株式会社コンピュータシステム研究所 監視サーバ、監視方法、監視プログラム、および、記憶媒体
JP2021152759A (ja) * 2020-03-24 2021-09-30 大日本印刷株式会社 情報処理システム、情報処理方法及び学習モデルの生成方法
CN113553886A (zh) * 2020-04-26 2021-10-26 富士通株式会社 用于监视洗手过程的装置、方法以及存储介质
JP2021174415A (ja) * 2020-04-30 2021-11-01 株式会社コンテック 衛生管理システム
WO2021229710A1 (ja) 2020-05-13 2021-11-18 富士通株式会社 手洗い認識システムおよび手洗い認識方法
WO2021234972A1 (ja) 2020-05-22 2021-11-25 富士通株式会社 手洗い認識システムおよび手洗い認識方法
JP7490170B2 (ja) 2020-07-29 2024-05-27 菱熱工業株式会社 手洗いチェックシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11093886B2 (en) * 2018-11-27 2021-08-17 Fujifilm Business Innovation Corp. Methods for real-time skill assessment of multi-step tasks performed by hand movements using a video camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120140054A1 (en) * 2010-12-03 2012-06-07 Wen-Hui Chen Intelligent hand washing monitoring system
JP2013180046A (ja) * 2012-03-01 2013-09-12 Sumitomo Electric Ind Ltd 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120140054A1 (en) * 2010-12-03 2012-06-07 Wen-Hui Chen Intelligent hand washing monitoring system
JP2013180046A (ja) * 2012-03-01 2013-09-12 Sumitomo Electric Ind Ltd 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
東 秀賢,外2名: "カメラ映像を用いた手洗い検査システムの開発", 第76回(平成26年)全国大会, JPN6018002763, 11 March 2014 (2014-03-11), JP, pages 2 - 265, ISSN: 0003728867 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191117A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11521312B2 (en) 2018-04-27 2022-12-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2020091739A (ja) * 2018-12-06 2020-06-11 株式会社 日立産業制御ソリューションズ 手順検知装置、および手順検知プログラム
JP2020140678A (ja) * 2019-03-03 2020-09-03 株式会社コンピュータシステム研究所 監視サーバ、監視方法、監視プログラム、および、記憶媒体
JP7369945B2 (ja) 2019-03-03 2023-10-27 株式会社コンピュータシステム研究所 監視サーバ、監視方法、監視プログラム、および、記憶媒体
CN110956117A (zh) * 2019-11-26 2020-04-03 上海秒针网络科技有限公司 卫生检测方法和装置
JP2021152759A (ja) * 2020-03-24 2021-09-30 大日本印刷株式会社 情報処理システム、情報処理方法及び学習モデルの生成方法
JP7476599B2 (ja) 2020-03-24 2024-05-01 大日本印刷株式会社 情報処理システム、及び情報処理方法
CN113553886A (zh) * 2020-04-26 2021-10-26 富士通株式会社 用于监视洗手过程的装置、方法以及存储介质
JP2021174415A (ja) * 2020-04-30 2021-11-01 株式会社コンテック 衛生管理システム
JP7492850B2 (ja) 2020-04-30 2024-05-30 株式会社コンテック 衛生管理システム
WO2021229710A1 (ja) 2020-05-13 2021-11-18 富士通株式会社 手洗い認識システムおよび手洗い認識方法
WO2021234972A1 (ja) 2020-05-22 2021-11-25 富士通株式会社 手洗い認識システムおよび手洗い認識方法
JP7490170B2 (ja) 2020-07-29 2024-05-27 菱熱工業株式会社 手洗いチェックシステム

Also Published As

Publication number Publication date
JP6305448B2 (ja) 2018-04-04

Similar Documents

Publication Publication Date Title
JP6305448B2 (ja) 手洗い監視システム
US20120288168A1 (en) System and a method for enhancing appeareance of a face
KR101853006B1 (ko) 깊이영상에서 코 검출을 이용한 얼굴 인식
Aigrain et al. Person-specific behavioural features for automatic stress detection
CN111212594B (zh) 电子设备和利用电子设备确定结膜充血程度的方法
JP6443842B2 (ja) 顔検出装置、顔検出システム、及び顔検出方法
US20230043484A1 (en) Handwash monitoring system and handwash monitoring method
CN110930446B (zh) 一种眼底图像定量分析的前置处理方法及存储设备
KR19990016896A (ko) 얼굴영상에서 눈영역 검출방법
US20020015527A1 (en) Computer system for relieving fatigue
KR101745601B1 (ko) 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
US20230337913A1 (en) Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
JP6302007B2 (ja) クリーンルーム入室者の清浄度管理方法及び管理システム
US20230031042A1 (en) Handwash monitoring system and handwash monitoring method
CN111341444A (zh) 智能绘画评分方法及系统
KR20210092914A (ko) 인공지능 기반의 탈모 자가 진단 방법 및 시스템
JP2007058625A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR101989964B1 (ko) 대중 감성 검출 방법 이를 적용하는 시스템
JP7492850B2 (ja) 衛生管理システム
KR101971602B1 (ko) 영상분석을 이용한 공감 감성 추론 방법 및 시스템
JP6471924B2 (ja) 顔認証装置及び顔認証方法
CN116580839A (zh) 一种视线社交交流行为分析系统
CN111656382A (zh) 广告提示方法及广告提示系统
CN115439901A (zh) 人员提醒方法、装置、电子设备及存储介质
JPH06154171A (ja) 眼底画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180306

R150 Certificate of patent or registration of utility model

Ref document number: 6305448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250