JP2020091739A - 手順検知装置、および手順検知プログラム - Google Patents

Abstract

【課題】確実に手洗いが実施されたかどうかを客観的データとして判定する。【解決手段】認識装置２は、人が実行する一連の手順の画像を学習して、撮像装置３が撮影した画像から、一連の手順のうち何れであるかを推定する推定器２２と、推定器２２が各画像から推定した各推定手順から、各画像に対する手順を確定し、確定した各手順に係る時間を算出する処理部２３とを備える。【選択図】図１Ａ

Description

本発明は、画像認識技術を応用して、所望の手順の通りに実施したかどうかを動作から判定し、各手順の実施時間を測定する手順検知装置、および手順検知プログラムに関する。

手洗いを手順どおりに行うことは、食品や医薬品工場では必須となっている。特許文献１には、「手指衛生ガイドラインに対するコンプライアンスを判定するための、手洗い剤の使用をモニタリングするシステム及び方法を提供する。手洗い剤は臭気などの検知可能な揮発性物質と共に提供され、対象者の手洗いにより、手に擦り込まれる。手洗いが終わると、対象者は手を検知器（バッジなど）に当てる。検知器は、揮発性物質を検知可能なセンサーと、その揮発性物質の検知を通知するインジケータとを含み、インジケータは、手洗い剤の使用と手指衛生コンプライアンスを示す。」と記載されている。

特表２０１０−５２９４６７号公報

手洗いの検証には様々な方法が考えられる。第１の方法は、チェックリストによる検証である。第２の方法は、手洗いチェッカーによる視覚的な検証である。第３の方法は、手型スタンプ培地による視覚的な検証である。第４の方法は、ATP（アデノシン三リン酸）拭き取り検査によるスピーディな清浄度検査である。第５の方法は、簡易拭き取り検査による細菌数の把握である。第６の方法は、薬剤使用量からの手洗い実施状況把握である。特許文献１の発明は、第６の方法に係るものである。

これらの方法のうち、第１から第５までの方法は、手洗い後の検証手順が増えてしまうという欠点がある。第１の方法は、チェックリストの記載内容は本人の主観に委ねられるため、不適切な手洗いであっても正しく手洗いされた旨が記載されるおそれがある。
また第６の方法は、手洗い実施状況がマクロ的に把握できるのみであり、各人が漏れなく実施したことを認識することが難しい。
そこで、本発明は、確実に手洗いが実施されたかどうかを客観的データとして判定することを課題とする。

前記した課題を解決するため、本発明の手順検知装置は、人が実行する一連の手順の画像を学習して、撮像装置が撮影した画像から、前記一連の手順のうち何れであるかを推定する推定器と、前記推定器が各前記画像から推定した各推定手順から、各前記画像に対する手順を確定し、確定した各前記手順に係る時間を算出する処理部と、を備えることを特徴とする。

本発明の手順検知プログラムは、コンピュータに、人が実行する一連の手順の画像を学習する工程、撮像装置が撮影した画像から、前記一連の手順のうち何れであるかを推定する工程、各前記画像から推定した各推定手順から、各前記画像に対する手順を確定する工程、確定した各前記手順に係る時間を算出する工程、を実行させる。
その他の手段については、発明を実施するための形態のなかで説明する。

本発明によれば、確実に手洗いが実施されたかどうかを客観的データとして判定することが可能となる。

第１の実施形態における手洗い検知システムの構成図である。 第１の実施形態の変形例の手洗い検知システムの構成図である。 第２変形例の手洗い検知システムの構成図である。 手洗い手順と各手順に要する時間を示す図である。 手を流水で濡らす手順を示す図である。 手に石けん液を適量とる手順を示す図である。 手の平同士をこする手順を示す図である。 一方の手の甲を手の平でこすり、他方の手の甲を手の平でこする手順を示す図である。 指の間同士をこする手順を示す図である。 一方の親指を他方の手でこすり、他方の親指を一方の手でこする手順を示す図である。 一方の手の平を指先でこすり、他方の手の平を指先でこする手順を示す図である。 一方の手首をこすり、他方の手首をこする手順を示す図である。 流水でよくすすぐ手順を示す図である。 水気をしっかり拭き取る手順を示す図である。 消毒剤をすり込む手順を示す図である。 手順検知処理のフローチャート（その１）である。 手順検知処理のフローチャート（その２）である。 結果表示画面の一例を示す図である。 変形例における手洗い開始時の結果表示画面を示す図である。 変形例における手洗い完了時の結果表示画面を示す図である。 第２の実施形態における手洗い検知システムの構成図である。 手順検知処理のフローチャート（その１）である。 手順検知処理のフローチャート（その２）である。 手順検知処理のフローチャート（その３）である。

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
本実施形態では、手洗い場の上部に設置したカメラから人（演者）による手洗いの手先を撮影してお手本画像とし、このお手本画像を手順ごとにディープラーニングで学習させて各手順を認識させる。そして、新たに人による手洗いの手先を撮影して、その人が各手順を実行した時間を算出するものである。

《第１の実施形態》
図１Ａは、第１の実施形態における手洗い検知システム１Ａの構成図である。
図１Ａに示すように、手洗い検知システム１Ａは、手洗い場６に設けられた撮像装置３およびタッチパネルディスプレイ４と、認識装置２と、表示部２５とを含んで構成される。手洗い検知システム１Ａは、各人（作業者）の手洗いの各手順を検知して確実に手洗いが実施されたかどうかが判定し、客観的データとして残すものである。

撮像装置３は、所定フレーム周期で画像（静止画像）を繰り返し撮影するカメラである。撮像装置３の画像取得の周期は、例えば３０フレーム／秒である。撮像装置３は、例えば手洗い場６の上部に設置されており、各人の手洗いの際の手先を撮影して、撮影した画像を認識装置２に出力する。

認識装置２（手順検知装置）は、コンピュータであり、不図示のＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備える。認識装置２は、手洗いの手先を撮影したお手本の画像を手順ごとにディープラーニングで学習した後、手洗いの手先を撮影した新たな画像から手順を確定し、確定した各前記手順に係る時間を算出するものである。認識装置２が確定した結果は、表示部２５に表示される。認識装置２は、手洗いの手先を撮影したお手本の映像（動画）を手順ごとに記憶部２８に記憶させる。これにより、作業者に対してお手本映像を提示して、各手順を誤りなく実行させることができる。

表示部２５は、例えば液晶パネルであり、文字や図形や画像などを表示する。ここで表示部２５は、認識装置２が確定した手順に係る時間を表示する。なお、認識装置２と表示部２５は、手洗い場６の撮像装置３に直接接続される場合もあるが、遠隔地に配置され、クラウドなどを介して通信可能に接続されていてもよい。
タッチパネルディスプレイ４は、液晶パネル上に透明なタッチパネルが積層されて構成されている。タッチパネルディスプレイ４は、認識装置２に手洗いの手先を撮影したお手本画像を学習させる際に、お手本画像がどの手順に該当するかを入力するものである。
タッチパネルディスプレイ４は更に、通常動作モードと学習モードとの選択入力を受け付けて、後記する追加学習部２９に出力する。通常動作モードは、撮像装置３が撮影した画像が、どの手順であるかを学習済みの推定器２２が推定するモードである。学習モードは、撮像装置３が撮影した画像を推定器２２が学習するモードであり、追加学習で認識上げたい場合、または新規の動作を学習したい場合に使われる。
タッチパネルディスプレイ４による追加画像登録は、必須ではない。そのため、図１Ｂに示したように、タッチパネルディスプレイ４および追加学習部２９を備えていなくてもよい。過学習の恐れがあるため、標準手順の手洗いの場合は、追加学習部２９は不要だからである。
また、図１Ｂに示した手洗い検知システム１Ｂに、タッチパネルディスプレイ４を任意で取り付けてもよい。また、手洗い検知システムがクラウドサービスとして実現されていれば、処理部２３に改善した学習結果をダウンロードするなどの処理により、この手洗い検知システムの機能向上を図ることも可能である。
また、タッチパネル操作機能は必須ではなく、表示部２５に後記する図１８や図１９を表示するだけであってもよい。

認識装置２は更に、差分処理部２１と、推定器２２と、処理部２３と、人物検知部２４と、記憶部２８と、追加学習部２９とを備える。差分処理部２１は、所定フレームの画像と、この所定フレームの直前フレームの画像との差分を検知するものである。差分処理部２１の検知結果は、処理部２３に出力される。

推定器２２は、例えば畳み込みニューラルネットであり、教師データである画像と手順との関係をディープラーニングで学習したのち、撮像装置３が撮影した新たな画像が、どの手順に該当するかを推定するものである。例えば、推定器２２が所定の手順を１０秒間に亘って学習した場合、教師データは３００枚の静止画と手順の組合せである。推定器２２がＮ通りの手順をそれぞれ１０秒に亘って学習した場合、教師データはＮ×３００枚の静止画と手順との組合せである。
推定器２２は、人が実行する一連の手順の画像から、一連の手順のうち何れであるかを推定する畳み込みニューラルネットによる推定手段を含んでいる。

これら教師データをディープラーニングで学習したモデルが推定器２２に構築される。これにより、新たな撮影画像が推定器２２に入力された場合に、どの手順の確率が高くなるかが推定される。この推定器２２による推定結果は、処理部２３に出力される。
追加学習部２９は、推定器２２を学習モードで動作させ、追加で学習させる。具体的にいうと、演者は、学習させたい動作を撮影中にタッチパネルからラベル番号（手洗い手順に対応した登録済みまたは新規登録）を押し続ける。演者が押し続けてる間は教師データが作成され、演者が押すのを止めると教師データの作成が停止する。ここで教師データとは、指定されたラベル番号の手順に係るお手本映像のことをいう。
次に演者がタッチパネルから“学習”をタッチすると，推定器２２は、作成された教師データを、指定されたラベル番号の手順のお手本として学習する。これにより推定器２２には、日時情報が付加された推定モデルが形成される。ユーザは、推定器２２に形成された各推定モデルを選択または削除できる。

人物検知部２４は、撮像装置３が撮影した静止画像から、新たな人が手洗い場６に来たか否かを検知するものである。人物検知部２４による検知結果は、処理部２３に出力される。この人物検知部２４は、各人を識別可能に認識してもよく、また、単に人であるか否かを認識してもよく、限定されない。

処理部２３は、人物検知部２４が新たな人物を検知すると、手順確定処理を開始する。処理部２３は、推定器２２の推定結果から、どの手順が実行されているかを確定する。処理部２３は更に、差分処理部２１の検知結果から、手が止まっており手順が実行されていないことを検知するか、または手が動いており手順が実行されていることを検知する。これにより処理部２３は、確定した手順がどれだけの時間に亘って実行されているかを検知する。
記憶部２８は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶装置である。記憶部２８は、処理部２３が確定した手順とその実行時間を記憶し、認識装置２の各処理を実行させるためのプログラム（不図示）を記憶する。記憶部２８は更に、各手順のお手本映像を記憶するとよい。これにより、作業者が各手順を実行するにあたり、そのお手本を映像で示すことができる。

図２は、変形例の手洗い検知システム１Ｃの構成図である。
図２に示すように、手洗い検知システム１Ｃは、図１Ａに示した手洗い検知システム１Ａとは異なる認識装置２Ａを備え、更に指静脈認証装置５を備えている。
認識装置２Ａは、図１Ａに示した認識装置２とは異なり、人物検知部２４を備えていない。指静脈認証装置５は、指を検知することで手洗いする人物を検知するとともに、指静脈の情報により、その人物が誰であるかを認証するものである。指静脈認証装置５による認証結果は、処理部２３に出力される。

処理部２３は、指静脈認証装置５が新たな人物を検知すると、手順確定処理を開始する。処理部２３は、推定器２２の推定結果から、どの手順が実行されているかを確定する。処理部２３は更に、差分処理部２１の検知結果から、手が止まっており手順が実行されていないことを検知するか、または手が動いており手順が実行されていることを検知する。これにより処理部２３は、どの手順がどれだけの時間に亘って実行されているかを検知する。

図３は、模範的な手洗い手順と各手順に要する時間を示す図である。各手順の画像は、後記する図４から図１４に示している。
手順＃１は、手を流水で濡らすものであり、図４の手順画像７１に示されている。この手順画像７１は、後記する流水でよくすすぐ手順＃９の手順画像７９と類似している。
手順＃２は、手に石けん液を適量とるものであり、図５の手順画像７２に示されている。

手順＃３は、手の平同士をこするものである、図６の手順画像７３に示されている。
手順＃４は、一方の手の甲を手の平でこすり、他方の手の甲を手の平でこするものであり、図７の手順画像７４に示されている。なお、認識装置２に学習させる際には、右手の手の甲を手の平でこする手順と、左手の手の甲を手の平でこする手順とに分割してもよい。
手順＃５は、指の間同士をこするものであり、図８の手順画像７５に示されている。

手順＃６は、一方の親指を他方の手でこすり、他方の親指を一方の手でこするものであり、図９の手順画像７６に示されている。なお、認識装置２に学習させる際には、右手の親指を左手でこする手順と、左手の親指を右手でこする手順とに分割してもよい。

手順＃７は、一方の手の平を指先でこすり、他方の手の平を指先でこするものであり、図１０の手順画像７７に示されている。なお、認識装置２に学習させる際には、右手の指先で左手の平をこする手順と、左手の指先で右手の平をこする手順とに分割してもよい。
手順＃８は、一方の手首をこすり、他方の手首をこするものであり、図１１の手順画像７８に示されている。なお、認識装置２に学習させる際には、右手首をこする手順と、左手首をこする手順とに分割してもよい。

手順＃９は、流水でよくすすぐものであり、図１２の手順画像７９に示されている。この手順画像７９は、手順＃１の手順画像７１と類似している。
手順＃１０は、水気をしっかり拭き取るものであり、図１３の手順画像７１０に示されている。
手順＃１１は、消毒剤をすり込むものであり、図１４の手順画像７１１に示されている。
これら手順＃１から手順＃１１までの一連の手順を実行することにより、手洗いにおける洗浄率が高くなり、かつ洗浄の出来栄えにばらつきが生じなくなる。これにより、食中毒の原因となる病原性微生物を除去することができる。

推定器２２による学習は、上記した手順番号をラベルとしており、仮に手順番号通りでなくても検知可能である。更に、処理部２３の後処理により、規定の順番通りに手洗いされたかの検知も可能である。この場合、手順番号に沿った検知を正とする。ただし、この手洗い検知システム１Ｂを導入する顧客ごとに、手洗い手順の規定（洗い方）が異なっていることも予想される。その場合、規定に従った洗い方を推定器２２に学習させるとよい。例えば、手順＃１から手順＃１１までを実行するのみに限られず、手順＃２から手順＃９までを２回繰り返すことで、ノロウイルスを効果的に除去することができる。

新規手洗い学習において人（演者）は、タッチパネルディスプレイ４に表示された追加の手順番号をタップし、お手本として、例えば１０秒間の追加の手洗いを実施して推定器２２に学習させる。この場合、人（演者）は少なくとも数名は必要である。不特定多数による手洗いを検知する場合、認識率が低くなる恐れもある。その際も同様に追加で学習するとよい。

学習した結果の精度評価は、一連の手洗い動作で各手順番号の実施時間ズレ１０％未満で正常認識レベルとする。推定器２２上で動作する学習モデルは、例えば記憶部２８に格納されて、タッチパネルディスプレイ４に表示された選択画面により、任意に選択可能である。

図１５と図１６は、手順検知処理のフローチャートである。
ステップＳ１０において、この手洗い検知システム１Ｂの人物検知部２４は、新たな人を検知したか否かを判定する。人物検知部２４が新たな人を検知しなかったならば（Ｎｏ）、ステップＳ１０の処理に戻る。人物検知部２４が新たな人を検知すると（Ｙｅｓ）、ステップＳ１１の処理に進む。ここで新たな人とは、手洗いを実施する作業者である。

処理部２３は、現在の確定手順を手洗い開始前に初期化する（Ｓ１１）。撮像装置３は撮影画像を取得し（Ｓ１２）、Augmentation処理を行う（Ｓ１３）。Argumentation処理とは、画像の水増しのことであり、例えば元画像に移動、回転、拡大、縮小などの人為的な操作を加えることである。
学習済みの推定器２２は、この画像に対応する手順を推定する（Ｓ１４）。なお、処理部２３は、人物検知部２４が人を検知しなくなった際に現在の手順を手洗い開始前に初期化してもよく、限定されない。

その後、処理部２３は、移動多数決処理により、過去のｎフレーム前の画像がどの手順かを前後ｎフレームの画像で多数決する（Ｓ１５）。ここで、ｎフレームは、推定器２２の推定精度に応じて適宜設定される値とする。ｎフレーム前を対象とすることで、対象の前後ｎフレームの多数決を行うことができるので、手順の推定精度を向上させることができる。なお、処理部２３は、人物を検知したのちｎフレームの撮影が完了するまで、ステップＳ１５の処理を実行しないため、手順が確定しないことになる。

処理部２３は、対象フレームの前後ｎフレームの多数決の結果を判定する（Ｓ１６）。処理部２３は、多数決の結果が複数同値ならば（Ｙｅｓ）、これら結果が前確定手順と同じものを含むか否かを判定する（Ｓ１８）。前確定手順とは、対象フレームより一つ前のフレームの確定手順であり、対象フレームが最初であったときにはステップＳ１１で設定した手順である。この判定が成立したならば（Ｙｅｓ）、処理部２３は、前確定手順と同じものを対象フレームの手順として確定し（Ｓ１９）、図１６のステップＳ２２の処理に進む。

ステップＳ１８において、処理部２３は、多数決の結果が前確定手順と同じものを含まないならば（Ｎｏ）、更に多数決の結果が前確定手順の次の予定手順と同じものを含むか判定する（Ｓ２０）。次の予定手順とは、前確定手順に対して１つ先の手順である。この判定が成立したならば（Ｙｅｓ）、処理部２３は、次の予定手順と同じものを対象フレームの手順として確定し（Ｓ２１）、図１６のステップＳ２３の処理に進む。

ステップＳ２０において、処理部２３は、多数決の結果が次の予定手順と同じものを含まないならば（Ｎｏ）、対象フレームの手順を「不明」として（Ｓ２２）、図１６のステップＳ２３の処理に進む。
ステップＳ１６において、処理部２３は、多数決の結果が複数同値ではないならば（Ｎｏ）、すなわち単一の手順が多数決で決定されたならば、その手順として対象フレームを確定し（Ｓ１７）、図１６のステップＳ２３の処理に進む。
ステップＳ１５〜Ｓ２２の移動多数決処理により、処理部２３は、推定器２２が誤って推定した手順を修正することができる。

図１６のステップＳ２３において、処理部２３は、移動多数決処理により、対象フレームが手順＃１または手順＃９として確定したか否かを判定する。ここで手順＃１または手順＃９として決定されたか否かを判定する理由は、手順＃１と手順＃９とは、ほぼ同様な撮影画像となり、推定器２２の推定と処理部２３の移動多数決処理だけでは決定しにくいためである。
処理部２３は、対象フレームが手順＃１または手順＃９として確定されたならば（Ｙｅｓ）、前確定手順が手洗い途中であるか否かを判定する（Ｓ２４）。ここで手洗い途中とは、手順＃２から手順＃９のうち何れかであることをいう。

ステップＳ２４において、処理部２３は、前確定手順が手洗い途中ならば（Ｙｅｓ）、手順＃９に再確定し（Ｓ２５）、前確定手順が手洗い途中でないならば（Ｎｏ）、手順＃１に再確定し（Ｓ２６）、ステップＳ２７の処理に進む。
なお、ステップＳ２３において、処理部２３は、対象フレームは手順＃１と手順＃９のうち何れでもないと判定したならば（Ｎｏ）、ステップＳ２７の処理に進む。
ステップＳ２３〜Ｓ２６の処理により、処理部２３は、画像的に類似した手順を、前確定手順との関係に基づいて再確定することができる。更にユーザが、同一の動作を異なる手順で複数実行するように規定した場合であっても、処理部２３は、これらの手順を区別して確定することができる。

ステップＳ２７において、差分処理部２１は、画像差分処理を行う。ここで画像差分処理とは、対象画像と対象画像の直前の画像との差分を算出する処理のことをいう。処理部２３は、対象画像と直前画像との差分が閾値以上であるか否かを判定する（Ｓ２８）。画像差分が閾値以上である場合は、手が動いていると判定できる。画像差分が閾値未満である場合は、手が止まっていると判定できる。つまり差分処理部２１は、対象フレームの手順が確定するにも関わらず、手が停止しており、よって手洗いが実行されていないことを検出する。

処理部２３は、画像差分が閾値以上ならば（Ｙｅｓ）、この手順の実行時間に１フレームの時間を加算し（Ｓ２９）、ステップＳ３０の処理に進む。処理部２３は、画像差分が閾値未満ならば（Ｎｏ）、ステップＳ３０の処理に進む。

処理部２３は、各手順とそれら実行時間を記憶部２８に記録する（Ｓ３０）。更に処理部２３は、表示部２５に手洗い手順の実行状態を表示し（Ｓ３１）、図１５のステップＳ１２の処理に戻る。表示部２５に表示された手洗い手順の実行状態は、後記する図１７に例示している。

図１７は、手順検知結果の一例を示す図である。
この画面８は、左側に手洗い手順の実行状態８１を表示し、更に中央下側に矩形の検知領域８２を表示している。検知領域８２は、推定器２２や差分処理部２１が処理する対象画像である。

実行状態８１の“0 Not Ready”は、手洗いされていない時間を示している。手洗いされていない時間とは、例えば手が止まっている時間のことをいう。
“1 Water:”は、手を流水で濡らす手順＃１を示し、その右側の棒グラフで実行時間を示している。
“2 Soap:”は、手に石けん液を適量とる手順＃２の時間を示し、その右側の棒グラフで実行時間を示している。

“3 Palm:”は、手の平同士をこする手順＃３の時間を示し、その右側の棒グラフで実行時間を示している。
“4 Back(R):”は、右手の甲を左手の平でこする手順の時間を示し、その右側の棒グラフで実行時間を示している。“5 Back(L):”は、左手の甲を右手の平でこする手順の時間を示し、その右側の棒グラフで実行時間を示している。

“6 Between the fingers:”は、指の間同士をこする手順＃５の時間を示し、その右側の棒グラフで実行時間を示している。
“7 Thumb(R):”は、右手の親指を左手でこする手順の時間を示し、その右側の棒グラフで実行時間を示している。“8 Thumb(L):”は、左手の親指を右手でこする手順の時間を示し、その右側の棒グラフで実行時間を示している。

“9 Fingers(R):”は、右手の指先で左手の手の平をこする手順の時間を示し、その右側の棒グラフで実行時間を示している。“a Fingers(L):”は、左手の指先で右手の手の平をこする手順の時間を示し、その右側の棒グラフで実行時間を示している。
“b Wrist(R):”は、右手首をこする手順の時間を示し、その右側の棒グラフで実行時間を示している。“c Wrist(L):”は、左手首をこする手順の時間を示し、その右側の棒グラフで実行時間を示している。
“z Unknown:”は、手洗い中であり、かつ上記手順のうち何れにも分類できない不明な時間を示し、その右側の棒グラフで実行時間を示している。

この画面８の実行状態８１を管理者が監視することにより、各従業員が手順通りに手洗いを実施したかを確認できる。また、表示部２５を各手洗い場６に配置して画面８を表示することにより、手洗いが手順通りに行われているか否かを従業員自らにチェックさせることが可能となる。

図１８は、変形例における手洗い開始時の画面９を示す図である。この画面９は、図２のタッチパネルディスプレイ４に表示される。
図１８に示す画面９は、右側に実施結果リスト９１が表示され、その下には次の手順のガイダンス９２が表示され、左側にはカメラの生映像９３とお手本映像９４とが表示されている。ここでは、図２に示した指静脈認証装置５に作業者「日立花子」が指を翳して認証した場合を示している。

実施結果リスト９１の全ての実施結果は、ブランクを示す“−”が表示されている。ガイダンス９２には、次に実行すべき手順が「流水でぬらす」手順であることを示している。
カメラの生映像９３は、手洗い場６の状況が示され、かつその上に重畳表示された文字で「あと１０秒です。」が表示されている。これにより作業者は、手順を実施すべき時間がどれだけ残っているかを知ることができる。

お手本映像９４は、次に実行すべき「流水でぬらす」手順に係るお手本の映像が繰り返し再生されている。これにより作業者は、現在の手順をどのように実行すべきかを知ることができる。

図１９は、変形例における手洗い完了時の画面９を示す図である。
図１９に示す画面９は、右側に実施結果リスト９１が表示され、左側にはカメラの生映像９３が表示されている。
実施結果リスト９１の全ての実施結果は、「完了」が表示されており、決められた時間だけ各手順が実行されたことを示している。カメラの生映像９３は、その上に重畳表示された文字で「手洗い完了」が表示されている。これにより作業者やその管理者は、手洗いが完了していることを客観的に認識可能である。

第１の実施形態の手洗い検知システム１Ａ，１Ｂ，１Ｃによれば、確実に手洗いが実施されたかどうかが判定でき、客観的データとして記憶部２８に残すことができる。変形例の指静脈認証装置５（図２参照）などと連携させ、手洗いを確実に実施する装置として提供することも可能である。

《第２の実施形態》
図２０は、第２の実施形態における手洗い検知システム１Ｄの構成図である。
図２０に示すように、手洗い検知システム１Ｄは、図１Ａに示した手洗い検知システム１Ａとは異なる認識装置２Ｂを備えている。

認識装置２Ｂは、図１Ａに示した認識装置２とは異なり、骨格情報推定部２６と動作差分処理部２７とを備えており、差分処理部２１を備えていない。
骨格情報推定部２６は、手の各関節の二次元座標または三次元座標を推定するものである。これにより、認識装置２Ｂは、手指の動きを正確に把握可能である。骨格情報推定部２６が推定した各関節の二次元座標または三次元座標は、推定器２２と動作差分処理部２７に出力される。なお、骨格情報推定部２６の例としては、OpenPose（登録商標）、VISION POSE（登録商標）、VNectなどがある。

推定器２２は、ニューラルネットを含む、機械学習による学習・推定手段であり、教師データである各関節の座標と手順との関係を学習したのち、各関節の座標がどの手順に該当するかを推定するものである。推定器２２による推定結果は、処理部２３に出力される。
動作差分処理部２７は、座標の差分を算出し、よって手指の動作量を算出するものである。動作差分処理部２７が算出した手指の動作量は、処理部２３に出力される。

処理部２３は、人物検知部２４が新たな人物を検知すると一連の手順推定を開始する。処理部２３は、推定器２２の一連の推定結果から、どの手順が実行されているかを決定する。処理部２３は更に、動作差分処理部２７の検知結果から、手が止まっており手順が実行されていないことを検知するか、または手が動いており手順が実行されていることを検知する。これにより処理部２３は、どの手順がどれだけの時間に亘って実行されているかを検知する。

図２１と図２２と図２３は、手順検知処理のフローチャート（その１）である。
ステップＳ４０において、この手洗い検知システム１Ｄの人物検知部２４は、新たな人を検知したか否かを判定する。人物検知部２４が新たな人を検知しなかったならば（Ｎｏ）、ステップＳ４０の処理に戻る。人物検知部２４が新たな人を検知すると（Ｙｅｓ）、ステップＳ４１の処理に進む。ここで新たな人とは、手洗いを実施する作業者である。

処理部２３は、現在の手順を手洗い開始前に初期化する（Ｓ４１）。撮像装置３は撮影画像を取得する（Ｓ４２）。骨格情報推定部２６は、手の各関節の二次元座標または三次元座標を推定する（Ｓ４３）。骨格情報推定部２６は、左右手首間または左右それぞれの手の重心間の中天を原点とし、原点から各骨格座標までのベクトル化する（Ｓ４４）。そして骨格情報推定部２６は、手が大きく又は小さく写ってるものを適切な大きさに変換させ、ベクトルを正規化し（Ｓ４５）、図２２のステップＳ４６に進む。
図２２のステップＳ４６において、この手の各関節の二次元座標または三次元座標により、学習済みの推定器２２は、この手指の座標に対応する手順を推定する。

その後、処理部２３は、移動多数決処理により、過去のｎフレーム前の手指座標がどの手順かを前後ｎフレームの手指座標で多数決する（Ｓ４７）。ここで、ｎフレームは、推定器２２の推定精度に応じて適宜設定される値とする。ｎフレーム前を対象とすることで、対象の前後ｎフレームの多数決を行うことができるので、手順の推定精度を向上させることができる。なお、処理部２３は、人物を検知したのちｎフレームの撮影が完了するまで、ステップＳ４７の処理を実行しない。

処理部２３は、前後ｎフレームの多数決の結果を判定する（Ｓ４８）。その結果、処理部２３は、多数決の結果が複数同値ならば（Ｙｅｓ）、これら結果が前確定手順と同じものを含むか否かを判定する（Ｓ５０）。前確定手順とは、対象フレームより一つ前のフレームの確定手順であり、対象フレームが最初であったときにはステップＳ４１で設定した手順である。この判定が成立したならば（Ｙｅｓ）、処理部２３は、前確定手順と同じものを対象フレームの手順として決定し（Ｓ５１）図２２のステップＳ５５の処理に進む。

ステップＳ５０において、処理部２３は、多数決の結果が前確定手順と同じものを含まないならば（Ｎｏ）、更に多数決の結果が次の予定手順と同じものを含むか判定する（Ｓ５２）。次の予定手順とは、前確定手順に対して１つ先の手順である。この判定が成立したならば（Ｙｅｓ）、処理部２３は、次の予定手順と同じものを対象フレームの手順として確定し（Ｓ５３）、図２３のステップＳ５５の処理に進む。

ステップＳ５２において、処理部２３は、多数決の結果が次の予定手順と同じものを含まないならば（Ｎｏ）、手順を「不明」として（Ｓ５４）、図２３のステップＳ５５の処理に進む。
ステップＳ４８において、処理部２３は、多数決の結果が複数同値ではないならば（Ｎｏ）、すなわち単一の手順が多数決で決定されたならば、その手順として対象フレームを確定し（Ｓ４９）、図２３のステップＳ５５の処理に進む。
ステップＳ４７〜Ｓ５４の移動多数決処理により、処理部２３は、推定器２２が誤って推定した手順を修正することができる。

図２３のステップＳ５５において、処理部２３は、移動多数決処理により、手順＃１または手順＃９として確定したか否かを判定する。ここで手順＃１または手順＃９として決定されたか否かを判定する理由は、手順＃１と手順＃９とは、ほぼ同様な手指の座標となり、推定器２２の推定と処理部２３の移動多数決処理だけでは決定しにくいためである。
処理部２３は、手順＃１または手順＃９として確定されたならば（Ｙｅｓ）、前確定手順が手洗い途中であるか否かを判定する（Ｓ５６）。ここで手洗い途中とは、手順＃２から手順＃９のうち何れかであることをいう。

ステップＳ５６において、処理部２３は、前確定手順が手洗い途中ならば（Ｙｅｓ）、対象フレームを手順＃９に再確定し（Ｓ５７）、手洗い途中でないならば（Ｎｏ）、対象フレームを手順＃１に再確定し（Ｓ５８）、ステップＳ５９の処理に進む。
なお、ステップＳ５５において、処理部２３は、手順＃１と手順＃９のうち何れでもないと判定したならば（Ｎｏ）、ステップＳ５９の処理に進む。
ステップＳ５５〜Ｓ５８の処理により、処理部２３は、画像的に類似した手順を、前確定手順との関係に基づいて再確定することができる。更にユーザが、同一の動作を異なる手順で複数実行するように規定した場合であっても、処理部２３は、これらの手順を区別して確定することができる。

ステップＳ５９において、動作差分処理部２７は、手指の二次元座標または三次元座標の差分を算出する。ここで手指の二次元座標または三次元座標の差分とは、前フレームの手指の各座標と今回のフレームの手指の各座標との差分であり、手指の動作量に対応する。

処理部２３は、動作差分処理部２７が算出した動作量が閾値以上であるか否かを判定する（Ｓ６０）。動作量が閾値以上である場合は、手が動いていると判定できる。動作量が閾値未満である場合は、手が止まっていると判定できる。

処理部２３は、動作量が閾値以上ならば（Ｙｅｓ）、手順の実行時間に１フレームの時間を加算し（Ｓ６１）、ステップＳ６２の処理に進む。処理部２３は、動作量が閾値未満ならば（Ｎｏ）、そのままステップＳ６２の処理に進む。

処理部２３は、各手順とそれら実行時間を記憶部２８に記録する（Ｓ６２）。更に処理部２３は、表示部２５に手洗い手順の実行状態を表示し（Ｓ６３）、図２１のステップＳ４２の処理に戻る。表示部２５に表示された手洗い手順の実行状態は、前記した図１７に例示している。

第２の実施形態の手洗い検知システム１Ｄは、撮像装置３が撮影した画像を直接に機械学習するのではなく、これら画像から推定した人の各骨格の座標をディープラーニングで学習している。これにより、片方の手で隠されている部分の動作も含めて推定できる。

（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。

各実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の（ａ）〜（ｄ）のようなものがある。

（ａ） 各人を認証して手洗い検知を開始するトリガーは、撮影画像による人物の検知や指静脈認証装置による認証に限定されず、例えば非接触ＩＣカードの検知や、指静脈以外の生体認証であってもよく、限定されない。
（ｂ） 本発明の認識対象となる一連の手順は、手洗いの手順に限定されず、介護の手順、リハビリの手順、ダンスの振り付けの手順、ヨガのポーズの手順、スポーツの手順（フォーム）などの任意の手順であってもよく、限定されない。
（ｃ） 撮像装置のフレームレートは３０フレーム／秒に限定されない。
（ｄ） 認識装置が識別する画像的に類似した手順は、手作業による設定に限定されず、両者の類似度を推定器が判定して設定してもよい。これにより、画像的に類似した２つの手順を、前確定手順に基づいて再確定することができる。

１Ａ，１Ｂ，１Ｃ，１Ｄ 手洗い検知システム
２，２Ａ，２Ｂ 認識装置 （手順検知装置）
２１ 差分処理部
２２ 推定器
２３ 処理部
２４ 人物検知部
２５ 表示部
２６ 骨格情報推定部
２７ 動作差分処理部
２８ 記憶部
３ 撮像装置 （カメラ）
４ タッチパネルディスプレイ
５ 指静脈認証装置
６ 手洗い場

Claims (11)

1. 人が実行する一連の手順の画像を学習して、撮像装置が撮影した画像から、前記一連の手順のうち何れであるかを推定する推定器と、
   前記推定器が各前記画像から推定した各推定手順から、各前記画像に対する手順を確定し、確定した各前記手順に係る時間を算出する処理部と、
   を備えることを特徴とする手順検知装置。
2. 前記処理部が算出した各前記手順に係る時間を表示する表示部、
   を更に備えることを特徴とする請求項１に記載の手順検知装置。
3. 前記処理部は、前記撮像装置が撮影した対象画像と前記対象画像の直前画像との差分が閾値以内ならば、人の手順が停止していると判定し、各前記画像に対して確定した確定手順に係る時間を増加させない、
   ことを特徴とする請求項１または２に記載の手順検知装置。
4. 前記推定器は、
   各前記画像から一連の手順のうち何れであるかを推定する畳み込みニューラルネットによる推定手段を含む、
   ことを特徴とする請求項１または２に記載の手順検知装置。
5. 前記推定器は、
   各前記画像から人の各骨格の座標を推定する骨格情報推定部と、
   人が実行する一連の手順の画像により前記骨格情報推定部が推定した各骨格の座標を学習して、前記撮像装置が撮影した画像により前記骨格情報推定部が推定した各骨格の座標から、前記一連の手順のうち何れであるかを推定するニューラルネットを含む、機械学習による推定手段と、を含む、
   ことを特徴とする請求項１または２に記載の手順検知装置。
6. 前記処理部は、前記撮像装置が撮影した対象画像により前記骨格情報推定部が推定した各座標と、前記対象画像の直前画像により前記骨格情報推定部が推定した各座標との差分が閾値以内ならば、動作が停止していると判定し、各前記画像に対して確定した確定手順に係る時間を増加させない、
   ことを特徴とする請求項５に記載の手順検知装置。
7. 前記処理部は、前記撮像装置が撮影した対象画像における前後の所定数の画像に対して、前記推定器が推定した推定手順の多数決により、何れの手順であるかを決定する、
   ことを特徴とする請求項１から６のうち何れか１項に記載の手順検知装置。
8. 前記処理部は、前記対象画像における前後の所定数の画像に対して、前記推定器が推定した推定手順の多数決が複数同値であり、かつ前記対象画像の直前画像の確定手順と同一のものを含むならば、前記直前画像の確定手順を前記対象画像の手順として確定する、
   ことを特徴とする請求項７に記載の手順検知装置。
9. 前記処理部は、前記対象画像における前後の所定数の画像に対して前記推定器が推定した推定手順の多数決が複数同値であり、かつ前記対象画像の直前画像の確定手順と同一のものを含まず、前記確定手順の次の手順を含むならば、前記次の手順を前記対象画像の手順として確定する、
   ことを特徴とする請求項８に記載の手順検知装置。
10. 前記撮像装置が撮影した画像から人を検出する検出部を更に備え、
    前記検出部が人を検出しなくなったとき、または、新たな人を検出したとき、前記一連の手順のうち最初の手順を次の手順とする、
    ことを特徴とする請求項１から９のうち何れか１項に記載の手順検知装置。
11. コンピュータに、
    人が実行する一連の手順の画像を学習する工程、
    撮像装置が撮影した画像から、前記一連の手順のうち何れであるかを推定する工程、
    各前記画像から推定した各推定手順から、各前記画像に対する手順を確定する工程、
    確定した各前記手順に係る時間を算出する工程、
    を実行させるための手順検知プログラム。

Images