JP2021174488A - 手洗い評価装置および手洗い評価プログラム - Google Patents

Abstract

【課題】手洗いにおいて画像認識で手洗い行動種類を高精度に認識し、使用者にどの行動が不足しているか通知する。【解決手段】撮像部は手洗いを行う領域の画像を撮像し、手関節位置推定部は画像から人物の両手の第一の数の関節位置を推定し、手洗い行動識別部は時間方向に連続した第二の数の画像それぞれの関節位置を入力として、時間方向および空間方向の関節位置の位置関係を用いて手洗い行動種類とその尤度とを出力し、手洗い開始判定部は人物が手洗いを開始したことを判定し、スコア算出部は手洗い行動種類ごとに手洗い開始からその手洗い行動種類が実行された秒数とスコアとを算出し、情報出力部は使用者に通知する。【選択図】図１１

Description

本発明は、画像情報から人物の手洗い動作の良し悪しを判断し、使用者に提示する技術に関する。

ウイルスや病原体など人に害を及ぼすものの多くは手指を介して人に感染するといわれており、予防のために手洗いによってそれらを除去することは重要である。しかし手洗いの手順や程度は人や場合によって異なり、両手を全て綺麗に洗うこともあれば、洗い残しがあることもある。良い手洗い手順を知っている他人が見て、手洗いを指導することができれば、手洗い方法を改善することができる。

人ではなくカメラを用いて手洗いを計測し自動で評価するような、下記の特許文献1〜3および非特許文献1〜2に開示された技術がある。

特許文献1は、使用者が手洗いを開始する前の行動に関する行動情報を取得するための行動情報取得部を備え、その行動に基づいて使用者がすべき手洗い動作を規定するための手洗い動作規定部を備える手洗いモニタである。

特許文献2は、所定エリアへの人間の進入を検知する進入者検知部を備え、所定エリアへ進入した進入者の手洗いを画像から検知する身体部位検知部を備え、身体部位の動作時間に基づいて、規定の手洗い動作を行なったか否かを判定する手洗いモニタである。

特許文献3は、画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する洗い方認識ステップを備えた手洗い監視方法であり、識別指標として指の数を用いている。

非特許文献1では、画像から色情報と動き情報を用いて手領域を識別し、パーティクルフィルターを用いて手領域の追跡を行い、アピアランス特徴量と動き特徴量をサポートベクトルマシンを用いて手洗い行動種類を識別する技術が報告されている。

非特許文献2では、ＨＭＤを用いて認識した手洗い種類に応じたジェスチャー表現を現実画像に重ね合わせて表示することで手洗い指導を行うことができるシステムが報告されている。

特許5884554号公報 特願2011-153034号公報 特許6305448号公報

Llorca, D.F., Parra, I., Sotelo, M.A. et al. "A vision-based system for automatic hand washing quality assessment" Machine Vision and Applications 22, 219-234 （2011）. 、［令和２年４月３０日検索］、<URL:https://doi.org/10.1007/s00138-009-0234-7> 島田祥伍，舟橋健司，伊藤健太，棚瀬佳見，岩崎公弥子 "小児医療保育現場のためのVR手洗い教育システムの検討"、第22 回日本バーチャルリアリティ学会大会論文集（2017 年9 月）、［令和２年４月３０日検索］、<URL:https://jglobal.jst.go.jp/en/detail?JGLOBAL_ID=201902285150209166>

特許文献1では使用者が手洗いを開始する前の行動に基づいて必要な手洗い動作を規程しているが、手洗い前の使用者の行動を取得することは一般使用では困難である。また、手洗い行動種類を詳細に識別する手段については述べられていない。

特許文献2では使用者が所定エリアへの進入有無や進入順序、動作時間によって規定の手洗い動作を行なったか否かを判定しており、詳細な手の状態や動作を計測して手洗い動作を認識しているわけではない。

特許文献3では画像により使用者の手の状態を詳細に認識するが、背景差分や肌色情報を用いて抽出した手領域の形状によって手洗い動作種類を識別しており、様々な実環境下での手の手洗い行動を高精度に認識できるわけではない。

非特許文献1では画像から手領域を抽出しアピアランス特徴量と動き特徴量をサポートベクトルマシンを用いて手洗い行動種類を識別するが、詳細な手指の状態を識別しているわけではなく、様々な実環境下での手の手洗い行動を高精度に認識できるわけではない。

非特許文献2では一つの画像から取得した掌の位置や指の位置から手洗い行動種類を識別しており、複数の画像に跨る動作を用いて行動種類を識別しているわけではなく、高精度に認識できるわけではない。

幼稚園や学校、病院、工場など不特定多数の人が使用する手洗い場において、各人の手洗い評価を行うためには、人に事前準備が不要で、非接触で人の状態を認識できるカメラ画像認識は有用である。しかしながらカメラによる撮像は使用場所による変動要素が多く、実用的な精度で手洗い行動を認識することが困難であった。

実環境環境では様々な照明環境や、対象である手の背景となる画像の影響等があり、色情報のみで手領域を正確に抽出するのは必ずしも成功するとは限らない。またカメラの視野に対して、人物の両手が必ずしも同じ角度で撮影されるとは限らず、両手が斜めに撮像されることもあり、従来の手法では高精度に認識することは困難であった。

手洗い動作において両手は限られた空間の中で絡み合いながら動くため、手洗い動作には似たような動作が多い。例えば両手を合わせて掌を洗う動作は、手の甲を洗う動作とシルエットが似ており、区別するためには手の表裏を認識したり手がどのように動作しているか認識する必要がある。このように正確に手洗い行動種類を識別するためには、手指の正確な状態と動作を知る必要がある。

画像認識によって手指の詳細な状態と動作とを認識し、様々な実利用環境下で高精度に手洗い行動種類を識別することが課題であった。

本発明の一実施例によれば、撮像から手洗い行動種類を認識し、各手洗い行動が実行された秒数とスコアを使用者に通知する、手洗い評価装置が提供される。撮像部は手洗いを行う領域の画像を撮像し、手関節位置推定部は画像から人物の両手の第一の数の関節位置を推定し、手洗い行動識別部は時間方向に連続した第二の数の画像それぞれの関節位置を入力として、時間方向および空間方向の関節位置の位置関係を用いて手洗い行動種類とその尤度とを出力し、手洗い開始判定部は人物が手洗いを開始したことを判定し、スコア算出部は手洗い行動種類ごとに手洗い開始からその手洗い行動種類が実行された秒数とスコアとを算出し、情報出力部は使用者に通知する。

本発明によれば、使用者は事前準備不要で手洗いを行うだけで、各手洗い行動が実行された秒数とスコアとが使用者に通知され、どの手洗い行動が不足していたか知ることができる。

本発明の第1の実施の形態における設置状況である。 本発明の第1の実施の形態における構成である。 第1の実施の形態における処理手順を説明するためのフローチャートである。 撮像部が撮像した画像の例である。 手の関節位置の図である。 手関節位置推定部の入力と出力を表す図である。 手関節位置推定部の実現例１である。 手関節位置推定部の実現例２である。 手洗い行動識別部の実現例である。 スコアテーブルの図である。 情報出力部が表示装置としてスコア結果を使用者に提示する図である。

(第1の実施の形態)
図1は、本発明の第1の実施の形態における設置状況である。手洗い場所101には水道の蛇口102が据えられ、使用者103は蛇口からの水を用いて手洗いを行う。使用者は石鹸や手洗い用洗浄液を用いることもある。本発明の一部である撮像部104は使用者の手洗いの様子を撮像できるような場所に設置される。また本発明の一部である情報出力部105は、表示装置として設置され、使用者103に情報を提示する。

図2は、本発明の第1の実施の形態における構成である。撮像部201は104に、情報出力部206は105に設置されるが、手関節位置推定部202、手洗い開始判定部203、手洗い行動識別部204、スコア算出部205は数値演算処理であり、ＣＰＵ（Ｃｅｎｔｒａｌ−Ｐｒｏｃｅｓｓｉｎｇ−Ｕｎｉｔ）あるいはＧＰＵ（Ｇｒａｐｈｉｃｓ−Ｐｒｏｃｅｓｓｉｎｇ−Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ−Ｇａｔｅ−Ａｒｒａｙ）等の演算装置で演算が行われる。

手関節位置推定部202は重み係数データ１ 207を所有し、手洗い行動識別部204は重み係数データ２ 208を所有する。重み係数データ１および重み係数データ２は事前に算出されており、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ）に格納される。

スコア算出部205はスコアデータ209を所有する。スコアデータ209はＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ−Ｍｅｍｏｒｙ）に格納される。

ＣＰＵ等の演算装置、ＲＯＭ、ＲＡＭ、その他演算に必要なハードウェアは、撮像部104内あるいは情報出力部105内あるいはそれ以外の場所に設置してよい。

図3は、本発明の第1の実施の形態における処理手順を説明するためのフローチャートである。

撮像部201は、手洗い場所101で使用者103が手洗いする様子を動画として撮影する（S301）。撮像部201は、可視光を撮像するカメラで、RGBデータを画像として取得する。あるいは撮像部201は、ステレオ方式カメラ、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式カメラ、Ｓｔｒｕｃｔｕｒｅｄ−Ｌｉｇｈｔ方式カメラのいずれかであって、距離データを画像として取得する。可視光カメラと距離カメラとを併用してもよい。

図4は撮像部201が撮像した画像の例である。使用者の左手402と右手403が画像401として撮像される。撮像部201の視野が広い場合、手洗い場所101で手洗いを行う場所は限られるため、画像の部分領域をこれ以降のステップにおける入力画像としてもよい。

手関節位置推定部202は画像を入力として、両手の有無と関節位置を出力する（S302）。手の関節位置は図5に示される関節点501の集合であり、両手で合わせて N 個の関節点を定義する。リンク502は関節点501同士を接続したものである。関節点位置は画像内の2次元座標で表現してもよいし、奥行き情報を加えた3次元座標で表現してもよい。

図6は手関節位置推定部202の入出力である。ＲＧＢ画像または距離データ画像である画像601を入力とし、画像には左手602と右手603が含まれる。両手は撮像部201の視野内に無く、画像に撮像されていないこともある。このため手関節位置推定部202は、両手の有無情報と、左手と右手で合わせて N 点の関節位置情報 604、605 を出力する。

手関節位置推定部202は、2次元の画像を入力として相対的な奥行き情報を含む3次元の関節位置を推定することも可能であるが、より高精度に関節位置を推定するには、直接奥行き情報を取得している距離データ画像を入力とするほうが好ましい。

図7は手関節位置推定部202の実現例１である。画像701を入力とし、畳み込みニューラルネットワーク702によって中間表現であるヒートマップ画像703を計算する。ヒートマップ画像は N 個の関節位置それぞれの画像内の出現確率を表す。次にヒートマップ画像内で出現確率の局所最大値を抽出することで、各関節の位置704を得る。またヒートマップ画像の値が閾値より低い関節点の数を数えることで、画像内の両手の有無情報705を算出し出力する。畳込みニューラルネットワーク702は、事前に教師あり機械学習により算出された重み係数データ706を含む。

あるいは図8に示す実現例２のように、手関節位置推定部202は画像801を入力とし、畳込みニューラルネットワーク802によって関節位置803と両手の有無情報804を直接推定してもよい。畳込みニューラルネットワーク802は重み係数データ805を含む。

手関節位置推定部202により推定された関節位置情報は、回転や位置、スケールの正規化を行ってもよい。

手関節位置推定部202により両手が無いと判断された場合は、S304〜S307のステップは行わない（S303）。

手洗い開始判定部203によって、新たに使用者が手洗いを開始したかどうかが判定される（S304）。S302によって手の有無が判定されるが、一定時間以上手が無い状態が続いた後に、手があると判定された場合、新たに手洗いを開始したと判定する。もしくは手洗い場所101への人物の出入りを計測することによって、新たに人物が入ったと判定した場合は、新たに手洗いが開始されたと判定してもよい。

スコアデータは図10のテーブルに示すように、手洗い行動種類に一意な行動種類番号、およびその実行フレーム数とスコアが保持される。

手洗い行動種類は、左右の掌をこすり合わせる、手の甲をこする、指先と爪の間を洗う、指の間を洗う、親指と掌をねじり洗いする、手首を洗う、といった動作であり、左右それぞれ行う動作に関しては左右で異なる行動種類番号を割り当てる。例えば左手の親指をねじり洗いする動作と、右手の親指をねじり洗いする動作は異なる行動種類として管理する。

S304で手洗いが開始されたと判定された場合、スコアデータの実行フレーム数およびスコアをゼロに初期化する（S305）。

手洗い行動識別部204によって、手洗い行動識別ステップ（S306）が処理される。図9は手洗い行動識別部の実現例である。

入力901は、M個の画像に対する手関節位置推定部202が推定したN個の関節位置、合計 M×N個の関節位置である（図9ではM=3）。すなわちある時刻tにおける関節位置902、次に撮像された時刻である時刻t+1の関節位置903、さらに時刻t+2の関節位置904が入力となる。

位置情報を畳込みニューラルネットワーク909に入力するため、M×N個の関節位置を部分的なグラフ構造として抽出する（908）。例えば時刻tにおけるある部分構造905と、その部分構造のt+1,t+2の位置である906、907の情報を畳み込むことで、空間方向および時間方向の関節の位置関係および動きを抽出可能となる。これをあらゆる部分構造について行い、グラフ構造908とする。

畳込みニューラルネットワーク909は各行動種類番号に対する尤度910を出力する。これは例えばＳｏｆｔｍａｘ処理によって、全行動種類の値の合計値が1.0となるよう正規化された値である。畳込みニューラルネットワーク909は、事前に教師あり機械学習により算出された重み係数データ911を含む。

スコア算出部205は手洗い行動識別部204の出力を用いて、スコアテーブルを更新する（S307）。各手洗い行動種類の910における尤度が閾値以上の場合、図10のスコアテーブルの該当行動種類番号の実行フレーム数に+1を加算する。また各手洗い行動種類の910における尤度を、図10のスコアテーブルの該当行動種類番号のスコアに加算する。

実行フレーム数は、システムの動作フレームレート（フレーム数／秒）で割ることにより、その手洗い行動が実行された秒数となる。

910における尤度は、あるフレームにおけるその行動種類を明確に行っていたかどうかを意味し、その値を累積したスコア値は、手洗いを開始してからその行動種類をどの程度明確に正しく行ったかの評価値として扱うことが可能である。

情報出力部206は、スコアテーブルを使用者に提示する（S308）。情報出力部206は表示装置を具備し、図11のように各行動種類（1101、1102）を模した画像を表示し、その下にその行動種類を実行した秒数あるいはスコアまたは両方を表示（1103、1104）する。これにより使用者は現在不十分な手洗い行動の種類とその程度を視覚的に知ることが可能となる。

あるいは情報出力部206は、音声によって使用者にスコア情報を通知してもよい。例えば「右手の親指をねじり洗いする動作が不十分です」のように音声で通知することができる。

あるいはさらにスコア情報には行動種類が一定時間実行された順序を記憶しておき、情報出力部206は、手洗い行動種類が正しい順序で実施されているか判断して使用者に通知してもよい。

あるいは情報出力部206は、スコア情報を統計データとして別の記憶媒体に保存する、あるいは通信を行って別の装置に通知する、ことを行ってもよい。

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

101 手洗い場所、102 蛇口、103 使用者、104 撮像部、105 情報出力部、201 撮像部、202 手関節位置推定部、203 手洗い開始判定部、204 手洗い行動識別部、205 スコア算出部、206 情報出力部、207 重み係数データ１、208 重み係数データ２、209 スコアデータ、501 関節位置、502 リンク、601 入力画像、602 左手、603 右手、604 左手の関節位置、605 右手の関節位置、701 入力画像、702 ニューラルネットワーク、703 出力ヒートマップ、704 関節位置、705 手の存在確率、706 重み係数データ１、801 入力画像、802 ニューラルネットワーク、803 関節位置、804 手の存在確率、805 重み係数データ１、901 入力関節位置、902 時刻tにおける関節位置、903 時刻t+1における関節位置、904 時刻t+2における関節位置、905 時刻tのグラフ例、906 時刻t+1のグラフ例、907 時刻t+2のグラフ例、908 グラフ構造、909 ニューラルネットワーク、910 行動種類に対する尤度、911 重み係数データ２、1101 行動種類１、1102 行動種類２、1103 行動種類１のスコア、1104 行動種類２のスコア

Claims (13)

1. 人物の手洗い動作を評価する手洗い評価装置であって、
   手洗いを行う領域の画像を撮像する撮像部と、
   前記撮像部が撮像した画像から人物の両手の第一の数の関節位置を推定する手関節位置推定部と、
   時間方向に連続した第二の数の画像それぞれの前記関節位置を入力として、時間方向および空間方向の前記関節位置の位置関係を用いて手洗い行動種類とその尤度とを出力する手洗い行動識別部と、
   人物が手洗いを開始したことを判定する手洗い開始判定部と、
   前記手洗い行動種類ごとに手洗い開始からその手洗い行動種類が実行された秒数とスコアとを算出するスコア算出部と、
   前記スコア算出部が算出した秒数とスコアを使用者に通知する情報出力部と、
   を備える手洗い評価装置。
2. 前記撮像部は、深さ情報を含む画像を取得可能な、ステレオ方式カメラ、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式カメラ、
   Ｓｔｒｕｃｔｕｒｅｄ−Ｌｉｇｈｔ方式カメラのいずれかを含む、請求項１に記載の手洗い評価装置。
3. 前記撮像部は、色情報を含む画像を取得可能なＲＧＢカメラである、請求項１に記載の手洗い評価装置。
4. 前記手関節位置推定部は、前記撮像部が取得した画像の全てまたは部分画像を入力とし、
   Ｃｏｎｖｏｌｕｔｉｏｎａｌ−Ｎｅｕｒａｌ−Ｎｅｔｗｏｒｋを使用して
   両手の前記第一の数の関節の三次元位置もしくは画像内二次元位置を出力する、請求項１に記載の手洗い評価装置。
5. 前記手洗い行動識別部は、第三の数の手洗い行動種類全ての尤度を出力する、請求項１に記載の手洗い評価装置。
6. 前記手洗い行動識別部は、入力された前記関節位置を
   Ｃｏｎｖｏｌｕｔｉｏｎａｌ−Ｎｅｕｒａｌ−Ｎｅｔｗｏｒｋを使用して
   時間方向と空間方向の位置関係を畳み込んで手洗い行動を認識する、請求項１に記載の手洗い評価装置。
7. 前記手洗い開始判定部は、前記撮像部が撮像する画像内の手の有無の頻度と間隔によって、
   別の人物が手洗いを開始したかどうかを判定する、請求項１に記載の手洗い評価装置。
8. 前記手洗い開始判定部は、手洗い評価装置前の空間における人物の出入りを計測することによって、
   別の人物が手洗いを開始したかどうかを判定する、請求項１に記載の手洗い評価装置。
9. 前記スコア算出部は、前記手洗い開始判定部によって手洗いが開始されたと判定されたときに
   スコアを初期化する、請求項１に記載の手洗い評価装置。
10. 前記スコア算出部は、前記手洗い行動識別部が出力した手洗い行動種類に対する尤度を用いて、その手洗い行動種類のスコアを加点する、請求項１に記載の手洗い評価装置。
11. 前記情報出力部は表示装置を備え、前記スコア算出部によって算出されたスコアを可視化して表示装置に表示する、請求項１に記載の手洗い評価装置。
12. 前記情報出力部は発音装置を備え、前記スコア算出部によって算出されたスコアを音声で使用者に通知する、請求項１に記載の手洗い評価装置。
13. 人物の手洗い動作を評価する手洗い評価プログラムであって、
    手洗いを行う領域の画像を撮像する撮像ステップと、
    撮像した画像から人物の両手の第一の数の関節位置を推定する手関節位置推定ステップと、
    時間方向に連続した第二の数の画像群それぞれの関節位置を入力として、時間方向および空間方向の関節位置の位置関係を用いて手洗い行動種類とその尤度とを出力する手洗い行動識別ステップと、
    人物が手洗いを開始したことを判定する手洗い開始判定ステップと、
    手洗い行動種類ごとに手洗い開始からその手洗い行動種類が実行された秒数とスコアとを算出するスコア算出ステップと、
    算出した秒数とスコアを使用者に通知する情報出力ステップと、
    を備える手洗い評価プログラム。

Images