JP2018185717A - 健康管理システムおよび健康管理方法 - Google Patents

Abstract

【課題】日常生活の中で使用者が洗面所または化粧台を使用するときに、使用者が測定や検査を意識することなく、「ふるえ」などを症状とする病気の発症の有無を検出する。【解決手段】健康管理システムにおいて、撮像部は、洗面所または化粧台を使用するときの使用者の身体を動画で撮影して、動画の画像情報を取得する。使用者特定部は、上記動画の画像情報に基づき、使用者を特定する。動作認識部は、上記動画の画像情報に基づき、特定した使用者の、洗面所または化粧台を使用する動作を認識する。特徴量抽出部は、上記動画に含まれる特定範囲の画像情報であって、使用者が上記動作を行っている最中の、使用者の身体における所定部位の画像情報から、使用者の健康状態を把握するための特徴量を抽出する。変化検出部は、上記特徴量の変化を検出して、使用者の健康に関する情報として取得する。【選択図】図６

Description

本発明は、日常生活の中で身体の健康に関する情報を取得する健康管理システムおよび健康管理方法に関するものである。

近年、健康に対する意識が世間で高まりつつある。従来、体調管理や生体情報（例えば血圧や体温）の測定は、専用の検査器などを使用して行わなければならず、手間を嫌って実施しなかったり、失念して実施しなかったりする場合が多かった。

そこで、日常生活の中で測定や検査を意識することなく、身体の健康に関する情報を取得できるようにするシステムが提案されている。例えば、特許文献１では、化粧台または洗面台に設けられたミラー部を使用する使用者の顔画像情報をカメラで取得し、取得した顔画像情報から使用者の顔の肌状態を分析し、その分析結果を使用者に通知するシステムが提案されている。例えば、朝の外出の準備などで、使用者は化粧台または洗面台に設けられたミラー部を覗き込む。この「ミラー部を覗き込む」という使用者の自然な動作の際に、使用者の顔画像情報をカメラで取得し、肌状態の分析結果を使用者に通知することで、使用者が意識することなく、普段の生活習慣の中で定期的な健康チェックを行うことができる。

特開２００９−１５３６０９号公報（請求項１、段落〔０００３〕〜〔０００５〕、〔００１０〕、〔００２５〕、図１、図２等参照）

ところで、身体の病気の中で、動きのある「ふるえ」などを症状とする病気がある。例えば、パーキンソン病は、その代表的な病気である。しかし、上述した特許文献１では、日常生活の中で、動きのない静的な肌状態を検出する点の開示に留まり、動きのある「ふるえ」などを症状とする病気に関する情報を取得する点の開示は一切ない。このため、特許文献１のシステムでは、使用者が「ふるえ」などを症状とする病気を発症した場合でも、その発症を検出することができない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、日常生活の中で使用者が洗面所または化粧台を使用するときに、使用者が測定や検査を意識することなく、洗面所または化粧台を使用する通常の動作を行いながら、動きのある「ふるえ」などを症状とする病気の発症の有無を検出することができる健康管理システムおよび健康管理方法を提供することにある。

本発明の一側面に係る健康管理システムは、洗面所または化粧台を使用するときの使用者の身体を動画で撮影して、動画の画像情報を取得する撮像部と、前記動画の画像情報に基づき、前記使用者を特定する使用者特定部と、前記動画の画像情報に基づき、特定した前記使用者の、前記洗面所または前記化粧台を使用する動作を認識する動作認識部と、前記動画に含まれる特定範囲の画像情報であって、前記使用者が前記動作を行っている最中の、前記使用者の身体における所定部位の前記画像情報から、前記使用者の健康状態を把握するための特徴量を抽出する特徴量抽出部と、前記特徴量の変化を検出して、前記使用者の健康に関する情報として取得する変化検出部とを備えている。

上記の構成によれば、撮像部で取得された動画の画像情報に基づき、洗面所または化粧台（以下、洗面所等とも記載する）を使用する使用者が使用者特定部によって特定され、さらに、使用者が洗面所等を使用する通常の動作（例えば歯磨き、ヘアセット）が動作認識部によって認識される。

また、特徴量抽出部により、上記動画に含まれる特定範囲の画像情報、つまり、使用者が上記動作を行っている最中の所定部位（例えば使用者が右手で歯磨きするのであれば使用者の左手）の画像情報から、使用者の健康状態を把握するための特徴量（例えば画像上での左手のエッジの振動）が抽出される。そして、変化検出部にて特徴量の変化が検出され、使用者の健康に関する情報として取得される。

このように、使用者が洗面所等を使用して通常の動作を行うときに、動画で使用者を撮影して画像情報を取得するため、この動画の画像情報から、使用者の上記通常の動作を認識できるとともに、所定部位に動きのある「ふるえ」などがある場合でも、その「ふるえ」などの増減を特徴量の変化として検出することができる。これにより、「ふるえ」などを症状とする病気の発症の有無を検出することができる。しかも、使用者の通常の動作と並行して特徴量の変化が検出されるため、使用者が無意識のうちに（使用者に特別な測定や検査を行うという意識を持たせることなく）、通常の動作を行いながら、上記発症の有無を検出することができる。

本発明の他の側面に係る健康管理方法は、洗面所または化粧台を使用するときの使用者の身体を動画で撮影して、動画の画像情報を取得する第１の工程と、前記動画の画像情報に基づき、前記使用者を特定する第２の工程と、前記動画の画像情報に基づき、特定した前記使用者の、前記洗面所または前記化粧台を使用する動作を認識する第３の工程と、前記動画に含まれる特定範囲の画像情報であって、前記使用者が前記動作を行っている最中の、前記使用者の身体における所定部位の前記画像情報から、前記使用者の健康状態を把握するための特徴量を抽出する第４の工程と、前記特徴量の変化を検出して、前記使用者の健康に関する情報として取得する第５の工程とを含む。上記の方法によれば、上記健康管理システムの構成による効果と同様の効果を得ることができる。

上記健康管理システムにおいて、前記特徴量抽出部は、前記特定範囲の画像情報から前記所定部位のエッジを検出し、検出した前記エッジの振動を前記特徴量として抽出してもよい。また、上記健康管理方法において、前記第４の工程では、前記特定範囲の画像情報から前記所定部位のエッジを検出し、検出した前記エッジの振動を前記特徴量として抽出してもよい。

エッジの振動を特徴量として抽出するため、その特徴量の変化に基づき、動きのある「ふるえ」などの増減を確実に検出することができる。

前記健康管理システムは、前記変化検出部によって検出された前記特徴量の変化に応じて、前記使用者の健康を管理するために該システムを利用する利用者が所有する端末に警告情報を出力する警告出力部をさらに備えていてもよい。また、該健康管理方法は、検出された前記特徴量の変化に応じて、管理サーバーから、前記使用者の健康を管理する利用者が所有する端末に警告情報を出力する第６の工程をさらに含んでもよい。

例えば、特徴量の変化が大きい場合には（「ふるえ」など動作の単位時間あたりの回数が多い場合には）、警告出力部によって（管理サーバーから）利用者の端末に警告情報が出力される。これにより、利用者が例えば医師であれば、「ふるえ」などを症状とする病気を疑って使用者を診断することができる。また、利用者が例えば看護師や介護士であれば、医師に連絡して使用者の早期診断を促すことができる。

前記健康管理システムは、前記特徴量抽出部によって抽出された前記特徴量を、前記使用者が前記洗面所または前記化粧台を使用するごとに記憶する記憶部をさらに備え、前記変化検出部は、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、それよりも前に使用したときの前記特徴量の平均値との差を検出し、前記警告出力部は、前記差が閾値を超えたときに前記端末に警告情報を出力してもよい。また、上記健康管理方法において、前記第５の工程では、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、それよりも前に使用したときの前記特徴量の平均値との差を検出し、前記第６の工程では、前記差が閾値を超えたときに前記端末に警告情報を出力してもよい。

使用者が洗面所または化粧台を異なるタイミングで使用したときの特徴量の平均値の差が閾値を超えたときには、「ふるえ」などがひどくなっていると判断できるため、端末を所有する利用者は、警告情報を受けて、使用者を診断したり、医師に連絡するなどの適切な対処が可能となる。

前記健康管理システムは、前記特徴量抽出部によって抽出された前記特徴量を、前記使用者が前記洗面所または前記化粧台を使用するごとに記憶する記憶部をさらに備え、前記変化検出部は、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、所定値との差を検出し、前記警告出力部は、前記差が閾値を超えたときに前記端末に警告情報を出力してもよい。また、上記健康管理方法において、前記第５の工程では、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、所定値との差を検出し、前記第６の工程では、前記差が閾値を超えたときに前記端末に警告情報を出力してもよい。

特徴量の平均値と所定値との差が閾値を超えたときには、「ふるえ」などがひどくなっていると判断できるため、端末を所有する利用者は、警告情報を受けて、使用者を診断したり、医師に連絡するなどの適切な対処が可能となる。

上記健康管理システムにおいて、前記洗面所または前記化粧台には、ミラー部が設置されており、前記撮像部は、前記洗面所または前記化粧台の使用時に前記ミラー部と対面する前記使用者の身体を動画で撮影して、前記動画の画像情報を取得してもよい。この場合、ミラー部を見て日常生活の中の通常の動作（歯磨き、ヘアセットなど）を行う使用者の上記動作と同時に、「ふるえ」などを症状とする病気の発症の有無を検出することができる。

上記健康管理システムにおいて、前記使用者特定部は、取得した前記動画の画像情報から顔領域を抽出し、予め登録された前記使用者の顔情報と比較して顔認証を行うことにより、前記使用者を特定してもよい。また、上記健康管理方法において、前記第２の工程では、取得した前記動画の画像情報から顔領域を抽出し、予め登録された前記使用者の顔情報と比較して顔認証を行うことにより、前記使用者を特定してもよい。顔認証により、使用者の特定を確実に行うことができる。

上記健康管理システムにおいて、前記動作認識部は、取得した前記動画の画像情報と、前記使用者の使用動作に関して予め登録された形状パターンとのパターンマッチングを行うことにより、前記使用者の動作を認識してもよい。また、上記健康管理方法において、前記第３の工程では、取得した前記動画の画像情報と、前記使用者の使用動作に関して予め登録された形状パターンとのパターンマッチングを行うことにより、前記使用者の動作を認識してもよい。パターンマッチングを利用することにより、使用者の動作が通常の使用動作（例えば身体を手入れする動作）であるかどうかを確実に判断し、認識することができる。

上記健康管理システムおよび上記健康管理方法において、前記所定部位は、前記使用者の身体における前記動作を行う部位以外の部位であることが望ましい。使用者が例えば「ふるえ」を発症する病気を患っている場合、その「ふるえ」は、使用者において通常の動作を行う部位（歯磨きやヘアセットであれば、利き手である右手）とは異なる所定部位（例えば左手または左腕）に現れやすい。このため、「ふるえ」の増減を特徴量の変化として確実に検出して、「ふるえ」を症状とする病気の発症の有無を確実に検出することが可能となる。

前記健康管理システムは、前記洗面所または前記化粧台に設置される撮像ユニットと、前記撮像ユニットと通信回線を介して通信可能に接続される管理サーバーとを含み、前記撮像ユニットは、前記撮像部を含み、前記管理サーバーは、前記使用者特定部、前記動作認識部、前記特徴量抽出部および前記変化検出部を含む構成であってもよい。健康管理システムが、撮像ユニットと管理サーバーとを有する構成において、上述の効果を得ることができる。

前記管理サーバーは、前記変化検出部によって検出された前記特徴量の変化に応じて、外部に警告情報を出力する警告出力部をさらに含んでいてもよい。例えば、警告出力部が利用者の端末に警告情報を出力することで、端末を所有する該システムの利用者は、警告情報を受けて適切に対処することが可能となる。例えば利用者が医師であれば、使用者の診断が可能となり、利用者が看護師や介護士であれば、医師に連絡するなどの措置を講じることが可能となる。また、例えば、警告出力部が撮像ユニットに警告情報を出力することで、撮像ユニットでは、警告情報を受けて、使用者に対して身体の異常を報知することが可能となる。

上記健康管理システムにおいて、前記撮像ユニットは、情報を表示する表示部をさらに含み、前記表示部は、前記警告出力部から前記撮像ユニットに前記警告情報が出力されたときに、前記警告情報を表示してもよい。また、上記健康管理方法において、前記第６の工程では、前記洗面所または前記化粧台に設置されて前記使用者の身体を動画で撮影する撮像ユニットに、前記警告情報をさらに出力し、該健康管理方法は、前記撮像ユニットの表示部にて、前記警告情報を表示させる第７の工程をさらに含んでもよい。撮像ユニットの表示部にて、警告情報を表示することで、使用者は表示された警告の内容を把握して、医師に診察してもらうなどの適切な措置を迅速に講じることが可能となる。

上記の健康管理システムおよび健康管理方法によれば、日常生活の中で使用者が洗面所等を使用するときに、使用者が測定や検査を意識することなく、歯磨きなどの通常の動作を行いながら、動きのある「ふるえ」などを症状とする病気の発症の有無を検出することができる。

本発明の実施の一形態に係る健康管理システムの概略の構成を示す説明図である。 上記健康管理システムを構成する撮像ユニットの概略の構成を示すブロック図である。 上記健康管理システムを構成する管理サーバーの概略の構成を示すブロック図である。 上記撮像ユニットが適用される洗面台の構成を示す斜視図である。 上記洗面台の他の構成を示す斜視図である。 上記健康管理システムにおける処理の流れを示すフローチャートである。 上記撮像部によって撮影された画像中で特定した人物領域を示す説明図である。 洗面所の使用者が歯磨きを行うときの身体の形状データの一例を示す説明図である。 上記形状データの他の例を示す説明図である。 使用者がヘアセットを行うときの身体の形状データの一例を示す説明図である。 上記撮像ユニットの表示部に表示される警告情報の一例を示す説明図である。 上記洗面台のさらに他の構成を示す斜視図である。 上記健康管理システムが適用される化粧台の概略の構成を示す斜視図である。

本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。

〔健康管理システム〕
本実施形態の健康管理システムは、介護施設に入居している被介護者や、病院に入院している患者（被看護者）の健康管理を目的として構築されるシステムである。また、上記健康管理システムは、本実施形態の健康管理方法を実現するシステムでもある。

ここで、被介護者が入居している施設内（または居室内）や、患者が入院している病室内（特に１人部屋の個室内）には、洗面所が設置されている。上記の被介護者や患者は、手を動かすことができるのであれば（要介護度が低いのであれば）、洗面所において、歯を磨く、顔を洗う、ドライヤーで髪の毛を乾かす、髪の毛を櫛でとかす、などの動作を行うことができる。つまり、被介護者や患者は、洗面所を使用して日常生活を送ることができる。このことから、本実施形態では、健康管理の対象となる上記の被介護者や患者のことを、洗面所の使用者、または単に使用者とも称する。

なお、上記の洗面所は、ここでは、水栓ヘッドから出る水を利用して歯磨きや洗面などの日常生活の動作を行うことができる場所を指す。したがって、例えば居室内の炊事場（流し台のある場所）も、歯磨きや洗面などの動作を行うことが可能であるため、この点では洗面所の一種と考えることができる。

以下、本実施形態の健康管理システムについて具体的に説明する。図１は、本実施形態の健康管理システム１０の概略の構成を示す説明図である。本実施形態の健康管理システム１０は、撮像ユニット１と、管理サーバー２と、利用者端末３とが、通信回線４を介して互いに通信可能に接続されて構成されている。

（利用者端末）
利用者端末３は、使用者の健康を管理するために健康管理システム１０を利用する利用者が所有する端末であり、例えば持ち運び可能な携帯電話などの携帯情報端末またはノート型のパーソナルコンピュータで構成される。上記の利用者としては、例えば医師、看護師、介護士を想定することができる。

（通信回線）
通信回線４は、例えばＷｉ−Ｆｉ（登録商標）などの高速無線通信が可能な通信回線で構成されるが、その他、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、光ファイバーなどのケーブル回線を含んで構成されてもよい。

（撮像ユニット）
撮像ユニット１は、洗面所に設置され、洗面所の使用者を撮影して画像を取得する。図２は、撮像ユニット１の概略の構成を示すブロック図である。撮像ユニット１は、撮像部１１と、表示部１２と、記憶部１３と、通信部１４と、制御部１５とを備えている。

撮像部１１は、洗面所を使用するときの使用者の身体を動画で撮影して、動画の画像情報を取得する。このような撮像部１１は、例えばデジタルビデオカメラで構成することができる。

表示部１２は、例えば液晶表示装置で構成され、後述する洗面台５０のミラー部Ｍ（図４参照）に組み込まれて情報を表示する。表示部１２が表示する情報には、現在の日時、環境情報（温度、湿度）のほか、管理サーバー２の警告出力部２５ｅ（図３参照）から出力される警告情報が含まれる。記憶部１３は、例えばフラッシュメモリなどの不揮発性メモリで構成されており、撮像部１１で取得された画像の情報を一時的に記憶したり、その他の情報（例えば管理サーバー２から出力される警告情報など）を記憶する。

通信部１４は、撮像ユニット１と管理サーバー２との間で情報の入出力を行うためのインターフェースであり、送信回路、受信回路、アンテナなどを含んで構成される。制御部１５は、撮像ユニット１の各部の動作を制御するものであり、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成される。

（管理サーバー）
管理サーバー２は、システム全体を管理するとともに、撮像ユニット１から送られる情報をもとに、撮像ユニット１または利用者端末３に対してサービスを提供するサーバーである。この管理サーバー２は、例えば汎用のパーソナルコンピュータで構成することができる。なお、管理サーバー２は、クラウド環境に作られたサーバー（サービス提供者とは別会社のサーバー）であってもよい。

図３は、管理サーバー２の概略の構成を示すブロック図である。管理サーバー２は、表示部２１と、操作部２２と、記憶部２３と、通信部２４と、制御部２５とを備えている。

表示部２１は、撮像ユニット１から出力された各種の情報を表示したり、制御部２５で処理された情報を表示するディスプレイであり、例えば液晶表示装置で構成される。操作部２２は、例えばキーボードやマウスからなり、各種の情報の入力（登録）や設定を行うために操作される。

記憶部２３は、例えばハードディスクで構成され、制御部２５を動作させるためのプログラム、制御部２５の後述する各部で処理された情報、操作部２２によって入力された情報、撮像ユニット１から出力される画像情報などを記憶する。通信部２４は、撮像ユニット１と管理サーバー２との間、および管理サーバー２と利用者端末３との間で情報の入出力を行うためのインターフェースであり、送信回路、受信回路、アンテナなどを含んで構成される。

制御部２５は、例えばＣＰＵで構成されており、各種の処理や制御を行う。より詳しくは、制御部２５は、使用者特定部２５ａと、動作認識部２５ｂと、特徴量抽出部２５ｃと、変化検出部２５ｄと、警告出力部２５ｅと、全体制御部２５ｆとを有しており、これらの各部を１つのＣＰＵで一体的に実現している。なお、制御部２５の各部は、１つのＣＰＵで一体的に構成されていなくてもよい（別々の制御基板や別々の回路基板で構成されてもよい）。全体制御部２５ｆは、管理サーバー２の各部の動作を制御する。

使用者特定部２５ａは、撮像ユニット１の撮像部１１にて取得される動画の画像情報に基づき、使用者を特定する。より詳しくは、使用者特定部２５ａは、上記動画の画像情報から顔領域を抽出し、予め登録された使用者の顔情報と比較して顔認証を行うことにより、使用者を特定する。なお、使用者の顔情報は、例えば顔情報を記録した記録媒体を管理サーバー２にて読み取ったり、顔情報をファイルとして添付した電子メールを管理サーバー２にて受信することによって取得することができる。そして、取得した顔情報が記憶部２３に登録される。

動作認識部２５ｂは、撮像部１１にて取得される動画の画像情報に基づき、使用者特定部２５ａによって特定した使用者の、洗面所を使用する動作（例えば洗面所を使用して身体を手入れする動作）を認識する。例えば、動作認識部２５ｂは、上記動画の画像情報と、使用者の使用動作（使用者が身体を手入れする動作）に関して予め登録された形状パターンとのパターンマッチングを行うことにより、使用者の動作を認識する。なお、洗面所を使用して身体を手入れする動作とは、ここでは、歯磨きやヘアセット（髪の毛をドライヤーで乾かしたり、櫛でとく動作）を想定することができる。また、上記形状パターンについては、記録媒体の読み取りや電子メールの受信によって取得して記憶部２３に予め登録することができる。

特徴量抽出部２５ｃは、撮像部１１にて取得される動画に含まれる特定範囲の画像情報から、使用者の健康状態を把握するための特徴量を抽出する。ここで、特定範囲の画像情報とは、使用者が洗面所を使用して身体を手入れする動作を行っている最中の、使用者の身体における上記動作を行う部位以外の所定部位の画像情報を指す。例えば、使用者が洗面所を使用して右手で歯磨きをしている場合、特定範囲の画像情報とは、使用者の左手または左腕の画像情報を指す。

また、上記の特徴量としては、例えば、動画の画像上で、使用者の左手または左腕のエッジの振動を考えることができる。この場合、特徴量抽出部２５ｃは、上記特定範囲の画像情報から、使用者の身体において上記動作を行う部位（例えば右手）以外の所定部位（例えば左手または左腕）のエッジを検出し、検出したエッジの振動を特徴量として抽出すると言うことができる。なお、エッジの検出は、エッジ抽出フィルタを用いる公知のエッジ抽出処理（画像処理）によって行うことができる。特徴量抽出部２５ｃによって抽出された特徴量は、使用者が洗面所を使用するごとに記憶部２３に記憶される。

変化検出部２５ｄは、特徴量抽出部２５ｃによって抽出された特徴量の変化を検出して、使用者の健康に関する情報として取得する。例えば、特徴量の変化が大きい場合、「ふるえ」を症状とする病気の発症の可能性が高く、逆に、特徴量の変化が小さい場合、上記病気の発症の可能性が低いと判断できる。したがって、特徴量の変化に基づいて、上記病気の発症の有無を検出することができる。なお、「ふるえ」を症状とする病気としては、例えばパーキンソン病、甲状腺機能亢進症、認知症（レビー小体型）、本能性振戦、などが挙げられる。

警告出力部２５ｅは、変化検出部２５ｄによって検出された特徴量の変化に応じて、利用者端末３（図１参照）に警告情報を出力する。例えば、警告出力部２５ｅは、特徴量の変化が大きい場合のみ、利用者端末３に警告情報を出力することで、利用者端末３の所有者は、警告情報に応じて適切な措置を講じることが可能となる。また、警告出力部２５ｅは、上記警告情報を撮像ユニット１に出力してもよい。この場合、撮像ユニット１の表示部１２にて警告情報を表示することで、使用者は表示された警告の内容を把握して、医師に診察してもらうなどの適切な措置を迅速に講じることが可能となる。

（洗面台について）
次に、上記した撮像ユニット１が設置される洗面所の洗面台について説明する。図４は、撮像ユニット１が適用される洗面台５０の構成を示す斜視図である。洗面台５０は、洗面台本体５１と、収容棚５２と、照明部５３とを有している。洗面台本体５１には、水が流出する水栓ヘッド５１ａ、水栓ヘッド５１ａにおける流水／止水を調節するレバー５１ｂ、水栓ヘッド５１ａから流出する水を受ける受け部５１ｃ、受け部５１ｃ内の水を排水する排水口５１ｄなどが設けられている。

収容棚５２は、洗面台本体５１の上部に設けられ、歯ブラシや歯磨き粉などの洗面用具を収容する。収容棚５２の前面には、水平方向に並ぶ３枚の開閉扉５２ａが設けられており、各開閉扉５２ａの前面にミラー部Ｍ（計３枚）が貼り合わされている。なお、開閉扉５２ａの枚数は特に限定されず、１枚であってもよい（この場合、ミラー部Ｍの枚数も１枚となる）。

照明部５３は、収容棚５２の上部に設けられており、収容棚５２の下部に設けられた照明スイッチ５４によって、照明部５３のＯＮ／ＯＦＦが切り替えられる。なお、洗面台５０が設置される洗面所の天井に照明器具があれば、洗面台５０は照明部５３を有していなくてもよい。

上記した撮像ユニット１の撮像部１１は、上記３枚の開閉扉５２ａのうち、中央の開閉扉５２ａの略中央部に埋め込まれ、上記中央の開閉扉５２ａの前方のミラー部Ｍは、マジックミラーで構成される。これにより、撮像部１１は、ミラー部Ｍを介して使用者を撮影して動画を取得することができる。

図５は、洗面台５０の他の構成を示す斜視図である。撮像ユニット１の撮像部１１は、収容棚５２の内部に設置されてもよい。この構成では、使用者が中央の開閉扉５２ａを開いた状態で洗面台５０を使用する形態でも（温水使用時のミラー部Ｍの曇りを避けるため）、収容棚５２の内部に設置した撮像部１１によって使用者を撮影することができる。また、この構成では、撮像部１１が使用者を直接撮影するため（ミラー部Ｍを介して使用者を撮影しないため）、ミラー部Ｍをマジックミラーで構成する必要がなくなる（通常のミラーで構成できる）。なお、図５の構成は、図４の構成と併用してもよいし、併用しなくてもよい（別の撮像部１１が図４のように開閉扉５２ａに設置されていてもよいし、設置されていなくてもよい）。

〔健康管理システムでの処理について〕
次に、上記構成の健康管理システム１０での処理について説明する。図６は、健康管理システム１０における処理の流れを示すフローチャートである。健康管理システム１０では、動画撮影（Ｓ１）、使用者の特定（Ｓ２）、動作の認識（Ｓ３）、特徴量の抽出（Ｓ４）、変化量の検出（Ｓ５）、変化量に基づく警告出力（Ｓ６）、警告表示（Ｓ７）の各処理が行われる。以下、順に説明する。

（Ｓ１；動画撮影）
まず、使用者が洗面台５０を使用すべく、洗面台５０の照明スイッチ５４をＯＮすると、それに連動して、健康管理システム１０（以下、単にシステムとも称する）が起動する。なお、洗面台５０の前に使用者が立ったかどうかを人感センサ（例えば赤外線センサ）にて検出して、システムを自動的に起動させてもよい。次に、撮像ユニット１の撮像部１１により、洗面台５０のミラー部Ｍと対面する使用者の身体を動画で撮影し、動画の画像情報を取得する（第１の工程）。撮像部１１で取得された動画の画像情報は、撮影と並行して管理サーバー２に出力され、記憶部２３に記憶される。

（Ｓ２；使用者の特定）
次に、管理サーバー２の使用者特定部２５ａは、Ｓ１で取得した動画の画像情報に基づき、使用者を特定する（第２の工程）。より詳しくは、使用者特定部２５ａは、記憶部２３に記憶された動画の画像情報から、背景差分により人物領域を特定する。ここで、背景差分とは、事前に背景画像を取得しておき、撮影によって取得した画像と背景画像とを比較することで、背景画像には存在しない物体（ここでは人物）を抽出する処理を指す。図７は、撮像部１１によって撮影された画像中で特定した人物領域Ｒを示している。使用者特定部２５ａは、人物領域Ｒの上部の楕円部分Ｅを顔領域と判断し、顔領域の中の特徴点（目、鼻、口等）の情報を抽出する。そして、使用者特定部２５ａは、当該特徴点の相互の位置関係を数値化したサンプルデータを作成し、作成したサンプルデータと、予め登録された対象者データとを比較し、一致／不一致を判断することで、使用者が予め登録された対象者であるかどうかを判定し、使用者を特定する。

なお、上記した人物領域Ｒの特定から使用者を特定するまでの処理（顔認証）は、既存の技術を用いて行うことができる。例えば、具体的な製品として、オムロン社製のＨＶＣ−Ｐ（画像処理基板）を用いることにより、上記の処理を実現できる。

なお、人物領域Ｒの特定に用いる背景画像の情報や、測定したい対象者のデータについては、予め記憶部２３に登録しておく。また、撮影によって取得した画像から人物領域Ｒを特定して顔認証を行い、その結果、使用者が対象者でない場合は、以降の測定動作を行わず、洗面台５０の照明部５３を消灯すると同時に、本システムをＯＦＦにする。

（Ｓ３；動作の認識）
動作認識部２５ｂは、上記動画の画像情報に基づき、Ｓ１で特定した使用者の、洗面所を使用する動作を認識する（第３の工程）。ここでは、使用者が洗面台５０を使用して日常的に行う動作に関するデータを予め記憶部２３に登録しておき、撮影で取得した動画の画像情報と、記憶部２３に登録されたデータとのパターンマッチングを行うことにより、使用者の動作を認識する。パターンマッチングの結果、所定以上の類似度の判定が出れば、使用者の現在行っている動作が日常的な動作と同じであると判断することができる。なお、パターンマッチングの手法としては、ＮＣＣ（Normalized Cross Correlation；正規化相互相関係数）、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）などの従来の公知の手法を使用することができる。

ここで、使用者が洗面台５０を使用して日常的に行う動作としては、例えば歯磨きやヘアセットがある。そこで、記憶部２３には、使用者が歯磨きやヘアセットを行うときの身体の形状データを予め登録しておく。図８および図９は、使用者が歯磨きを行うときの身体の形状データを示している。なお、同じ使用者であっても、磨く歯（前歯、奥歯、上の歯、下の歯など）によって歯ブラシを持つ手の位置や腕の角度が異なるため、ここでは、２通りの形状データを予め記憶部２３に登録している。

なお、記憶部２３に登録する形状データは、テンプレート的に作成したものであってもよいし、使用者本人の実際の歯磨きの行動を撮影した画像のシルエットから作成したものであってもよい。いずれにしても、形状データの具体的な形状は、図８および図９に示したように、利き腕のシルエットが、肩からひじまでとなり（腕を折り曲げているため）、かつ、水平方向より下向きで、利き腕側の肩が明確に現れないような形状である。

一方、図１０は、使用者がヘアセットを行うときの身体の形状データを示している。ヘアセットのときの形状データは、利き手が肩よりも上がって頭部に寄せている形状となる。

図８〜図１０で示したような形状データを予め記憶部２３に登録しておけば、取得した動画の画像情報と、記憶部２３に登録された形状データとの比較（パターンマッチング）により、使用者が身体を手入れする動作（歯磨き、ヘアセット）を行っているかどうかを認識することができる。なお、ここでは、動画の画像情報を利用しているため、使用者が上記動作を行っているかどうかの判定を所定時間毎（数秒レベル）に行うことで、連続して上記動作と判定されている期間を、上記動作中と判定（認識）することができる。

なお、記憶部２３に登録しておく形状データは、歯磨きやヘアセットのときの身体の形状データには限られない。使用者が洗面台５０の使用時に特徴的なシルエットとなる動作を日々行う場合、その動作の形状データを予め記憶部２３に登録しておけばよい。この場合でも、使用者を撮影した動画の画像情報と、登録された形状データとの比較により、使用者が上記動作を行っているかどうかを認識することができる。要は、使用者が洗面台５０を使用して毎日同じ行動をとるときに、その行動が認識できるような形状データを記憶部２３に登録しておけばよい。

（Ｓ４；特徴量の抽出）
管理サーバー２の特徴量抽出部２５ｃは、動画の画像情報から、「ふるえ」を検出するのに適した特定範囲の画像情報を抽出する。ここで、使用者が「ふるえ」を発症する病気を患っている場合、その「ふるえ」は、洗面所を使用して身体を手入れする動作を行う部位（例えば歯磨きやヘアセットであれば、利き手である右手）とは異なる所定部位（例えば左手または左腕）に現れることがわかっている。また、撮像部１１と、洗面台５０の前に立つ使用者との位置関係は一定であることから、撮像部１１によって取得した画像（動画）上で、使用者の左手が位置する範囲は予めほぼ特定される。

そこで、本実施形態では、特徴量抽出部２５ｃは、例えば図８に示すように、画像上で使用者の左手が位置する予め定められた範囲を特定範囲Ｐとしたときに、特定範囲Ｐの画像情報から、公知のエッジ抽出処理によって使用者の左手のエッジを検出し、検出したエッジの振動（往復移動）をフレーム単位で特徴量として抽出する（第４の工程）。抽出した特徴量の情報は、記憶部２３に記憶される。また、本フローで示す各処理は、使用者が洗面所を使用するごとに行われるため、Ｓ４で抽出した特徴量の情報は、使用者が洗面所を使用するごとに記憶部２３に記憶される。

（Ｓ５；変化量の検出）
変化検出部２５ｄは、特徴量抽出部２５ｃによって抽出された特徴量の変化を検出して、使用者の健康に関する情報として取得する（第５の工程）。例えば、変化検出部２５ｄは、使用者が洗面所を直近で（例えば当日の朝に）使用したときの特徴量の平均値（例えば１秒あたりのエッジの振動回数の平均値）と、それよりも前に（例えば前日に）使用したときの特徴量の平均値との差を検出することで、特徴量の変化を検出する。これにより、変化検出部２５ｄは、上記の差が閾値を超えた場合には、前日に対して「ふるえ」が急激に増えたと判断することができる。

また、変化検出部２５ｄは、使用者が洗面所を直近で使用したときの特徴量の平均値と、所定値（例えば１秒あたり４回）との差を検出することで、特徴量の変化を検出してもよい。この場合、変化検出部２５ｄは、上記の差が閾値を超えた場合には、洗面所を直近で使用したときの「ふるえ」が基準よりも大きい（ひどくなっている）と判断することができる。

（Ｓ６；変化量に基づく警告出力）
警告出力部２５ｅは、変化検出部２５ｄによって検出された特徴量の変化に応じて、外部に（利用者端末３、撮像ユニット１）に警告情報を出力する（第６の工程）。例えば、警告出力部２５ｅは、洗面所の異なる使用時において検出される各特徴量の平均値の差が閾値を超えたときや、特徴量の平均値と所定値との差が閾値を超えたときには、特徴量の変化が大きく、「ふるえ」を発症する病気の可能性が高いと判断できるため、利用者端末３に警告情報を出力して利用者に注意を促す。

（Ｓ７；警告表示）
また、警告出力部２５ｅが撮像ユニット１に上記の警告情報を出力したとき、撮像ユニット１では、制御部１５の制御より、洗面台５０のミラー部Ｍに組み込まれた表示部１２に上記警告情報を表示させる（第７の工程）。図１１は、表示部１２に表示された警告情報の一例を示している。このような警告表示により、洗面台５０を使用する使用者本人に、健康に関して注意を促す。なお、特徴量の変化が小さい場合、警告出力部２５ｅは、利用者端末３および撮像ユニット１に警告情報を出力することなく、本フローを終了する。

〔効果〕
以上のように、本実施形態の健康管理システム１０および健康管理方法によれば、使用者が洗面所を使用する通常の動作（例えば身体を手入れする歯磨きやヘアセットの動作）を行うときに、動画で使用者を撮影して画像情報を取得するため、この動画の画像情報から、使用者の上記通常の動作を認識できるとともに、上記通常の動作を行う部位以外の所定部位に動きのある「ふるえ」がある場合でも、その「ふるえ」の増減を特徴量の変化として検出することができる。しかも、使用者の通常の動作と並行して特徴量の変化が検出されるため、使用者に特別な測定や検査を行うという意識を持たせることもない。したがって、使用者が測定や検査を意識することなく（通常の動作を行いながら）、「ふるえ」を症状とする病気の発症の有無を検出して、健康に関する情報を取得することができる。また、「毎日の同じ動作（例えば歯磨き）時の「ふるえ」を検出するため、検出時の条件の統一が、本人が意識することなく自然と図られ、身体状況の変化をより的確に検出できる。

また、本実施形態では、上記所定部位のエッジの振動を特徴量として抽出するため、その特徴量の変化（エッジの振動）に基づき、動きのある「ふるえ」の増減を確実に検出することができる。

また、特徴量の変化に応じて、管理サーバー２（警告出力部２５ｅ）から利用者端末３に警告情報が出力されるため、利用者端末３の利用者が医師であれば、「ふるえ」を症状とする病気を疑って使用者を診断することができ、利用者が看護師や介護士であれば、医師に連絡して使用者の早期診断を促すことができる。

特に、使用者が洗面所を直近で使用したときの特徴量の平均値と、それよりも前に使用したときの特徴量の平均値との差が閾値を超えたときや、使用者が洗面所を直近で使用したときの特徴量の平均値と所定値との差が閾値を超えたときに、利用者端末３に警告情報が出力されるので、利用者は、警告情報を受けて、使用者を診断したり、医師に連絡するなどの適切な対処が可能となる。

また、撮像部１１は、洗面所の使用時にミラー部Ｍと対面する使用者の身体を動画で撮影して、動画の画像情報を取得しているため、ミラー部Ｍを見て通常の動作（歯磨き、ヘアセットなど）を行う使用者の動作と同時に、動きを伴う「ふるえ」を症状とする病気の発症の有無を検出することができる。

また、使用者特定部２５ａは、取得した動画の画像情報から顔領域を抽出し、顔認証を行うことによって使用者を特定するため、使用者の特定を確実に行うことができる。

また、動作認識部２５ｂは、取得した動画の画像情報と、予め登録された形状パターンとのパターンマッチングによって使用者の動作を認識するため、上記動作の認識を確実に行うことができる。

また、上記所定部位は、使用者の身体における通常動作を行う部位以外の部位、つまり、「ふるえ」を発症する病気を患っている場合に、その「ふるえ」が現れやすい部位である。このため、「ふるえ」の増減を特徴量の変化として確実に検出して、「ふるえ」を症状とする病気の発症の有無を確実に検出することが可能となる。

また、撮像ユニット１は撮像部１１を含み、撮像ユニット１と通信回線４を介して通信可能に接続される管理サーバー２は、使用者特定部２５ａ、動作認識部２５ｂ、特徴量抽出部２５ｃおよび変化検出部２５ｄを含むため、上述の処理を確実に実現して、上述の効果を確実に得ることができる。

また、警告出力部２５ｅは、利用者端末３に警告情報を出力することにより、利用者は、警告情報を受けて適切に対処することが可能となり、撮像ユニット１に警告情報を出力することにより、撮像ユニット１では、警告情報を受けて、使用者に対して身体の異常を報知することが可能となる。

また、撮像ユニット１の表示部１２は、警告出力部２５ｅから出力される警告情報を表示することで、使用者は表示された警告の内容を把握して、医師に診察してもらうなどの適切な措置を迅速に講じることが可能となる。

〔補足〕
図１２は、洗面台５０のさらに他の構成を示す斜視図である。洗面台５０は、洗面台本体５１のみで構成され、上記した収容棚５２およびミラー部Ｍを有していなくてもよい。この場合、撮像ユニット１の撮像部１１は、洗面所内で、洗面台５０を使用する使用者を撮影することができる位置に設けられればよい。例えば洗面所内の、洗面台５０の背面側の壁Ｗにおいて、使用者と対向する位置に撮像ユニット１（撮像部１１）を設置してもよい。

ミラー部Ｍのない洗面所であっても、使用者は洗面所を使用して身体を手入れする通常の動作（例えば歯磨き）を行うことが可能である。したがって、このような洗面所にも本実施形態の撮像ユニット１を適用して健康管理システム１０を構成することにより、使用者が無意識のうちに（通常の動作を行いながら）、「ふるえ」を症状とする病気の発症の有無を検出できるという本実施形態の効果を得ることができる。

また、図１３は、本実施形態の健康管理システム１０が適用される化粧台６０の概略の構成を示す斜視図である。化粧台６０には、撮像ユニット１が組み込まれており、撮像部１１が化粧台６０のミラー部Ｍの背後に埋め込まれている。なお、ミラー部Ｍはマジックミラーで構成されているものとする。

ヘアセットについては、洗面所（洗面台５０）でも行うことができるし、化粧台５０を使用しても行うことができる。したがって、洗面所の代わりに化粧台６０に撮像ユニット１を組み込んで健康管理システム１０を構成した場合でも、化粧台６０を使用する通常の動作（ヘアセット）を認識することができる。そして、使用者の身体において上記通常の動作を行う部位（例えば右手）以外の所定部位（例えば左手）に「ふるえ」がある場合でも、その「ふるえ」の増減を特徴量の変化として検出することができる。よって、化粧台５０に撮像ユニット１を組み込んでシステムを構成した場合でも、使用者が無意識のうちに（通常の動作を行いながら）、「ふるえ」を症状とする病気の発症の有無を検出できるという本実施形態の効果を得ることができる。

なお、化粧台６０に撮像ユニット１を組み込んだシステムにおいても、洗面台５０に撮像ユニット１を組み込んだ健康管理システム１０について述べた処理と同様の処理を行うことができる。

なお、以上の実施形態では、「ふるえ」を症状とする病気の発症の有無を検出して、健康に関する情報を取得する例について説明したが、その他にも、「瞬き頻度」、「動作速度の著しい低下」、「動作の長時間停止」など、病気の検出につながる動作変化を検出して、健康に関する情報を取得する場合でも、本実施形態の手法を適用することが可能である。

以上、本発明の実施形態につき説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

本発明は、例えば日常生活の中で身体の健康に関する情報を取得するシステムに利用可能である。

１ 撮像ユニット
２ 管理サーバー
３ 利用者端末（端末）
４ 通信回線
１０ 健康管理システム
１１ 撮像部
１２ 表示部
２３ 記憶部
２５ａ 使用者特定部
２５ｂ 動作認識部
２５ｃ 特徴量抽出部
２５ｄ 変化検出部
２５ｅ 警告出力部
５０ 洗面台
６０ 化粧台
Ｍ ミラー部

Claims (21)

1. 洗面所または化粧台を使用するときの使用者の身体を動画で撮影して、動画の画像情報を取得する撮像部と、
   前記動画の画像情報に基づき、前記使用者を特定する使用者特定部と、
   前記動画の画像情報に基づき、特定した前記使用者の、前記洗面所または前記化粧台を使用する動作を認識する動作認識部と、
   前記動画に含まれる特定範囲の画像情報であって、前記使用者が前記動作を行っている最中の、前記使用者の身体における所定部位の前記画像情報から、前記使用者の健康状態を把握するための特徴量を抽出する特徴量抽出部と、
   前記特徴量の変化を検出して、前記使用者の健康に関する情報として取得する変化検出部とを備えていることを特徴とする健康管理システム。
2. 前記特徴量抽出部は、前記特定範囲の画像情報から前記所定部位のエッジを検出し、検出した前記エッジの振動を前記特徴量として抽出することを特徴とする請求項１に記載の健康管理システム。
3. 前記変化検出部によって検出された前記特徴量の変化に応じて、前記使用者の健康を管理するために該システムを利用する利用者が所有する端末に警告情報を出力する警告出力部をさらに備えていることを特徴とする請求項１または２に記載の健康管理システム。
4. 前記特徴量抽出部によって抽出された前記特徴量を、前記使用者が前記洗面所または前記化粧台を使用するごとに記憶する記憶部をさらに備え、
   前記変化検出部は、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、それよりも前に使用したときの前記特徴量の平均値との差を検出し、
   前記警告出力部は、前記差が閾値を超えたときに前記端末に警告情報を出力することを特徴とする請求項３に記載の健康管理システム。
5. 前記特徴量抽出部によって抽出された前記特徴量を、前記使用者が前記洗面所または前記化粧台を使用するごとに記憶する記憶部をさらに備え、
   前記変化検出部は、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、所定値との差を検出し、
   前記警告出力部は、前記差が閾値を超えたときに前記端末に警告情報を出力することを特徴とする請求項３に記載の健康管理システム。
6. 前記洗面所または前記化粧台には、ミラー部が設置されており、
   前記撮像部は、前記洗面所または前記化粧台の使用時に前記ミラー部と対面する前記使用者の身体を動画で撮影して、前記動画の画像情報を取得することを特徴とする請求項１から５のいずれかに記載の健康管理システム。
7. 前記使用者特定部は、取得した前記動画の画像情報から顔領域を抽出し、予め登録された前記使用者の顔情報と比較して顔認証を行うことにより、前記使用者を特定することを特徴とする請求項１から６のいずれかに記載の健康管理システム。
8. 前記動作認識部は、取得した前記動画の画像情報と、前記使用者の使用動作に関して予め登録された形状パターンとのパターンマッチングを行うことにより、前記使用者の動作を認識することを特徴とする請求項１から７のいずれかに記載の健康管理システム。
9. 前記所定部位は、前記使用者の身体における前記動作を行う部位以外の部位であることを特徴とする請求項１から８のいずれかに記載の健康管理システム。
10. 前記洗面所または前記化粧台に設置される撮像ユニットと、
    前記撮像ユニットと通信回線を介して通信可能に接続される管理サーバーとを含み、
    前記撮像ユニットは、前記撮像部を含み、
    前記管理サーバーは、前記使用者特定部、前記動作認識部、前記特徴量抽出部および前記変化検出部を含むことを特徴とする請求項１から９のいずれかに記載の健康管理システム。
11. 前記管理サーバーは、前記変化検出部によって検出された前記特徴量の変化に応じて、外部に警告情報を出力する警告出力部をさらに含むことを特徴とする請求項１０に記載の健康管理システム。
12. 前記撮像ユニットは、情報を表示する表示部をさらに含み、
    前記表示部は、前記警告出力部から前記撮像ユニットに前記警告情報が出力されたときに、前記警告情報を表示することを特徴とする請求項１１に記載の健康管理システム。
13. 洗面所または化粧台を使用するときの使用者の身体を動画で撮影して、動画の画像情報を取得する第１の工程と、
    前記動画の画像情報に基づき、前記使用者を特定する第２の工程と、
    前記動画の画像情報に基づき、特定した前記使用者の、前記洗面所または前記化粧台を使用する動作を認識する第３の工程と、
    前記動画に含まれる特定範囲の画像情報であって、前記使用者が前記動作を行っている最中の、前記使用者の身体における所定部位の前記画像情報から、前記使用者の健康状態を把握するための特徴量を抽出する第４の工程と、
    前記特徴量の変化を検出して、前記使用者の健康に関する情報として取得する第５の工程とを含むことを特徴とする健康管理方法。
14. 前記第４の工程では、前記特定範囲の画像情報から前記所定部位のエッジを検出し、検出した前記エッジの振動を前記特徴量として抽出することを特徴とする請求項１３に記載の健康管理方法。
15. 検出された前記特徴量の変化に応じて、管理サーバーから、前記使用者の健康を管理する利用者が所有する端末に警告情報を出力する第６の工程をさらに含むことを特徴とする請求項１３または１４に記載の健康管理方法。
16. 前記第５の工程では、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、それよりも前に使用したときの前記特徴量の平均値との差を検出し、
    前記第６の工程では、前記差が閾値を超えたときに前記端末に警告情報を出力することを特徴とする請求項１５に記載の健康管理方法。
17. 前記第５の工程では、前記使用者が前記洗面所または前記化粧台を直近で使用したときの前記特徴量の平均値と、所定値との差を検出し、
    前記第６の工程では、前記差が閾値を超えたときに前記端末に警告情報を出力することを特徴とする請求項１５に記載の健康管理方法。
18. 前記第２の工程では、取得した前記動画の画像情報から顔領域を抽出し、予め登録された前記使用者の顔情報と比較して顔認証を行うことにより、前記使用者を特定することを特徴とする請求項１３から１７のいずれかに記載の健康管理方法。
19. 前記第３の工程では、取得した前記動画の画像情報と、前記使用者の使用動作に関して予め登録された形状パターンとのパターンマッチングを行うことにより、前記使用者の動作を認識することを特徴とする請求項１３から１８のいずれかに記載の健康管理方法。
20. 前記所定部位は、前記使用者の身体における前記動作を行う部位以外の部位であることを特徴とする請求項１３から１９のいずれかに記載の健康管理方法。
21. 前記第６の工程では、前記洗面所または前記化粧台に設置されて前記使用者の身体を動画で撮影する撮像ユニットに、前記警告情報をさらに出力し、
    該健康管理方法は、前記撮像ユニットの表示部にて、前記警告情報を表示させる第７の工程をさらに含むことを特徴とする請求項１５から１７のいずれかに記載の健康管理方法。

Images