JP2018042812A - 健康管理システム及びそのプログラム - Google Patents

Abstract

【課題】鏡内に健康病気情報が写し出され、自身の鏡像を見るときに自然に健康病気情報を得るようにする。【解決手段】顔を含む生体を外部から撮像して画像情報を取得するカメラ２４と、前記生体から生体情報を得る生体情報センサ３０と、前記画像情報と生体情報を出力する出力手段８２と、医師の診断結果である健康病気情報を入力するための入力手段８３と、撮像された顔画像と入力された前記健康病気情報に基づき、前記健康病気情報に対応する拡張現実の予測顔画像を作成する顔画像作成手段７４と、鏡面２２に画像を表示するための表示装置２３と、前記鏡面２２に写し出される顔の鏡像と共に前記予測顔画像を前記表示装置２３に表示する表示制御手段１１とを具備する。【選択図】図１

Description

この発明は、健康管理システム及びそのプログラムに関するものである。

従来、在宅での健康管理を日常の行動時に行うことを目的としたシステムが特許文献１に示されている。この特許文献１のシステムは、洗面化粧台にコンピュータと表示装置を備え、ユーザの健康状態を反映する身体部位の特性を洗面化粧台の空間やトイレ、浴室更に寝室などにおいて計測し、計測データを分析して上記表示装置に表示するようにしたものである。

また、特許文献２には、トイレに尿検査装置や血流検査装置などを設けて計測を行い、医療機関において分析を行うシステムであって、特別に検査のための時間を要することなく生体情報管理を行うシステムが開示されている。

更に、特許文献３には、カメラと画像表示装置とを具備した携帯端末により、顔や舌の撮像を行って医師によることなく的確な健康状態の検査を行う装置が開示されている。

特開２００２−８３０５５号公報 特開２０００−２３２９６４号公報 特開２０１５−２０２２０８号公報

上記特許文献１〜３のいずれにおいても、住居において通常の生活している最中に自分を写し出した鏡内に健康病気情報が写し出されるものではなく、表示装置を別に備えるものであり、また、病気などのために自分の顔が将来どのようになるかについてイメージできず、必ずしも使い勝手が良いものではなかった。

本発明は上記のような従来の健康管理システムが備える問題点に鑑みなされたもので、その目的は、住居において通常の生活している最中に自分を写し出した鏡内に医師の診断による健康病気情報が写し出され、自身の鏡像を見るときに自然に健康病気情報を得ることが可能な健康管理システムを提供することである。また、病気などのために自分の顔が将来どのようになるかについてイメージすることができ、使い勝手が良い健康管理システムを提供することである。

本発明に係る健康管理システムは、顔を含む生体を外部から撮像して画像情報を取得するカメラと、前記生体から生体情報を得る生体情報センサと、前記生体の健康状態と病気とに関係するバイオメトリックス情報を取得可能に、前記画像情報と生体情報を表示及び／またはプリントアウトにより出力する出力手段と、前記出力手段により出力された前記画像情報と生体情報のバイオメトリックス情報に基づく医師の診断結果である健康病気情報を入力するための入力手段と、撮像された顔画像と入力された前記健康病気情報に基づき、前記健康病気情報に対応する拡張現実の予測顔画像を作成する顔画像作成手段と、
鏡面に画像を表示するための表示手段と、前記予測顔画像を表示する位置を指示する表示位置制御手段と前記鏡面に写し出される顔の鏡像と共に前記予測顔画像を前記表示位置制御手段の指示に基づき前記表示手段に表示する表示制御手段とを具備するを具備することを特徴とする。

本発明に係る健康管理システムでは、前記表示位置制御手段は、入力された前記健康病気情報を表示する位置を指示するものであり、前記表示制御手段は、診断結果の前記健康病気情報を前記表示位置制御手段の指示に基づき前記表示手段に表示することを特徴とする。

本発明に係る健康管理システムでは、前記鏡面に写し出される顔の鏡像位置を検出する顔位置検出手段を備え、前記表示位置制御手段は、前記顔の鏡像位置との関係において前記予測顔画像及び／または前記健康病気情報を表示する位置を指示するものであり、前記表示制御手段は、前記表示位置制御手段の指示に基づき、前記予測顔画像を顔の鏡像位置に対応付けて表示することを特徴とする。

本発明に係る健康管理システムでは、前記表示位置制御手段は、前記予測顔画像を顔の鏡像位置に重ねて表示する制御を行うことを特徴とする。

本発明に係る健康管理システムでは、生体情報センサは、尿検査装置、血圧心拍センサ、体重体組織計の少なくとも１つであることを特徴とする。

本発明に係る健康管理システムでは、前記カメラにより撮像された画像情報を用いて健康状態と病気とに関係するバイオメトリックス情報を取得するバイオメトリックス情報取得手段と、取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出する健康病気情報導出手段と、を更に具備し、前記健康病気情報導出手段により導出された健康病気情報を前記出力手段から出力することを特徴とする。

本発明に係る健康管理システムでは、前記バイオメトリックス情報取得手段は、皮膚色、皮膚状態、唇色、眼球色の少なくとも１つを取得することを特徴とする。

本発明に係る健康管理システムのプログラムは、顔を含む生体を外部から撮像して画像情報を取得するカメラと、前記生体から生体情報を得る生体情報センサと、前記生体の健康状態と病気とに関係するバイオメトリックス情報を取得可能に、前記画像情報と生体情報を表示及び／またはプリントアウトにより出力する出力手段と、前記出力手段により出力された前記画像情報と生体情報のバイオメトリックス情報に基づく医師の診断結果である健康病気情報を入力するための入力手段と、鏡面を有し、この鏡面に画像を表示するための表示手段を有し、この表示手段に対し、健康管理に関する表示を行う健康管理システムのコンピュータを、撮像された顔画像と入力された前記健康病気情報に基づき、前記健康病気情報に対応する拡張現実の予測顔画像を作成する顔画像作成手段、前記予測顔画像を表示する位置を指示する表示位置制御手段、前記鏡面に写し出される顔の鏡像と共に前記予測顔画像を前記表示位置制御手段の指示に基づき前記表示手段に表示する表示制御手段として機能させることを特徴とする。

本発明に係る健康管理システムのプログラムでは、前記表示位置制御手段を更に、入力された前記健康病気情報を表示する位置を指示するように機能させ、前記表示制御手段を更に、診断結果の前記健康病気情報を前記表示位置制御手段の指示に基づき前記表示手段に表示するように機能させることを特徴とする。

本発明に係る健康管理システムのプログラムでは、コンピュータを更に、前記鏡面に写し出される顔の鏡像位置を検出する顔位置検出手段として機能させ、前記表示位置制御手段を更に、前記顔の鏡像位置との関係において前記予測顔画像及び／または前記健康病気情報を表示する位置を指示するように機能させ、前記表示制御手段を更に、前記表示位置制御手段の指示に基づき、前記予測顔画像を顔の鏡像位置に対応付けて表示するように機能させることを特徴とする。

本発明に係る健康管理システムのプログラムでは、前記表示位置制御手段を更に、前記予測顔画像を顔の鏡像位置に重ねて表示するように機能させることを特徴とする。

本発明に係る健康管理システムのプログラムでは、前記生体情報センサは、尿検査装置、血圧心拍センサ、体重体組織計の少なくとも１つであることを特徴とする。

本発明に係る健康管理システムのプログラムでは、前記コンピュータを更に、前記カメラにより撮像された画像情報を用いて健康状態と病気とに関係するバイオメトリックス情報を取得するバイオメトリックス情報取得手段、取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出する健康病気情報導出手段、として機能させ、前記健康病気情報導出手段により導出された健康病気情報を前記出力手段から出力することを特徴とする。

本発明に係る健康管理システムのプログラムでは、前記バイオメトリックス情報取得手段を更に、皮膚色、皮膚状態、唇色、眼球色の少なくとも１つを取得するように機能させることを特徴とする。

本発明では、住居において通常の生活している最中に自分を写し出した鏡内に健康病気情報が写し出され、自身の鏡像を見るときに自然に健康病気情報を得ることができ、便利である。

本発明では、であり、病気などのために自分の顔が将来どのようになるかについてイメージすることができ、使い勝手良く、直観的に健康状態を知ることができる。

本発明に係る健康管理システムの第１の実施形態を示すブロック図。 本発明に係る健康管理システムの実施形態により作成する予測顔画像の作成過程において適用される顔の肉厚の領域を示す図。 本発明に係る健康管理システムの実施形態により作成する予測顔画像の作成過程において用いられるテーブルの一例を示す図。 本発明に係る健康管理システムの第１の実施形態の動作を示すフローチャート。 本発明に係る健康管理システムの実施形態により表示される予測顔画像と健康病気情報の第１の表示例を示す図。 本発明に係る健康管理システムの実施形態により表示される予測顔画像と健康病気情報の第２の表示例を示す図。 本発明に係る健康管理システムの実施形態により表示される予測顔画像と健康病気情報の第３の表示例を示す図。 本発明に係る健康管理システムの第２の実施形態を示すブロック図。 本発明に係る健康管理システムの第２の実施形態の動作を示すフローチャート。

以下添付図面を参照して、本発明に係る健康管理システム及びそのプログラムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１に、本発明に係る健康管理システムにおける第１の実施形態のブロック図を示す。この実施形態においては、利用者宅１００にローカルコンピュータ１０が備えられ、センタ５００にセンタサーバ５０が備えられ、病院や医院などの医療機関７００に医師用のコンピュータ７０が備えられている。ローカルコンピュータ１０はローカル通信装置４０に接続され、センタサーバ５０はセンタ通信装置６０に接続され、医師用のコンピュータ７０は通信装置９０に接続されている。ローカル通信装置４０とセンタ通信装置６０及び通信装置９０はネットワーク６００を介して接続されている。これにより、ローカルコンピュータ１０とセンタサーバ５０は、相互に情報の送受信が可能に構成され、医師用のコンピュータ７０とセンタサーバ５０は、相互に情報の送受信が可能に構成されている。なお、本実施形態では、利用者宅１００と医療機関７００をそれぞれ１つ示しているが、利用者宅１００は通常は複数であり、医療機関７００も複数であっても良く、複数のローカルコンピュータ１０や医師用のコンピュータ７０が１つ以上のセンタサーバ５０に接続される構成である。

ローカルコンピュータ１０には、表示制御部２１が接続されている。表示制御部２１は、鏡面２２を有する表示装置２３に対し、ローカルコンピュータ１０から送られる画像信号に基づき画像を表示する表示手段として機能する。表示装置２３は、鏡面２２の表面から目視したときに表示装置２３の画面に映しだされた画像を見ることができる。また、鏡面２２は、その前方側から入射した光を反射して鏡像を結ぶ鏡として機能するので、この鏡像を利用者Ａが見ることができ、従って、鏡面２２を利用者Ａが見ることによって表示制御部２１によって表示装置２３の画面に表示された画像及び鏡面２２によって反射されて結像した利用者Ａの鏡像を見ることができる。

鏡面２２の例えば上部中央には、カメラ２４が設けられており、鏡面２２の前方を撮像することができれる。カメラ２４は、例えば、人感センサを備えており、前方に人が到来すると人感センサにより電源がオンとされ自動的に撮像を開始し、撮像により得られた画像信号はローカルコンピュータ１０へ送られる。

鏡面２２の表面にはタッチパネル２５が設けられており、タッチパネル２５を操作したときに座標情報がローカルコンピュータ１０の座標検出手段１５によって検出される。ローカルコンピュータ１０には、更に、メニュー表示対応処理手段１６が備えられ、所要の場合にメニュー画像を表示制御部２１へ送ってメニューを表示させる。また、タッチパネル２５を操作してメニューが選択されると、メニュー表示対応処理手段１６は、選択されたメニューの処理を実行する。例えば、メニュー表示対応処理手段１６は、後述する健康病気情報の表示切換などを行う。

本実施形態では、利用者宅１００には、必要に応じて生体情報センサ３０が設けられる。生体情報センサ３０は、例えば人感センサにより人を検出すると電源オンとなって自動的に測定を行い、測定により得られた生体情報は、ローカルコンピュータ１０へ送られる。生体情報センサ３０としては、尿検査装置３１、血圧心拍センサ３２、体重体組織計３３が設けられていても良い。尿検査装置３１は、トイレに設けられ、自動的に検査を行い、結果をローカルコンピュータ１０へ送る。尿検査装置３１の検査項目としては、尿タンパク、尿糖、尿ウロビリノーゲン、尿ビリルビン、尿ｐＨ、尿潜血反応、尿中ケトン体、尿沈渣のいずれか１以上を採用することができる。

血圧心拍センサ３２は、鏡面２２と表示装置２３の前方に設置しておくことができる。血圧心拍センサ３２の検査項目は、血圧と脈拍数とすることができるが、これ以外にも、心電図を計測可能なセンサとしても良い。体重体組織計３３についても、鏡面２２と表示装置２３の前方に設置しておくことができる。体重体組織計３３の検査項目（パラメータ）は、体重、体脂肪率、内臓脂肪レベル、ボディマス指数（ＢＭＩ）などとすることができる。

生体情報センサ３０としては、上記のセンサ以外に、体温を測定する電子体温計、歩数、消費カロリー及び睡眠時間を計測する活動量計などを採用しても良い。電子体温計や活動量計は、利用者の身体に付着させて、得られた情報は無線通信によりローカルコンピュータ１０へ送る構成とすることができる。

上記のカメラ２４により得られた画像情報や生体情報センサ３０により得られた生体情報は、ローカル通信装置４０、ネットワーク６００、センタ通信装置６０を介してセンタザーバ５０へ送られる。

利用者宅１００において、複数の利用者が本システムを利用する場合には、カメラ２４、尿検査装置３１、血圧心拍センサ３２、体重体組織計３３からの信号や情報については、例えば、ローカルコンピュータ１０に、手のひらの静脈認証や顔認証などバイオメトリックス認証プログラムを備え、上記各センサに対応して静脈認証や顔認証に必要なカメラなどのセンサを備えるように構成することができる。また、電子体温計や活動量計は、ローカルコンピュータ１０に信号などを送る場合に、個人の識別情報を付加して送るように構成することができる。

センタサーバ５０には、コンピュータ部５１と大容量の記憶部５２とが備えられている。コンピュータ部５１は、プログラムに基づき所要の処理を行うコンピュータの構成であり、データ蓄積送信制御手段７１、顔画像作成手段７４を備える。

データ蓄積送信制御手段７１は、ローカルコンピュータ１０から送られたカメラ２４により得られた画像情報や生体情報センサ３０により得られた生体情報を利用者毎に分けて記憶部５２へ記憶する。また、データ蓄積制御手段７１は、記憶部５２へ記憶した画像情報や生体情報を利用者に対応する医療機関７００のコンピュータ７０へ送信する。

コンピュータ７０は、ＣＰＵ８１と、ＣＰＵ８１に接続されたＬＥＤなどのディスプレイ装置及び／またはプリンタなどにより構成される出力手段８２と、ＣＰＵ８１に接続されたキーボードやマウスなどの情報入力が可能な入力手段８３とを備えている。

ＣＰＵ８１は、上述のようにセンタサーバ５０から送られた画像情報や生体情報を受け取り、出力手段８２へ送り出力する。医師は、出力手段８２によって出力された画像情報や生体情報を目視し、健康状態と病気とに関係するバイオメトリックス情報による診断を行い、健康病気情報を導き出す。

健康病気情報は、「○○病（症）の予兆」が「極めて僅かにあり」、「あり」、「高い」などとすることができる。また、「このままの生活ですと、○○病（症）となる可能性がある」などの警告情報であっても良い。これらの情報は医師が入力手段８３によって入力することができる。また、血圧や尿酸値やＢＭ１などのパラメータが正常値に比べて単に高いことを示す情報であっても良く、この情報は医師がコンピュータ７０の該当プログラムを起動して情報を作成することができる。更に、健康病気情報は、生体情報センサ３０により得られた幾つかの生体情報を経時的に並べて作成したグラフとすることもでき、このグラフも医師がコンピュータ７０の該当プログラムを起動して作成するようにしても良い。医師によって入力或いは得られた健康病気情報は、該当のセンタサーバ５０へ送られる。

前述の通り、センタサーバ５０のコンピュータ部５１には、顔画像作成手段７４が備えられている。この顔画像作成手段７４は、撮像された顔画像と上記医師が入力した健康病気情報に基づき、上記健康病気情報に対応する拡張現実の予測顔画像を作成するものである。顔画像作成手段７４による予測顔画像を作成のために、記憶部５２には、予測顔画像作成用パラメータ５３０が備えられている。

予測顔画像作成用パラメータ５３０は、例えば、病名のレベルに対応して顔色が対応付けられているテーブルである。病名のレベルとは、「○○病（症）の予兆」が「極めて僅かにあり」、「あり」、「高い」などの場合、「極めて僅かにあり」をレベル１、「あり」をレベル２、「高い」をレベル３とし、それぞれに色が対応付けられる。この色は、色相、明度、彩度により例えばＬＣｈ表色系により数値化されたもので、この数値に基づき例えばＲＧＢの画像信号に変換することができるものである。また、予測顔画像作成用パラメータ５３０は、顔を図２に示すように、上部、中部、下部に分けて、腫れ具合を当初（健常状態）からの肉厚で表したものとすることができる。このように構成された予測顔画像作成用パラメータ５３０のテーブルの一例を図３に示す。勿論、レベルの段階を多くし、顔の部位の区分数を多くすることにより、より細緻なシミュレーション画像を作成するようにしても良い。

予測顔画像作成用パラメータ５３０を用いて顔画像作成手段７４によって作成された予測顔画像及び上記健康病気情報は、該当のローカルコンピュータ１０へ送られる。上記においては、顔全体の色をレベルによって変更することを示したが、顔を図２の如く領域分けして、各領域の色を変更しても良い。

ローカルコンピュータ１０には、センタサーバ５０から健康病気情報が送られた場合に、これを受け取り、更に、表示制御部２１に送出する。表示制御部２１は健康病気情報を表示装置２３に表示する。

ローカルコンピュータ１０には、上記予測顔画像を表示する位置を指示する表示位置制御手段１１と、顔位置検出手段１２が備えられている。顔位置検出手段１２は、鏡面２２に写し出される顔の鏡像位置を検出するものである。具体的には、カメラ２４により鏡面２２の前方を撮像しており、利用者Ａの顔が撮像されて顔の画像を得ることができるので、この顔の画像を用いる。例えば、カメラ２４により撮像した画像の画面と鏡面２２の大きさを一致させて、顔の画像の中心を顔位置の座標とする。表示位置制御手段１１は、予測顔画像を表示する位置を指示し、更に、導出された前記健康病気情報を表示する位置を指示する。表示位置制御手段１１は、前記顔の鏡像位置との関係において前記予測顔画像及び／または前記健康病気情報を表示する位置を指示するものである。

上記のようにして得られた顔位置の座標から、表示位置制御手段１１の制御により、例えば、右真横に健康病気情報及び／または予測顔画像を表示することができる。顔位置の座標から右真横方向における画像装置２３の画面の縁までの距離が健康病気情報及び／または予測顔画像が入らない距離となると、左側に、更に必要であれば、上下のいずれかに予測顔画像を移動させて表示するように制御する。顔位置の座標と予測顔画像の中心とを一致させて、予測顔画像を顔の鏡像位置に重ねて表示するようにしても良い。

また、表示位置制御手段１１の制御により、健康病気情報を画像装置２３の画面の所定位置に表示しても良く、上記予測顔画像の位置の近傍に健康病気情報を表示しても良いし、上記予測顔画像の位置と左右対称の位置など、所定の関係の位置に健康病気情報を表示しても良い。

以上の通りに構成されたシステムは、図４に示すフローチャートのように動作を行う。電源が投入され、生体情報センサ３０は、自動的に生体情報の測定を行い、測定により得られた生体情報を、ローカルコンピュータ１０へ送る（Ｓ１１）。また、電源が投入され、カメラ２４が自動的に撮像を開始し、撮像により得た画像信号をローカルコンピュータ１０へ送る（Ｓ１２）。

上記ステップＳ１１、Ｓ１２においてローカルコンピュータ１０が受け取った生体情報と画像情報は、ローカルコンピュータ１０からセンタサーバ５０へ送信される（Ｓ１３）。この場合に、生体情報と画像情報を暗号化して送信するようにして良い。

センタサーバ５０は送信されてきた生体情報と画像情報を受け取り、暗号化されているときには復号し、生体情報と画像情報を記憶部５２へ記憶する（Ｓ１４）。複数の利用者が本システムを利用する場合には、送受信の単位及び記憶の単位は利用者毎に行われることは言うまでもない。

上記のようにして到来し記憶した生体情報と画像情報（顔を含む生体を外部から撮像した画像情報）を医師用のコンピュータ７０へ送り、コンピュータ７０の出力手段８２から出力する（Ｓ１５）。出力された生体情報と画像情報に基づき医師が診断を行って健康病気情報を得て、この健康病気情報を入力手段８２を用いて入力することにより、センタサーバ５０へ送信する（Ｓ１６）。

撮像された顔画像と上記ステップＳ１６において送られた医師の診断結果である健康病気情報に基づき、上記健康病気情報に対応する拡張現実の予測顔画像を作成し、ローカルコンピュータ１０へ送信する（Ｓ１７）。

ローカルコンピュータ１０では、到来する予測顔画像と健康病気情報を表示する位置、つまり、表示装置２３の画面上の予測顔画像と健康病気情報を表示すべき表示位置情報（座標）を作成している（Ｓ１８）。表示位置は、予め備えたものであっても良い。予測顔画像と健康病気情報が到来すると、ローカルコンピュータ１０は、上記予測顔画像と健康病気情報を表示位置情報と共に表示制御部２１へ送出し、予測顔画像と健康病気情報を表示装置２３の画面上に表示する（Ｓ１９）。

図５に、上記のようにして表示装置２３の画面上に表示された予測顔画像と健康病気情報の一例を示す。１０１は、鏡面２２によって映し出された利用者Ａの顔の鏡像である。この鏡像１０１から所定位置には、予測顔画像１０２が表示される。

また、健康病気情報として、幾つかの生体情報を経時的に並べて作成したグラフ１０３が画面の左側に表示されている。このグラフ１０３は、体重（Ｋｇ）、ＢＭＩ、尿酸値（ｍｇ／ｄＬ）の経時変化をグラフ化したものである。

また、予測顔画像１０２の右側には、「糖尿病の兆候有り」という健康病気情報１０４と、パラメータであるＢＭ１と尿酸値が正常値に比べて単に高いことを示す健康病気情報１０５、１０６が表示されている。

本実施形態では、顔位置検出手段１２を備え、表示位置制御手段１１が、顔の鏡像位置との関係において予測顔画像及び／または健康病気情報を表示する位置を指示する。従って、利用者Ａが図５に示す顔の鏡像１０１の位置から移動し、顔の鏡像１０１が図６に示す位置に表示されたものとする。

すると、顔位置検出手段１２が検出する顔の位置（座標）が変更され、顔の位置（座標）が変更を受けて、表示位置制御手段１１は、顔の鏡像位置（図６の１０１）との関係において予測顔画像１０２及び／または健康病気情報（グラフ１０３）を表示する位置を指示する。

即ち、表示位置制御手段１１は、カメラ２４により得た画像により、現在（図６の表示路）の顔の位置と大きさを検出でき、図５に示した大きさの予測顔画像１０２を顔の鏡像１０１に追従させたときに、重なる健康病気情報がグラフ１０３であることを検出する。このため、予測顔画像１０２を顔の鏡像１０１に追従させる指示と共にグラフ１０３を他の画像に重ならない位置へ移動して表示する指示を表示制御部２０へ送出する。この結果、図６に示すように表示装置２３の画面の表示が切り換えられる。

図７には、表示装置２３の画面上に表示された予測顔画像と健康病気情報の別の表示例を示す。この表示例は、予測顔画像１０２を顔の鏡像１０１に全面的に重ねて表示した例である。ここでは、例えば、利用者に病気の兆候が見られないために、顔の鏡像１０１の大きさと予測顔画像１０２の大きさがほぼ等しく、１つの画像として見えている。パラメータについて、正常値に比べて単に高いことを示す健康病気情報１０８、１０９が表示されている。

この図７に示すような表示がなされているときに、利用者Ａが移動して顔の鏡像１０１の位置が移動したときには、図６において説明した通り、予測顔画像１０２が顔の鏡像１０１に追従して移動されて表示される。

更に、図７の例では、「メニュー表示」指示キー１１０が画面の右下に表示されている。この「メニュー表示」指示キー１１０部分のタッチパネル２５を操作すると、メニューが表示される。メニューとしては、グラフ１０３の内容の切換えや、正常値に比べて単に高いことを示す健康病気情報のパラメータの切換え、更には、予測顔画像１０２の表示中止などとすることができる。メニュー表示対応処理手段１６は、これに応じて、グラフ１０３の内容以外のグラフをセンタサーバ５０へ要求し、送られてくるとこれが表示されるように制御を行う。また、表示中の正常値に比べて単に高いことを示す健康病気情報以外の健康病気情報をセンタサーバ５０へ要求し、送られてくるとこれが表示されるように制御を行う。

また、メニューとしては、予測顔画像１０２と顔の鏡像１０１との重ね具合や距離をメニュー化して表示しても良い。更には、予測顔画像１０２及び／または健康病気情報の表示位置をメニューとして表示しても良い。

なお、本実施形態では、タッチパネル２５を入力手段としたが、鏡面２２にマイクロフォンを設け、音声入力し、ローカルコンピュータ１０に音声認識機能を備えさせて、認識結果をメニュー表示対応処理手段１６と同様の機能を行う手段へ与えることで、処理を行うようにしても良い。また、利用者Ａの手によるジャスチャーやボディーアクションをカメラ２４により撮像し入力手段とし、ローカルコンピュータ１０に映像認識機能を備えさせ、認識結果をメニュー表示対応処理手段１６と同様の機能を行う手段へ与えることで、処理を行っても良い。

顔を含む生体を外部から撮像した画像情報を用いて健康状態と病気とに関係するバイオメトリックス情報を取得し、取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出し、撮像された顔画像と上記健康病気情報に基づき、健康病気情報に対応する拡張現実の予測顔画像を作成して、鏡面に写し出される顔の鏡像と共に予測顔画像を表示するので、直観的に健康状態を知ることができる。

次に、第２の実施形態を説明する。第２の実施形態に係るシステムは、図８に示されるように構成される。即ち、センタサーバのコンピュータ部５１には、第１の実施形態において備えられたデータ蓄積制御手段７１と顔画像作成手段７４以外に、バイオメトリックス情報取得手段７２、健康病気情報導出手段７３が備えられる。

バイオメトリックス情報取得手段７２は、顔を含む生体を外部から撮像した画像情報を用いて健康状態と病気とに関係するバイオメトリックス情報を取得するものである。本実施形態では、顔の皮膚色、唇色、眼球色をバイオメトリックス情報として取得（抽出）する。その他、顔の面積（変化）、首や手足の太さや色（変化）などをバイオメトリックス情報として取得しても良い。顔、唇、その他の生体部位の色は、幾つかのポイントの色を求めても良く、また、幾つかのポイントの平均を求めても良い。

健康病気情報導出手段７３は、上記バイオメトリックス情報取得手段７２が取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出する。この健康病気情報導出手段７３は、記憶部５２に記憶されている機械学習技術アルゴリズム５２０を用いて健康病気情報を導出する。機械学習技術アルゴリズム５２０は、生体部位の色と健康病気情報とが対応付けられた対応付データを備えている。上記のようにして求めた生体部位の色に基づき対応付データを検索して健康病気情報を導出することができる。機械学習技術アルゴリズム５２０としては、ランダムフォレストやザポートベクタマシンを採用することができる。

健康病気情報導出手段７３によって得られる健康病気情報は、「○○病（症）の予兆」が「極めて僅かにあり」、「あり」、「高い」などとすることができる。また、「このままの生活ですと、○○病（症）となる可能性がある」などの警告情報であっても良い。また、血圧や尿酸値やＢＭ１などのパラメータが正常値に比べて単に高いことを示す情報であっても良い。更に、健康病気情報は、生体情報センサ３０により得られた幾つかの生体情報を経時的に並べて作成したグラフとすることもできる。健康病気情報導出手段７３によって得られる健康病気情報は、カメラにより撮像された画像情報や生体情報と共に、該当の医師用のコンピュータ７０へ送られる。

コンピュータ７０のＣＰＵ８１は、上述のようにセンタサーバ５０から送られた画像情報や生体情報及び健康病気情報を受け取り、出力手段８２へ送り出力する。医師は、出力手段８２によって出力された画像情報や生体情報及び機械学習技術アルゴリズム５２０による健康病気情報を目視し、これらに基づき健康状態と病気とに関係するバイオメトリックス情報による診断を行い、医師としての診断結果である健康病気情報を導き出す。医師としての診断結果である健康病気情報は、入力手段８３から医師によって入力される。入力された医師としての診断結果である健康病気情報は、センタサーバ５０のコンピュータ部５１へ送られる。

コンピュータ部５１では、顔画像作成手段７４が、撮像された顔画像と上記によりコンピュータ７０から送られた医師としての診断結果である健康病気情報に基づき、この健康病気情報に対応する拡張現実の予測顔画像を作成するものである。これ以降の処理は第１の実施形態と同様である。

以上の通りに構成された第２の実施形態に係るシステムは、図９に示すフローチャートのように動作を行う。ステップＳ１１からステップＳ１４までは第１の実施形態と同じ処理が行われる。上記のようにして到来し記憶部５２へ記憶した生体情報と画像情報（顔を含む生体を外部から撮像した画像情報）を用いてコンピュータ部５１（のバイオメトリックス情報取得手段７２）は、健康状態と病気とに関係するバイオメトリックス情報を取得する（Ｓ２１）。

更に、コンピュータ部５１は、上記で取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出すると共に、この健康病気情報を生体情報や画像情報（顔を含む生体を外部から撮像した画像情報）と共に医師用のコンピュータ７０へ送信して、コンピュータ７０の出力手段８２から出力する（Ｓ２２）。出力された生体情報と画像情報に基づき、また機械学習による健康病気情報を参照して医師が診断を行って健康病気情報を得て、この健康病気情報を入力手段８２を用いて入力することにより、センタサーバ５０へ送信する（Ｓ２３）。これ以降は、第１の実施形態のステップＳ１７〜Ｓ１９の処理が行われる。

この第２の実施形態によって表示装置２３の画面上に表示される予測顔画像と健康病気情報の表示例は、第１の実施形態と同様に図５、図６、図７に示す通りである。本実施形態によれば、機械学習による健康病気情報が医師に示されるので、医師はこれを参照しながら医師としての診断を加えて健康病気情報を作成することができ、より正確な健康病気情報を得ることが期待できる。

なお、本実施形態において、健康病気情報導出手段７３に学習機能を持たせて、医師としての診断による健康病気情報に基づき機械学習技術アルゴリズム５２０を変更するようにしても良い。このように構成することによって、健康病気情報導出手段７３による健康病気情報導出の精度を高めることができる、また、本実施形態では、予測顔画像を直接にローカルコンピュータ１０へ送信したが、作成された予測顔画像を最初に医師用のコンピュータ７０に送り出力し、医師による確認を受けて、医師の許可を受けた予測顔画像のみをローカルコンピュータ１０へ送信するようにしても良い。また、医師による確認を受けるばかりでなく、医師用のコンピュータ７０に予測顔画像に対し変更を加えるプログラムを備えさせ、顔色や顔の腫れ具合を変更し、変更後の予測顔画像をローカルコンピュータ１０へ送信するようにしても良い。また、医師用のコンピュータ７０により予測顔画像に対し変更を加えた結果を、顔画像作成手段７４にフィードバックして予測顔画像作成用パラメータ５３０などを変更するようにしても良い。

１０ ローカルコンピュータ
１１ 表示位置制御手段
１２ 顔位置検出手段
１５ 座標検出手段
１６ メニュー表示対応処理手段
２１ 表示制御部
２２ 鏡面
２３ 表示装置
２４ カメラ
２５ タッチパネル
３０ 生体情報センサ
３１ 尿検査装置
３２ 血圧心拍センサ
３３ 体重体組織計
４０ ローカル通信装置
５０ センタサーバ
５１ コンピュータ部
５２ 記憶部
６０ センタ通信装置
７１ データ蓄積制御手段
７２ バイオメトリックス情報取得手段
７３ 健康病気情報導出手段
７４ 顔画像作成手段
８１ ＣＰＵ
８２ 出力手段
８３ 入力手段
９０ 通信装置
１００ 利用者宅
１０１ 鏡像
１０２ 予測顔画像
１０３ グラフ
１０４、１０５、１０８、１０９ 健康病気情報
１１０ 指示キー
５００ センタ
５２０ 機械学習技術アルゴリズム
５３０ 予測顔画像作成用パラメータ
６００ ネットワーク
７００ 医療機関

Claims (14)

1. 顔を含む生体を外部から撮像して画像情報を取得するカメラと、
   前記生体から生体情報を得る生体情報センサと、
   前記生体の健康状態と病気とに関係するバイオメトリックス情報を取得可能に、前記画像情報と生体情報を表示及び／またはプリントアウトにより出力する出力手段と、
   前記出力手段により出力された前記画像情報と生体情報のバイオメトリックス情報に基づく医師の診断結果である健康病気情報を入力するための入力手段と、
   撮像された顔画像と入力された前記健康病気情報に基づき、前記健康病気情報に対応する拡張現実の予測顔画像を作成する顔画像作成手段と、
   鏡面に画像を表示するための表示手段と、
   前記予測顔画像を表示する位置を指示する表示位置制御手段と
   前記鏡面に写し出される顔の鏡像と共に前記予測顔画像を前記表示位置制御手段の指示に基づき前記表示手段に表示する表示制御手段と
   を具備することを特徴とする健康管理システム。
2. 前記表示位置制御手段は、入力された前記健康病気情報を表示する位置を指示するものであり、
   前記表示制御手段は、診断結果の前記健康病気情報を前記表示位置制御手段の指示に基づき前記表示手段に表示することを特徴とする請求項１に記載の健康管理システム。
3. 前記鏡面に写し出される顔の鏡像位置を検出する顔位置検出手段を備え、
   前記表示位置制御手段は、前記顔の鏡像位置との関係において前記予測顔画像及び／または前記健康病気情報を表示する位置を指示するものであり、
   前記表示制御手段は、前記表示位置制御手段の指示に基づき、前記予測顔画像を顔の鏡像位置に対応付けて表示することを特徴とする請求項２に記載の健康管理システム。
4. 前記表示位置制御手段は、前記予測顔画像を顔の鏡像位置に重ねて表示する制御を行うことを特徴とする請求項３に記載の健康管理システム。
5. 生体情報センサは、尿検査装置、血圧心拍センサ、体重体組織計の少なくとも１つであることを特徴とする請求項１乃至４のいずれか１項に記載の健康管理システム。
6. 前記カメラにより撮像された画像情報を用いて健康状態と病気とに関係するバイオメトリックス情報を取得するバイオメトリックス情報取得手段と、
   取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出する健康病気情報導出手段と、
   を更に具備し、
   前記健康病気情報導出手段により導出された健康病気情報を前記出力手段から出力することを特徴とする請求項１乃至５のいずれか１項に記載の健康管理システム。
7. 前記バイオメトリックス情報取得手段は、皮膚色、皮膚状態、唇色、眼球色の少なくとも１つを取得することを特徴とする請求項６に記載の健康管理システム。
8. 顔を含む生体を外部から撮像して画像情報を取得するカメラと、前記生体から生体情報を得る生体情報センサと、前記生体の健康状態と病気とに関係するバイオメトリックス情報を取得可能に、前記画像情報と生体情報を表示及び／またはプリントアウトにより出力する出力手段と、前記出力手段により出力された前記画像情報と生体情報のバイオメトリックス情報に基づく医師の診断結果である健康病気情報を入力するための入力手段と、鏡面を有し、この鏡面に画像を表示するための表示手段を有し、この表示手段に対し、健康管理に関する表示を行う健康管理システムのコンピュータを、
   撮像された顔画像と入力された前記健康病気情報に基づき、前記健康病気情報に対応する拡張現実の予測顔画像を作成する顔画像作成手段、
   前記予測顔画像を表示する位置を指示する表示位置制御手段、
   前記鏡面に写し出される顔の鏡像と共に前記予測顔画像を前記表示位置制御手段の指示に基づき前記表示手段に表示する表示制御手段
   として機能させることを特徴とする健康管理システムのプログラム。
9. 前記表示位置制御手段を更に、入力された前記健康病気情報を表示する位置を指示するように機能させ、
   前記表示制御手段を更に、診断結果の前記健康病気情報を前記表示位置制御手段の指示に基づき前記表示手段に表示するように機能させることを特徴とする請求項９に記載の健康管理システムのプログラム。
10. コンピュータを更に、
    前記鏡面に写し出される顔の鏡像位置を検出する顔位置検出手段として機能させ、
    前記表示位置制御手段を更に、前記顔の鏡像位置との関係において前記予測顔画像及び／または前記健康病気情報を表示する位置を指示するように機能させ、
    前記表示制御手段を更に、前記表示位置制御手段の指示に基づき、前記予測顔画像を顔の鏡像位置に対応付けて表示するように機能させることを特徴とする請求項９に記載の健康管理システムのプログラム。
11. 前記表示位置制御手段を更に、前記予測顔画像を顔の鏡像位置に重ねて表示するように機能させることを特徴とする請求項１０に記載の健康管理システムのプログラム。
12. 前記生体情報センサは、尿検査装置、血圧心拍センサ、体重体組織計の少なくとも１つであることを特徴とする請求項１２に記載の健康管理システムのプログラム。
13. 前記コンピュータを更に、
    前記カメラにより撮像された画像情報を用いて健康状態と病気とに関係するバイオメトリックス情報を取得するバイオメトリックス情報取得手段、
    取得したバイオメトリックス情報に基づき機械学習技術を用いて健康病気情報を導出する健康病気情報導出手段、
    として機能させ、
    前記健康病気情報導出手段により導出された健康病気情報を前記出力手段から出力することを特徴とする請求項８乃至１２のいずれか１項に記載の健康管理システムのプログラム。
14. 前記バイオメトリックス情報取得手段を更に、皮膚色、皮膚状態、唇色、眼球色の少なくとも１つを取得するように機能させることを特徴とする請求項８乃至１３のいずれか１項に記載の健康管理システムのプログラム。
    

Images