JP2022105426A - 学習モデルの生成方法、情報処理方法及びプログラム - Google Patents
学習モデルの生成方法、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022105426A JP2022105426A JP2021000221A JP2021000221A JP2022105426A JP 2022105426 A JP2022105426 A JP 2022105426A JP 2021000221 A JP2021000221 A JP 2021000221A JP 2021000221 A JP2021000221 A JP 2021000221A JP 2022105426 A JP2022105426 A JP 2022105426A
- Authority
- JP
- Japan
- Prior art keywords
- user
- subject
- iris image
- iris
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】虹彩から健康状態を判定する際の判定精度を向上させることが可能な学習モデルの生成方法等を提供する。【解決手段】コンピュータは、対象者の虹彩を撮影した虹彩画像と、前記対象者の虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得する。そして、コンピュータは、取得した訓練データを用いて、虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力する学習モデルを生成する。【選択図】図1
Description
本開示は、学習モデルの生成方法、情報処理方法及びプログラムに関する。
特許文献1では、虹彩を人体の各器官に対応する領域に区画した虹彩構造マップデータを用いて、対象者の眼球を撮影した画像中の虹彩領域から、対象者の各器官の健康状態や心理状態等を診断する装置が開示されている。
しかし、虹彩は日々の生活で傷がついたり修復したりを繰り返しているので、健康状態や心理状態の影響がどのように虹彩の状態に反映されているのかを判断することは難しい。従って、虹彩の状態から健康状態や心理状態を判定する際の判定精度の向上が求められている。
本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、虹彩から健康状態を判定する際の判定精度を向上させることを可能にする学習モデルの生成方法等を提供することにある。
本開示の一態様に係る学習モデルの生成方法は、対象者の虹彩を撮影した虹彩画像と、前記対象者の前記虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得し、取得した訓練データを用いて、虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力する学習モデルを生成する処理をコンピュータが実行する。
本開示の一態様にあっては、虹彩から健康状態を判定する際の判定精度を向上させることを可能にする。
以下に、本開示の学習モデルの生成方法、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて説明する。
(実施形態1)
ユーザ(対象者)の虹彩を撮影した虹彩画像に基づいて、ユーザの健康状態を判定(推定)する情報処理システムについて説明する。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、サーバ10及びユーザ端末20等を含み、サーバ10及びユーザ端末20はインターネット等のネットワークNに接続され、ネットワークNを介して情報の送受信を行う。
ユーザ(対象者)の虹彩を撮影した虹彩画像に基づいて、ユーザの健康状態を判定(推定)する情報処理システムについて説明する。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、サーバ10及びユーザ端末20等を含み、サーバ10及びユーザ端末20はインターネット等のネットワークNに接続され、ネットワークNを介して情報の送受信を行う。
サーバ10は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータを用いて構成される。サーバ10は、複数台設けられて分散処理する構成でもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。ユーザ端末20は、サーバ10が提供する健康管理サービスを利用するユーザの端末であり、複数台設けられている。ユーザ端末20は、スマートフォン、タブレット端末、パーソナルコンピュータ等の情報処理装置を用いて構成されるが、専用の端末によって構成されていてもよい。
本実施形態の情報処理システムにおいて、ユーザは、ユーザ端末20を用いて自身の顔画像を撮影してサーバ10へ送信する。ユーザ端末20は、ネットワークN経由で顔画像をサーバ10へ送信し、サーバ10は、受信した顔画像に基づいてユーザの健康状態を判定する。その際、サーバ10は、顔画像からユーザの虹彩の領域(虹彩画像)を抽出し、抽出した虹彩画像に基づいてユーザの健康状態を判定する。そしてサーバ10は、判定した健康状態をユーザ(ユーザ端末20)に提供する。なお、サーバ10は、虹彩画像に加えて、ユーザの顔画像からユーザの肌の領域(肌画像)を抽出し、虹彩画像及び肌画像に基づいてユーザの健康状態を判定してもよい。なお、ユーザ端末20は、ユーザの虹彩(眼)と肌(例えば頬又は額等)とをそれぞれ撮影し、得られた虹彩画像及び肌画像をサーバ10へ送信してもよい。
図2は情報処理システムの内部構成例を示すブロック図である。サーバ10は、端末全体を制御する制御部11、記憶部12、通信部13、入力部14、表示部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを有する。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、サーバ10が行うべき種々の情報処理及び制御処理等を行う。記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、例えば機械学習によって訓練データを学習済みの学習モデル12M、後述するユーザDB(データベース)12a、健康状態DB12b、アドバイスDB12cを記憶している。学習モデル12Mは、ユーザの虹彩画像が入力された場合に、ユーザの健康状態を出力するように学習された学習済みモデルである。学習モデル12Mは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル12Mは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12には、この演算を規定する関数の係数や閾値等のデータが学習モデル12Mとして記憶される。ユーザDB12a、健康状態DB12b及びアドバイスDB12cは、サーバ10に接続された他の記憶装置に記憶されてもよく、サーバ10が通信可能な他の記憶装置に記憶されてもよい。
通信部13は、有線通信又は無線通信によって、ネットワークNに接続するための通信モジュールであり、ネットワークNを介して他の装置との間で情報の送受信を行う。入力部14は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。
ユーザ端末20は、端末全体を制御する制御部21、記憶部22、通信部23、入力部24、表示部25、カメラ26等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末20の制御部21、記憶部22、通信部23、入力部24、表示部25のそれぞれは、サーバ10の制御部11、記憶部12、通信部13、入力部14、表示部15と同様の構成であるので詳細な説明は省略する。なお、ユーザ端末20の記憶部22は、制御部21が実行する制御プログラム22Pに加え、サーバ10が提供する健康管理サービスを利用するためのアプリケーションプログラム(以下では健康管理アプリ22APという)を記憶している。
カメラ26は、制御部21からの指示に従って撮影する撮影装置であり、取得した撮影画像(画像データ)を記憶部22へ送出して記憶させる。カメラ26は、ユーザ端末20に内蔵されていてもよく、ユーザ端末20に外付けされていてもよい。外付けされる場合、ユーザ端末20は、外部カメラの接続が可能な接続部、又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。
図3は、サーバ10が記憶するDB12a~12cの構成例を示す模式図である。図3AはユーザDB12aを、図3Bは健康状態DB12bを、図3CはアドバイスDB12cをそれぞれ示す。ユーザDB12aは、サーバ10が提供する健康管理サービスを利用するためにユーザ登録したユーザに関する情報を記憶する。図3Aに示すユーザDB12aは、ユーザID列、ユーザ情報列、判定結果列等を含み、ユーザIDに対応付けてユーザに関する情報を記憶する。ユーザID列は、各ユーザを識別するための識別情報(ユーザID)を記憶する。ユーザ情報列は、ユーザの氏名及び連絡先の情報等の個人情報、ユーザの年齢及び性別等の属性情報を含むユーザ情報を記憶する。なお、ユーザ情報に、ユーザの身長、体重、体脂肪率、血圧及び平熱等の生体情報、ユーザの既往歴、医療機関等で行った各種の検査結果、治療内容、リハビリ内容、服用中の薬等の健康情報等を含めてもよい。判定結果列は、ユーザの虹彩画像、虹彩画像に基づいて健康状態を判定した判定結果等を記憶する。具体的には、判定結果列は、日時列、虹彩画像列、肌画像列、健康状態列及びアドバイス列を含む。日時列は、例えばサーバ10がユーザ端末20から顔画像を受信した日時、又はユーザ端末20で顔画像が撮影された日時を記憶する。虹彩画像列及び肌画像列はそれぞれ、サーバ10がユーザ端末20から受信した顔画像から抽出された虹彩領域(虹彩画像)及び肌領域(肌画像)を記憶する。なお、虹彩画像及び肌画像は、ユーザDB12aに記憶されるほかに、記憶部12の所定領域又は他の記憶装置に記憶されてもよく、この場合、虹彩画像列及び肌画像列のそれぞれは、虹彩画像及び肌画像を読み出すための情報(例えばデータの記憶場所を示すファイル名)を記憶する。健康状態列は、虹彩画像又は肌画像に基づいて判定された健康状態を記憶し、アドバイス列は、健康状態に応じてユーザに提供されたアドバイスを記憶する。なお、健康状態列にはそれぞれの健康情報に割り当てられた識別情報(健康状態ID)が記憶され、アドバイス列にはそれぞれのアドバイスに割り当てられた識別情報(アドバイスID)が記憶される。ユーザDB12aに記憶されるユーザIDは、新たなユーザが登録された場合に、制御部11によって発行されて記憶される。ユーザDB12aに記憶されるユーザ情報は、制御部11が通信部13又は入力部14を介して各情報の追加指示又は修正指示を取得した場合に制御部11によって追加又は修正される。ユーザDB12aに記憶される判定結果は、制御部11が通信部13を介してユーザ端末20から顔画像を取得した場合に、制御部11によって日時が記憶され、制御部11が顔画像から虹彩画像及び肌画像を抽出した場合に制御部11によって虹彩画像及び肌画像が記憶される。また、制御部11が虹彩画像又は肌画像に基づいて健康状態を判定した場合に制御部11によって健康状態が記憶され、制御部11がユーザに提供すべきアドバイスを特定した場合に制御部11によってアドバイスが記憶される。ユーザDB12aの記憶内容は図3Aに示す例に限定されない。
健康状態DB12bは、サーバ10がユーザの虹彩画像から判定する健康状態に関する情報を記憶する。図3Bに示す健康状態DB12bは、健康状態ID列及び健康状態列等を含み、健康状態IDに対応付けて健康状態を示す情報を記憶する。健康状態ID列は、予め設定された各健康状態を識別するための識別情報(健康状態ID)を記憶する。健康状態列は、健康状態の内容を示す情報を記憶する。健康状態DB12bに記憶される健康状態IDは、新たな健康状態が登録された場合に、制御部11によって発行されて記憶される。健康状態DB12bに記憶される健康状態は、制御部11が入力部14又は通信部13を介して追加指示又は修正指示を取得した場合に制御部11によって追加又は修正される。健康状態DB12bの記憶内容は図3Bに示す例に限定されず、例えば各健康状態に対する注意事項等、それぞれの健康状態に関する情報が記憶されていてもよい。
アドバイスDB12cは、健康状態の判定結果に応じてユーザに提供されるアドバイスに関する情報を記憶する。図3Cに示すアドバイスDB12cは、アドバイスID列、アドバイス内容列、健康状態ID列等を含み、アドバイスIDに対応付けてアドバイスに関する情報を記憶する。アドバイスID列は、予め設定された各アドバイスを識別するための識別情報(アドバイスID)を記憶する。アドバイス内容列は、ユーザの健康状態に応じてユーザに提供すべきアドバイスの内容を示す情報を記憶する。アドバイスは、医師、看護師、薬剤師、保健師、管理栄養士、心理相談員、運動指導士等の専門家が、ユーザの健康状態を参考にして設定した内容であってもよい。健康状態ID列は、各アドバイスを提供すべきユーザの健康状態の健康状態IDを記憶する。本実施形態のアドバイスDB12cでは、アドバイス内容と健康状態IDとが対応付けて記憶されるので、健康状態に応じてユーザに提供すべきアドバイス内容が設定されて登録される。アドバイスDB12cに記憶されるアドバイスIDは、新たなアドバイスが登録された場合に、制御部11によって発行されて記憶される。アドバイスDB12cに記憶されるアドバイス内容及び健康状態IDは、制御部11が入力部14又は通信部13を介して各情報を取得した場合に制御部11によって記憶される。アドバイスDB12cの記憶内容は図3Cに示す例に限定されない。アドバイスDB12cに記憶されるアドバイスは、食事、運動又は入浴等の生活習慣に関する内容、化粧品、サプリメント、漢方薬、ハーブ等の摂取又は購入に関する内容、アロマオイルの使用方法に関する内容等であってもよい。
図4は学習モデル12Mの構成例を示す模式図である。学習モデル12Mは、ユーザの虹彩画像を入力とし、入力された虹彩画像に基づいてユーザ(被写体)の健康状態に関する情報を出力するように学習された学習済みモデルである。学習モデル12Mは例えばCNN(Convolution Neural Network)を用いて構成される。なお、学習モデル12Mは、CNNのほかに、決定木、ランダムフォレスト、SVM(Support Vector Machine)等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。サーバ10は、所定の訓練データを学習する機械学習を行って学習モデル12Mを事前に生成しておく。サーバ10は、ユーザ端末20から取得したユーザの顔画像から抽出した虹彩画像を学習モデル12Mに入力し、学習モデル12Mからの出力情報に基づいてユーザの健康状態を判定する。
学習モデル12Mは、入力層、中間層及び出力層から構成されている。本実施形態の学習モデル12Mには、入力層の入力ノードを介してユーザの虹彩画像が入力される。入力層の各入力ノードには虹彩画像の各画素がそれぞれ入力される。中間層は、所定の関数及び重み付け係数等を用いて、入力された虹彩画像に対してフィルタ処理及び圧縮処理等の所定の演算を行って出力値を算出し、算出した出力値を出力層から出力する。なお、例えば中間層が複数の層を有する場合、各層のノードは、各層間の関数及び重み付け係数等を用いて、入力された虹彩画像に基づく出力値を算出し、算出した出力値を順次後の層のノードに入力する。中間層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各出力ノードにそれぞれの出力値を与える。本実施形態の学習モデル12Mでは、出力層は複数の出力ノードを有しており、それぞれの出力ノードは、例えば健康状態DB12bに登録してある健康状態のそれぞれに対する判別確率を出力する。例えばそれぞれの出力ノードは、健康状態IDがH01,H02,…の健康状態に対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、それぞれの出力ノードに対応付けられた健康状態が、入力された虹彩画像のユーザに最適である可能性(確率)を示す。出力層の各出力ノードの出力値は例えば0~1の値であり、各出力ノードから出力される判別確率の合計が1.0となる。上述した構成により、学習モデル12Mは、ユーザの虹彩画像が入力された場合に、ユーザの健康状態に係る情報(各健康状態に対する判別確率)を出力する。
サーバ10は、上述した学習モデル12Mにおいて、出力層からの出力値のうちで最大の出力値(判別確率)を出力した出力ノードを特定し、特定した出力ノードに対応する健康状態を、ユーザの健康状態に特定する。なお、学習モデル12Mの出力層は、それぞれの健康状態に対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い健康状態(健康状態ID)を出力する1個の出力ノードを有する構成でもよい。
学習モデル12Mは、ユーザの虹彩画像に対して、ユーザの健康状態を示す情報(正解ラベル)が付与された訓練データを用いて学習する。正解ラベルの健康状態は、例えばユーザの虹彩画像以外の生体データに基づいて判定されたユーザの健康状態を用いることができる。虹彩画像以外の生体データは、例えばユーザの肌画像、肌画像から特定された肌の状態を示す肌データ、ユーザの頭髪を撮影した頭髪画像、頭髪画像から特定された頭髪の状態を示す頭髪データ、ユーザの汗、尿、血液、唾液、涙等から得られる各種の計測データ等を含み、ユーザの生体に関する各種の情報を用いることができる。なお、このような生体データに基づいて判定された健康状態を正解の健康状態として用いることができる。訓練データ用の虹彩画像及び健康状態は、ユーザDB12aに蓄積された各ユーザの虹彩画像及び健康状態を用いてもよい。学習モデル12Mは、訓練データに含まれる虹彩画像が入力された場合に、訓練データに含まれる正解ラベル(正解の健康状態)に対応する出力ノードからの出力値が1に近づき、他の出力ノードからの出力値が0に近づくように学習する。具体的には、学習モデル12Mは、入力された虹彩画像に基づいて中間層での演算を行い、出力層の各出力ノードからの出力値を算出する。そして学習モデル12Mは、算出した各出力ノードの出力値と正解ラベルに応じた値(0又は1)とを比較し、各出力値がそれぞれの正解ラベルに応じた値に近似するように、中間層及び出力層におけるパラメータを最適化する。学習モデル12Mは、例えば誤差逆伝播法を用いて、中間層及び出力層での演算に用いる各種の関数の係数及び閾値等のデータの最適化を行う。これにより、虹彩画像が入力された場合に、各健康状態に対する判別確率を出力するように学習された学習モデル12Mが得られる。
学習モデル12Mの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル12Mは、例えばネットワークN経由又は可搬型記憶媒体1a経由で学習装置からサーバ10にダウンロードされて記憶部12に記憶される。学習モデル12Mは、図4に示す構成に限定されない。
以下に、訓練データを学習して学習モデル12Mを生成する処理について説明する。図5は学習モデル12Mの生成処理手順の一例を示すフローチャートである。以下の処理は、サーバ10の制御部11が、記憶部12に記憶してある制御プログラム12Pに従って行うが、他の学習装置で行われてもよい。
サーバ10の制御部11は、あるユーザの虹彩画像に対して、正解の健康状態(健康状態ID)が付与された訓練データを取得する(S11)。訓練データ用の虹彩画像及び正解の健康状態は、例えばユーザDB12aに蓄積されている各ユーザの虹彩画像及び健康状態(健康状態ID)から取得することができる。なお、訓練データは、予めユーザDB12aの記憶内容から生成して訓練データDB(図示せず)に登録しておいてもよく、この場合、制御部11は、訓練データDBから訓練データを取得すればよい。また、ユーザの生体データに基づいて判定された健康状態が、ユーザの虹彩画像に付与された訓練データを訓練データDBに登録しておき、この訓練データDBに登録されている訓練データを取得してもよい。
制御部11は、取得した訓練データを用いて学習モデル12Mの学習処理を行う(S12)。ここでは、制御部11は、訓練データに含まれる虹彩画像を学習モデル12Mに入力し、出力層の各出力ノードからの出力値を取得する。制御部11は、各出力ノードからの出力値と、正解の健康状態に応じた値(正解の健康状態に対応する出力ノードについては1、その他の出力ノードについては0)とを比較し、両者が近似するように、例えば誤差逆伝播法を用いて、中間層及び出力層におけるニューロン間の重み等のパラメータを最適化する。即ち、制御部11は、正解の健康状態に対応する出力ノードからの出力値が1に近づき、他の出力ノードからの出力値が0に近づくように学習モデル12Mを学習させる。
制御部11は、未処理の訓練データがあるか否かを判断する(S13)。例えば制御部11は、ユーザDB12aに記憶されている各ユーザの虹彩画像及び健康状態のうちで、学習処理に未だ使用されていない情報があるか否かを判断する。なお、訓練データが予め訓練データDBに登録してある場合、制御部11は、訓練データDBに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断すればよい。未処理の訓練データがあると判断した場合(S13:YES)、制御部11は、ステップS11の処理に戻り、学習処理が未処理の虹彩画像及び健康状態に基づいて、ステップS11~S12の処理を行い、訓練データを用いた学習処理を繰り返す。未処理のデータがないと判断した場合(S13:NO)、制御部11は学習処理を終了する。これにより、ユーザの虹彩画像が入力された場合に、ユーザの健康状態の判別結果として、予め健康状態DB12bに登録してある健康状態のそれぞれに対する判別確率を出力するように学習された学習モデル12Mが生成される。なお、既に学習済みの学習モデル12Mについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル12Mを生成できる。また、上述した学習処理を繰り返し行うことにより、学習モデル12Mを最適化することができ、膨大な訓練データを用いて学習モデル12Mを学習させた場合には、より正確にユーザの健康状態を判別できる学習モデル12Mを実現できる。
以下に、上述した処理によって生成された学習モデル12Mを用いて、各ユーザの虹彩画像から健康状態を判定(推定)してユーザに提供する処理について説明する。図6は健康状態の判定処理手順の一例を示すフローチャート、図7は画面例を示す模式図、図8は健康状態の判定処理の説明図である。図6では左側にユーザ端末20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。以下の処理は、ユーザ端末20の記憶部22に記憶してある制御プログラム22P及び健康管理アプリ22APに従って制御部21によって実行され、サーバ10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
本実施形態の情報処理システムにおいて、ユーザは定期的に又は任意のタイミングで、ユーザ端末20に健康管理アプリ22APを起動させ、健康管理アプリ22APを介して自身の顔画像を撮影し、得られた顔画像をサーバ10へ送信する。ユーザ端末20の制御部21は、入力部24を介して健康管理アプリ22APの起動指示を受け付けた場合、健康管理アプリ22APを起動させ、図7Aに示すような初期画面を表示部25に表示する。初期画面は、ユーザの顔画像の撮影実行を指示するための撮影ボタンと、ユーザの体調に関する情報を入力するための入力欄と、顔画像及び入力された情報のサーバ10への送信実行を指示するための送信ボタンとを有する。
初期画面において、ユーザは入力部24を介して撮影ボタンを操作することによってカメラ26による撮影処理を開始させる。ユーザ端末20の制御部21は、撮影ボタンが操作された場合、カメラ26を起動してカメラ26による撮影を開始し、カメラ26を介して取得される撮影画像を表示部25に表示する。ユーザは、表示される撮影画像を確認し、所望のタイミングで入力部24を介してシャッター操作を行う。制御部21は、シャッター操作を受け付けた場合、この時点でカメラ26にて取得した撮影画像をユーザの顔画像として取得する(S21)。図8Aは顔画像の例を示しており、ユーザは、少なくとも両眼及び両眼の周囲の肌領域を含む顔画像を撮影する。なお、制御部21は、取得したユーザの顔画像を表示部25に表示し、ユーザによる確認を行った後にサーバ10への送信対象に確定してもよい。その際、制御部21は、入力部24を介したユーザ操作に従って、撮影のやり直しを行ってもよい。
初期画面において、ユーザは入力部24を介して入力欄に自身の体調(健康状態)に関する情報を入力してもよい。入力欄には、テキスト入力によって体調に関するコメントが入力されてもよく、アンケート(質問票)形式でユーザが回答することによって体調に関する情報が入力されてもよく、ユーザのバイタルデータを計測する計測器を用いて収集された情報が入力されてもよい。バイタルデータは例えば、血圧、脈拍、脈圧、歩数、歩行距離を含んでもよい。なお、ユーザの体調(健康状態)に関する情報の入力は必ずしも行う必要はなく、ユーザは、自身の顔画像を撮影した後、送信ボタンを操作することによって、顔画像のサーバ10への送信実行を指示してもよい。制御部21は、送信ボタンが操作された場合、初期画面を介して取得された顔画像をサーバ10へ送信する(S22)。具体的には、制御部21は、顔画像及びユーザIDをサーバ10へ送信する。ユーザIDは例えば、健康管理アプリ22APに予め設定されている。なお、初期画面を介して顔画像と共にユーザの体調に関する情報が入力されていた場合、制御部21は、顔画像と共に体調に関する情報をサーバ10へ送信する。
サーバ10の制御部11は、ユーザ端末20から顔画像を受信した場合、受信した顔画像からユーザ(被写体)の虹彩領域(虹彩画像)を抽出し、ユーザIDに対応付けてユーザDB12aに記憶する(S23)。ここでは、制御部11は、ユーザIDに対応する日時列に、顔画像を受信した日時又は顔画像が撮影された日時を記憶し、虹彩画像列に、顔画像から抽出した虹彩画像を記憶する。なお、制御部11は、図8Aに示す顔画像から、例えば図8Bに示すようにユーザの両眼を含む領域を虹彩画像として抽出するが、左眼を含む領域と右眼を含む領域とをそれぞれ左虹彩画像及び右虹彩画像として抽出してもよい。また制御部11は、ユーザ端末20からユーザの体調に関する情報を受信していた場合、受信した体調に関する情報もユーザIDに対応付けてユーザDB12aに記憶しておいてもよい。なお、制御部11は、ユーザ端末20から受信した顔画像自体をユーザDB12aに記憶してもよい。
また制御部11は、顔画像からユーザ(被写体)の肌領域(肌画像)を抽出し、ユーザIDに対応付けてユーザDB12aに記憶する(S24)。例えば制御部11は、ユーザの頬、額、眼尻等の領域のいずれか又は複数を肌画像として抽出する。顔画像から虹彩画像及び肌画像を抽出する場合、制御部11は、例えばテンプレートマッチング技術によって顔画像中のユーザの眼を特定する。具体的には、一般的な人の眼の画像に基づくテンプレートを予め記憶部12に登録しておき、制御部11は、顔画像中にテンプレートに一致する領域を検知した場合、検知した領域を眼領域に特定する。また制御部11は、機械学習によって構築されたニューラルネットワークを用いて、顔画像から眼領域を検出してもよい。例えばR-CNN(Regions with Convolution Neural Network )で構成され、顔画像が入力された場合に、顔画像中の眼領域を出力するように学習された学習モデルを用いることができる。この場合、制御部11は、顔画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、顔画像中の眼領域を特定することができる。そして制御部11は、特定した顔画像中の眼領域に基づいて、顔画像中の虹彩画像及び肌画像を抽出する。その際、制御部11は、顔画像から顔の輪郭を検出し、眼領域及び顔の輪郭に基づいて、顔画像中の虹彩画像及び肌画像を抽出してもよい。なお、制御部11は、顔画像から抽出した肌画像をユーザDB12aに記憶する代わりに、肌画像から肌の状態を特定し、特定した肌の状態を示す肌データをユーザDB12aに記憶してもよい。なお、肌データは、例えば肌の水分量、コラーゲン量及びメラニン量、並びに、乾燥肌、敏感肌、油性肌又は普通肌等の肌タイプを示す情報等を含んでもよい。
次に制御部11は、ステップS23で抽出した虹彩画像、及び/又は、ステップS24で抽出した肌画像(又は肌データ)に基づいて、ユーザ(被写体)の健康状態を判定し、判定結果をユーザIDに対応付けてユーザDB12aに記憶する(S25)。ここでは、制御部11は、虹彩画像に基づいてユーザの健康状態を判定する処理と、肌画像又は肌データに基づいてユーザの健康状態を判定する処理とを行い、いずれかの判定結果をユーザの健康状態としてもよく、それぞれの判定結果に基づいて総合的にユーザの健康状態を判定してもよい。
虹彩画像に基づいて健康状態を判定する処理では、制御部11は、虹彩画像を学習モデル12Mに入力し、学習モデル12Mからの出力情報に基づいて、ユーザの健康状態を判定する。また例えば、複数の健康状態のそれぞれに対応付けて、それぞれの健康状態の場合に虹彩画像(虹彩)に出現する特徴情報を予め記憶部12に登録しておき、制御部11は、虹彩画像に含まれる特徴情報に基づいて健康状態を判定してもよい。また、虹彩を人体の各臓器及び各器官に対応するエリアに分割した虹彩分析チャートにおいて、各エリアについて、対応する臓器及び器官の健康状態に応じて出現する虹彩の特徴情報を予め記憶部12に登録しておき、制御部11は、虹彩の各エリアの特徴情報に基づいて健康状態を判定してもよい。なお、虹彩画像に基づく各判定処理による判定結果に基づいて、虹彩画像に基づく健康状態を総合的に判定してもよい。例えば、虹彩画像に基づく各判定処理の結果、同一の判定結果が複数得られた場合、この判定結果をユーザの健康状態に決定してもよい。また、各判定処理に対して重み付けを行い、各判定処理の結果が異なる場合、大きい重みが割り当てられた判定結果をユーザの健康状態に決定してもよい。
肌画像又は肌データに基づいて健康状態を判定する処理では例えば、複数の健康状態のそれぞれに対応付けて、それぞれの健康状態の場合に肌画像(肌)又は肌データに出現する特徴情報を予め記憶部12に登録しておき、制御部11は、肌画像又は肌データに含まれる特徴情報に基づいて健康状態を特定する。ここでも制御部11は、機械学習によって構築されたニューラルネットワークを用いて、肌画像又は肌データから健康状態を判定してもよい。例えばCNNで構成され、肌画像又は肌データが入力された場合に、ユーザの健康状態を出力するように学習された学習モデルを用いることができる。この場合、制御部11は、肌画像又は肌データを学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ユーザの健康状態を判定することができる。なお、肌画像又は肌データに基づく各判定処理による判定結果に基づいて、肌画像又は肌データに基づく健康状態を総合的に判定してもよい。例えば、肌画像又は肌データに基づく各判定処理の結果、同一の判定結果が複数得られた場合、この判定結果をユーザの健康状態に決定してもよい。また、各判定処理に対して重み付けを行い、各判定処理の結果が異なる場合、大きい重みが割り当てられた判定結果をユーザの健康状態に決定してもよい。虹彩画像又は肌画像から健康状態を判定する処理は、上述した処理によってサーバ10が行うほかに、他のサーバで行われてもよく、虹彩を分析する分析者によって行われてもよい。
制御部11は、虹彩画像に基づく判定結果と、肌画像に基づく判定結果とをそれぞれ取得してもよく、それぞれの判定結果からユーザの健康状態を判定してもよい。また、サーバ10がユーザ端末20からユーザの体調に関する情報を受信していた場合、制御部11は、体調に関する情報も考慮してユーザの健康状態を判定してもよい。即ち、制御部11は、虹彩画像から判定した健康状態と、肌画像から判定した健康状態と、ユーザ端末20から受信したユーザの体調に関する情報とに基づいてユーザの健康状態を総合的に判定してもよい。ここでは、例えば、虹彩画像に基づく判定結果と、肌画像に基づく判定結果と、体調に関する情報に基づく判定結果とにおいて、同一の判定結果が複数得られた場合、この判定結果をユーザの健康状態に決定してもよい。また、各判定結果に対して重み付けを行い、大きい重みが割り当てられた判定結果をユーザの健康状態に決定してもよい。更に、例えば虹彩画像に基づく判定処理に学習モデル12Mを用い、肌画像に基づく判定処理に学習モデルを用いた場合、それぞれの学習モデルの各出力ノードからの出力値に対して重み付けを行い、各出力ノードからの出力値に基づく重み付け加算によって得られた値が最大となった出力ノードに対応する健康状態を、ユーザの健康状態に決定してもよい。なお、制御部11は、例えば健康状態DB12bに予め登録してある健康状態の中から、ユーザ(被写体)の健康状態を特定し、特定した健康状態の健康状態IDをユーザDB12aに記憶する。
次に制御部11は、判定した健康状態に応じたアドバイスを特定し、特定結果をユーザIDに対応付けてユーザDB12aに記憶する(S26)。ここでは、制御部11は、判定した健康状態に対応するアドバイスを、アドバイスDB12cに登録してあるアドバイスの中から特定し、特定したアドバイスのアドバイスIDをユーザDB12aに記憶する。そして制御部11は、特定したアドバイスに基づいて、ユーザに提供する判定結果画面を生成する(S27)。図7Bは判定結果画面の例を示しており、制御部11は、判定した健康状態(判定結果)と、特定したアドバイスの内容とを表示した判定結果画面を生成する。健康状態に応じたアドバイスは、食事、運動、入浴等の生活習慣の改善を提案する内容、お勧めの化粧品、サプリメント、漢方薬、ハーブ、アロマオイル等を提案する内容等であってもよい。
制御部11は、生成した判定結果画面をユーザ端末20へ送信する(S28)。ユーザ端末20の制御部21は、サーバ10から判定結果画面を受信した場合、判定結果画面を表示部25に表示する(S29)。これにより、ユーザ端末20は、ユーザの虹彩画像又は肌画像から判定された健康状態と、健康状態に応じたアドバイスとをユーザに通知できる。上述した処理により、ユーザは、ユーザ端末20を用いて自身の顔画像を撮影することによって、自身の虹彩画像又は肌画像に基づいて判定された健康状態及びアドバイスを得ることができる。またユーザは、例えば毎日同じ時刻に顔画像を撮影することによって、自身の健康状態の日々の変化を把握することができる。
本実施形態では、ユーザは、例えば自宅でユーザ端末20を用いて自身の顔画像を撮影してサーバ10へ送信することで、サーバ10から健康状態及びアドバイスを取得することができる。このほかに、例えば化粧品、サプリメント等を販売する店舗に設けられた端末(ユーザ端末20)を用いて、来店したユーザの顔を撮影し、得られた顔画像をサーバ10へ送信し、サーバ10から店舗の端末経由でユーザに健康状態及びアドバイスを提供する構成としてもよい。また、例えば店舗に設けられたサーバ10にカメラを設けることにより、店舗内のカメラでユーザの顔を撮影することで、ユーザに健康状態及びアドバイスを提供することが可能となる。更に、ユーザの虹彩画像又は肌画像に基づいてユーザの健康状態を判定する処理をユーザ端末20が行うように構成されていてもよい。例えば、学習モデル12Mをユーザ端末20の記憶部22に記憶しておくことにより、制御部21が、カメラ26にてユーザの顔画像を撮影した場合に、学習モデル12Mを用いて、顔画像から抽出した虹彩画像からユーザの健康状態を判定することができる。
本実施形態では、ユーザ端末20を用いてユーザの顔画像を撮影し、サーバ10が、ユーザ端末20から取得した顔画像から虹彩画像及び肌画像を抽出する構成であるが、このような構成に限定されない。例えばユーザがユーザ端末20を用いて自身の虹彩画像(眼の画像)と、肌画像(頬、額、眼尻等の領域の画像)とをそれぞれ撮影してサーバ10へ送信してもよい。この場合、サーバ10は、顔画像から虹彩画像及び肌画像を抽出する処理を行う必要がない。
本実施形態において、ユーザの肌画像の代わりにユーザの頭髪の状態を示す頭髪データを用いて、ユーザの健康状態を判定してもよい。例えばユーザは、ユーザ端末20を用いて自身の顔及び頭髪を撮影して顔画像及び頭髪画像を取得してサーバ10へ送信する。サーバ10は、顔画像から虹彩画像を抽出し、頭髪画像から髪の状態を示す頭髪データを取得する。そしてサーバ10は、虹彩画像及び/又は頭髪データに基づいてユーザの健康状態を判定し、判定結果に応じたアドバイスをユーザに提供する。この場合にも、ユーザは、ユーザ端末20を用いて自身の顔画像及び頭髪画像を撮影することによって、自身の虹彩画像又は頭髪データに基づいて判定された健康状態及びアドバイスを得ることができる。なお、頭髪データは、例えば髪の水分量、枝毛又は切れ毛の有無等を示す情報を用いることができる。
本実施形態では、サーバ10は、ユーザ端末20から受信した顔画像から抽出した虹彩画像及び肌画像、判定結果の健康状態、健康状態に応じたアドバイスを対応付けてユーザDB12aに蓄積する構成である。このほかに、サーバ10は、各ユーザの虹彩画像及び判定結果の健康状態を対応付けて別のDBに蓄積する構成を有していてもよい。このように別のDBに虹彩画像及び判定結果の健康状態を蓄積することにより、DBに蓄積された情報を、学習モデル12Mを生成する際の訓練データに用いることが可能となる。
本実施形態において、学習モデル12Mを用いて虹彩画像から健康状態を判定する際に、学習モデル12Mに虹彩画像を入力するときに、虹彩画像に対して前処理を行ってもよい。例えば、虹彩(眼)の上下位置が虹彩画像中の上下位置となるように虹彩(眼)を回転させる画像処理を行った後に学習モデル12Mに入力してもよい。また、虹彩を人体の各臓器及び各器官に対応するエリアに分割し、各エリアに応じたエリア領域を虹彩画像から抽出し、エリア領域毎に学習モデル12Mに入力してもよい。この場合、学習モデル12Mは、各エリア領域の画像(虹彩画像)を入力するための入力ノードをそれぞれ有する構成でもよく、各エリア領域の識別情報を入力するための入力ノードとエリア領域の画像(虹彩画像)を入力するための入力ノードとを有する構成でもよい。また、エリア毎にエリア領域の虹彩画像から健康状態を判定するための学習モデル12Mを生成してもよい。このような構成とすることにより、各エリアの虹彩画像の特徴をより反映させた判定結果が得られ、精度の高い判定処理を実現できる。
学習モデル12Mは、図4に示す構成に限定されない。図9は学習モデルの他の構成例を示す模式図である。図9に示す学習モデル12M1は、ユーザの虹彩画像に加えてユーザの肌データを入力とし、虹彩画像及び肌データに基づいて、ユーザの健康状態に関する情報を出力するように構成されている。肌データは、顔画像から抽出された肌画像であってもよく、肌画像から特定された肌の状態を示す肌データであってもよい。図9に示す学習モデル12M1は、ユーザの虹彩画像及び肌データと、ユーザの健康状態(正解ラベル)とを含む訓練データに用いて学習させることによって生成される。
図9に示す学習モデル12M1についても、図5に示す処理と同様の処理によって生成可能である。なお、学習モデル12M1を生成する場合、図5中のステップS11において、制御部11は、あるユーザの虹彩画像及び肌データに対して、正解の健康状態(健康状態ID)が付与された訓練データを取得する。ここでも、訓練データ用の虹彩画像、肌データ及び正解の健康状態は、ユーザDB12aに蓄積されている各ユーザの虹彩画像、肌画像及び健康状態(健康状態ID)から取得することができる。そして制御部11は、訓練データを用いた学習処理を行うことにより、図9に示す学習モデル12M1を生成できる。なお、図9に示す学習モデル12M1に対する学習処理において、制御部11は、訓練データに含まれる虹彩画像及び肌データを学習モデル12M1に入力し、このときに、訓練データに含まれる正解ラベルが示す健康状態に対応する出力ノードからの出力値が1に近づき、他の出力ノードからの出力値が0に近づくように学習モデル12Mを学習させる。よって、虹彩画像及び肌データが入力された場合に、このユーザに適した健康状態を、予め健康状態DB12bに登録してある健康状態の中から特定するように学習された学習済みの学習モデル12M1が得られる。
図9に示す学習モデル12M1を用いる場合であっても、サーバ10及びユーザ端末20は、図6に示す処理と同様の処理が可能である。なお、学習モデル12M1を用いる場合、図6中のステップS25において、制御部11は、ステップS23で抽出した虹彩画像と、ステップS24で抽出した肌画像(又は肌画像から抽出された肌データ)とを学習モデル12Mに入力し、学習モデル12Mからの出力情報に基づいて、ユーザの健康状態を判定する。
(実施形態2)
実施形態1の情報処理システムにおいて、ユーザの虹彩(眼)の色に応じて、健康状態を判定(推定)する際の処理が異なる情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。
実施形態1の情報処理システムにおいて、ユーザの虹彩(眼)の色に応じて、健康状態を判定(推定)する際の処理が異なる情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。
図10は実施形態2の健康状態の判定処理手順の一例を示すフローチャートである。図10に示す処理は、図6に示す処理において、ステップS24,S25の間にステップS31~S33を追加したものである。図6と同じステップについては説明を省略する。
本実施形態のユーザ端末20の制御部21及びサーバ10の制御部11は、図6中のステップS21~S24の処理を行う。これにより、ユーザ端末20はユーザの顔画像を撮影してサーバ10へ送信し、サーバ10は、ユーザ端末20から受信した顔画像から虹彩画像及び肌画像を抽出してユーザDB12aに記憶する。本実施形態のサーバ10では、制御部11は、ステップS23で抽出した虹彩画像に基づいて、ここでのユーザの虹彩(眼)の色を検出する(S31)。例えば制御部11は、茶、グレー、青、緑等、予め設定された色の中から、ユーザの虹彩の色に最も近い色を特定する。制御部11は、特定した色が茶色(ブラウンアイ)であるか否かを判断し(S32)、茶色であると判断した場合(S32:YES)、ステップS25の処理に移行する。この場合、制御部11は、図6で説明した実施形態1と同様の処理を行って、ユーザの健康状態を判定する。
特定した色が茶色でないと判断した場合(S32:NO)、制御部11は、虹彩画像以外の生体データ等の情報に基づいて、ユーザの健康状態を判定し、判定結果をユーザIDに対応付けてユーザDB12aに記憶する(S33)。例えば制御部11は、ステップS24で抽出した肌画像(又は肌データ)に基づいて、ユーザの健康状態を判定する。また、サーバ10がユーザ端末20からユーザの体調に関する情報を受信していた場合、制御部11は、体調に関する情報に基づいて健康状態を判定してもよい。更に、ユーザの生体情報又は健康情報等がユーザ情報としてユーザDB12aに記憶されている場合、制御部11は、生体情報又は健康情報からユーザの健康状態を判定してもよい。その後、制御部11は、ステップS26の処理に移行し、判定した健康状態に応じたアドバイスを特定してユーザDB12aに記憶し(S26)、特定したアドバイスに基づいて、ユーザに提供する判定結果画面を生成する(S27)。上述した処理により、本実施形態においても、ユーザは、ユーザ端末20を用いて自身の顔画像を撮影してサーバ10へ送信することにより、サーバ10から健康状態及び健康状態に関するアドバイスを得ることができる。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザの健康状態を判定する際に、ユーザの虹彩の色に応じて異なる判定処理を行うことができる。例えば、ユーザの虹彩が茶色であるか否かを判断し、茶色である場合には虹彩画像に基づく判定処理を行い、茶色でない場合には肌画像に基づく判定処理を行うことができる。これにより、ユーザの虹彩の色に適した判定処理によって、虹彩の色を考慮した精度の高い判定結果を得ることができる。
本実施形態において、ユーザの虹彩の色に応じて異なる生体データ(例えば虹彩画像、肌画像)を用いて健康状態を判定する構成のほかに、例えば虹彩の色毎に学習モデル12Mを生成しておいてもよい。この場合、虹彩の色に応じた学習モデル12Mを用いて虹彩画像から健康状態を判定することにより、虹彩の色に応じた精度の高い判定結果が得られる。また、虹彩の色毎に、それぞれの健康状態の場合に虹彩に出現する特徴情報を登録しておくことにより、虹彩画像に基づいて健康状態を判定する際に、虹彩の色を特定し、特定した色における特徴状態に基づいてユーザの健康状態を判定してもよい。
(実施形態3)
ユーザ(対象者)の虹彩画像に加えて、ユーザのバイタルデータを取得する計測器による計測結果に基づいて、ユーザの健康状態を判定(推定)する情報処理システムについて説明する。本実施形態の情報処理システムは、サーバ10及びユーザ端末20に加えて、ユーザのバイタルデータを取得する計測器30(図11参照)を含む。ユーザ端末20及び計測器30は、例えば近距離無線通信機能によって通信することができる。なお、ユーザ端末20と計測器30との間は有線で接続されていてもよい。計測器30は、例えば、血圧、脈拍、脈圧、歩数、走行距離等を含むバイタルデータを計測することができ、例えば腕時計型のウェアラブルデバイスである。計測器30は、ユーザの健康状態を判定するために利用できる情報(バイタルデータ)を取得できる機器であれば、どのような機器でもよい。サーバ10は、実施形態1のサーバ10と同様の構成を有するので、サーバ10の構成については説明を省略する。
ユーザ(対象者)の虹彩画像に加えて、ユーザのバイタルデータを取得する計測器による計測結果に基づいて、ユーザの健康状態を判定(推定)する情報処理システムについて説明する。本実施形態の情報処理システムは、サーバ10及びユーザ端末20に加えて、ユーザのバイタルデータを取得する計測器30(図11参照)を含む。ユーザ端末20及び計測器30は、例えば近距離無線通信機能によって通信することができる。なお、ユーザ端末20と計測器30との間は有線で接続されていてもよい。計測器30は、例えば、血圧、脈拍、脈圧、歩数、走行距離等を含むバイタルデータを計測することができ、例えば腕時計型のウェアラブルデバイスである。計測器30は、ユーザの健康状態を判定するために利用できる情報(バイタルデータ)を取得できる機器であれば、どのような機器でもよい。サーバ10は、実施形態1のサーバ10と同様の構成を有するので、サーバ10の構成については説明を省略する。
図11は、実施形態3のユーザ端末20の構成例を示すブロック図である。本実施形態のユーザ端末20は、図2に示す実施形態1のユーザ端末20の構成に加えて、計測器通信部27を有する。計測器通信部27は、有線通信又は無線通信によって計測器30との間で通信するための通信モジュールであり、計測器30との間で情報の送受信を行う。計測器通信部27は、無線通信を行う場合、例えばBluetooth(登録商標)、Wi-Fi(登録商標)、RFID(Radio Frequency Identifier)等の無線通信規格による通信を行う。
図12は、実施形態3のユーザDB12aの構成例を示す模式図である。本実施形態のユーザDB12aは、図3Aに示す実施形態1のユーザDB12aにおいて、肌画像列の代わりにバイタルデータ列を有する。バイタルデータ列は、サーバ10がユーザ端末20から受信したバイタルデータを記憶し、バイタルデータは例えば計測器30によって取得されたデータである。なお、バイタルデータは、ユーザDB12aに記憶されるほかに、記憶部12の所定領域又は他の記憶装置に記憶されてもよく、この場合、バイタルデータ列は、バイタルデータを読み出すための情報(例えばデータの記憶場所を示すファイル名)を記憶する。本実施形態のユーザDB12aの記憶内容は図12に示す例に限定されない。
本実施形態の情報処理システムでは、ユーザは、ユーザ端末20を用いて自身の顔画像を撮影すると共に、計測器30が計測した自身のバイタルデータを取得してサーバ10へ送信する。サーバ10は、ユーザ端末20から受信した顔画像及びバイタルデータに基づいてユーザの健康状態を判定する。その際、サーバ10は、顔画像からユーザの虹彩画像を抽出し、抽出した虹彩画像及び/又はバイタルデータに基づいてユーザの健康状態を判定する。
以下に、本実施形態のサーバ10が、ユーザの虹彩画像又はバイタルデータから健康状態を判定してユーザに提供する処理について説明する。図13は実施形態3の健康状態の判定処理手順の一例を示すフローチャート、図14は画面例を示す模式図である。図13に示す処理は、図6に示す処理において、ステップS22の代わりにステップS41~S42を追加し、ステップS23の前にステップS43を追加し、ステップS24を削除したものである。図6と同じステップについては説明を省略する。
本実施形態のユーザ端末20は、制御部21が健康管理アプリ22APを起動させた場合、図14Aに示すような初期画面を表示部25に表示する。図14Aに示す初期画面は、図7Aに示す構成に加えて、バイタルデータを計測器30から取得して入力するための「計測器から取得」ボタンと、バイタルデータを入力画面から入力するための「入力画面から入力」ボタンとを有する。初期画面において、ユーザが「計測器から取得」ボタンを操作した場合、制御部21は、計測器30にて計測済みのユーザのバイタルデータを取得し、取得したバイタルデータを表示する表示画面(図示せず)を表示部25に表示してユーザに通知する。なお、制御部21は、取得したバイタルデータを表示させずに、サーバ10への送信対象に決定してもよい。初期画面において、ユーザが「入力画面から入力」ボタンを操作した場合、制御部21は、バイタルデータの入力画面(図示せず)を表示部25に表示し、ユーザによる入力を受け付ける。この場合、制御部21は、入力画面を介してユーザのバイタルデータを取得する。
従って、本実施形態のユーザ端末20では、制御部21は、初期画面を介してユーザの顔画像を取得し(S21)、ユーザのバイタルデータを取得する(S41)。なお、制御部21は、初期画面を介してユーザの体調(健康状態)に関する情報を取得してもよい。そして、制御部21は、初期画面において送信ボタンが操作された場合、取得した顔画像及びバイタルデータをユーザIDと共にサーバ10へ送信する(S42)。なお、初期画面を介してユーザの体調に関する情報が入力されていた場合、制御部21は、顔画像及びバイタルデータと共に体調に関する情報をサーバ10へ送信する。
サーバ10の制御部11は、ユーザ端末20から顔画像及びバイタルデータを受信した場合、受信したバイタルデータをユーザIDに対応付けてユーザDB12aに記憶する(S43)。ここでは制御部11は、ユーザIDに対応する日時列に、顔画像及びバイタルデータを受信した日時又は顔画像が撮影された日時を記憶し、バイタルデータ列に、受信したバイタルデータを記憶する。次に制御部11は、ユーザ端末20から受信した顔画像からユーザの虹彩画像を抽出し、ユーザIDに対応付けてユーザDB12aに記憶する(S23)。そして制御部11は、ユーザ端末20から受信したバイタルデータ、及び/又は、ステップS23で抽出した虹彩画像に基づいて、ユーザの健康状態を判定し、判定結果をユーザIDに対応付けてユーザDB12aに記憶する(S25)。ここでは、制御部11は、虹彩画像に基づいて健康状態を判定する処理と、バイタルデータに基づいて健康状態を判定する処理とを行い、いずれかの判定結果をユーザの健康状態としてもよく、それぞれの判定結果に基づいて総合的にユーザの健康状態を判定してもよい。
バイタルデータに基づいて健康状態を判定する処理では例えば、複数の健康状態のそれぞれに対応付けて、それぞれの健康状態の場合にバイタルデータに出現する特徴情報を予め記憶部12に登録しておき、制御部11は、バイタルデータの特徴情報に対応する健康状態を特定する。ここでも制御部11は、機械学習によって構築されたニューラルネットワークを用いて、バイタルデータから健康状態を判定してもよい。例えばCNNで構成され、バイタルデータが入力された場合に、ユーザの健康状態を出力するように学習された学習モデルを用いることができる。この場合、制御部11は、バイタルデータを学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ユーザの健康状態を特定することができる。なお、ユーザ端末20から受信したユーザの体調に関する情報も考慮してユーザの健康状態を判定してもよい。
その後、サーバ10の制御部11及びユーザ端末20の制御部21は、ステップS26~S29の処理を行う。これにより、ユーザ端末20は、図14Bに示すような判定結果画面を表示部25に表示し、ユーザの虹彩画像又はバイタルデータから判定された健康状態と、健康状態に応じたアドバイスとをユーザに通知できる。上述した処理により、本実施形態では、ユーザは、ユーザ端末20を用いて自身の顔画像を撮影し、計測器30によって自身のバイタルデータを取得してサーバ10へ送信することにより、サーバ10から自身の健康状態及びアドバイスを得ることができる。
本実施形態において、生体データは、ユーザに装着等した計測器30によって計測されるバイタルデータのほかに、ユーザの汗、尿、血液、便(腸内細菌)、唾液、涙等から得られる各種の計測結果を用いてもよい。例えばトイレの便器にバイオセンサを設けておき、バイオセンサによって計測した尿pH、尿量、尿に含まれる各種成分の量、便に含まれる各種成分又は細菌の量等を生体データに用いてもよい。また、汗、血液、唾液又は涙に含まれる各種成分の量を計測する計測器を用い、計測器による計測結果を生体データに用いてもよい。また、医療機関等で行った健康診断で得られた検査結果を生体データに用いてもよい。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザの虹彩画像に加えてバイタルデータに基づいて健康状態を判定するので、より精度の高い判定結果が得られる。なお、本実施形態において、虹彩画像及びバイタルデータから健康状態を判定する際に、図9に示す学習モデル12M1において、肌データの代わりにバイタルデータが入力される構成の学習モデルを使用してもよい。具体的には、虹彩画像及びバイタルデータが入力された場合に、このユーザの健康状態に関する情報(判別確率)を出力する学習モデルを使用できる。このような学習モデルは、図13に示す処理によってユーザDB12aに蓄積した虹彩画像、バイタルデータ及び健康状態のセットを訓練データとして用いて生成することができる。このような学習モデルを用いる場合、サーバ10の制御部11は、ユーザの虹彩画像及びバイタルデータを学習モデルに入力し、学習モデルからの出力情報に基づいて、ユーザの健康状態を判定できる。また、本実施形態の構成は実施形態2の情報処理システムにも適用でき、実施形態2の情報処理システムに適用した場合であっても同様の効果が得られる。更に、本実施形態の情報処理システムにおいて、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態4)
ユーザ(対象者)の虹彩画像に基づいて、ユーザが飼育しているペット(例えば犬)の健康状態を判定(推定)する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10の記憶部12に記憶してあるユーザDB12aは、実施形態1のユーザDB12aの構成と若干異なる。また、本実施形態のサーバ10の記憶部12は、健康状態対応付けDBを記憶する。
ユーザ(対象者)の虹彩画像に基づいて、ユーザが飼育しているペット(例えば犬)の健康状態を判定(推定)する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10の記憶部12に記憶してあるユーザDB12aは、実施形態1のユーザDB12aの構成と若干異なる。また、本実施形態のサーバ10の記憶部12は、健康状態対応付けDBを記憶する。
図15はサーバ10が記憶するDBの構成例を示す模式図である。図15Aは実施形態4のユーザDB12aを、図15Bは健康状態対応付けDBをそれぞれ示す。本実施形態のユーザDB12aは、図3Aに示す実施形態1のユーザDB12aの構成に加えて、ペット情報列及びペット判定結果列を有する。ペット情報列は、ユーザが飼育しているペットの種類(例えば犬種)、年齢、性別、体長等を含むペット情報を記憶する。ペット判定結果列は、ユーザ端末20から送信されてきたユーザの顔画像に基づいてペットの健康状態を判定した判定結果を記憶する。具体的には、ペット判定結果列は、健康状態列及びアドバイス列を含む。健康状態列は、ユーザ(飼い主)の虹彩画像に基づいて判定されたユーザの健康状態に基づいて判定(推定)されたペットの健康状態を記憶し、アドバイス列は、ペットの健康状態に応じてユーザに提供されたアドバイスを記憶する。なお、ユーザ(飼い主)の健康状態とペットの健康状態との対応関係は健康状態対応付けDBに記憶されており、ペットの健康状態の判定結果に応じてユーザに提供されるアドバイスに関する情報を記憶するペット用のアドバイスDB(図示せず)は記憶部12に記憶されている。健康状態列にはペットの健康情報に割り当てられた識別情報(健康状態ID)が記憶され、アドバイス列にはペット用のアドバイスに割り当てられた識別情報(アドバイスID)が記憶される。ペット情報は、制御部11が通信部13又は入力部14を介して追加指示又は修正指示を取得した場合に制御部11によって追加又は修正される。ペット判定結果は、制御部11がユーザの健康状態に基づいてペットの健康状態を判定した場合に制御部11によって健康状態が記憶され、制御部11がユーザに提供すべきアドバイスを特定した場合に制御部11によってアドバイスが記憶される。本実施形態のユーザDB12aの記憶内容は図15Aに示す例に限定されない。
図15Bに示す健康状態対応付けDBは、対応IDに対応付けて、飼い主の健康状態を示す健康状態IDと、ペットの健康状態を示す健康状態IDとが登録されている。なお、飼い主の健康状態とペットの健康状態との間には相関関係があると考えられており、飼い主の健康状態のそれぞれと、飼い主がそれぞれの健康状態のときにペットに出現する可能性の高いペットの健康状態(相関が高い健康状態)とが対応付けて登録される。健康状態対応付けDBに記憶される対応IDは、新たな健康状態のセットが登録された場合に、制御部11によって発行されて記憶される。健康状態対応付けDBに記憶される飼い主の健康状態及びペットの健康状態は、制御部11が通信部13又は入力部14を介して各情報の追加指示又は修正指示を取得した場合に制御部11によって追加又は修正される。
以下に、本実施形態のサーバ10が、ユーザの健康状態及びペットの健康状態を判定してユーザに提供する処理について説明する。図16は実施形態4の健康状態の判定処理手順の一例を示すフローチャート、図17は画面例を示す模式図である。図16に示す処理は、図6に示す処理において、ステップS26,S27の間にステップS51~S53を追加したものである。図6と同じステップについては説明を省略する。
本実施形態のユーザ端末20の制御部21及びサーバ10の制御部11は、図6に示したステップS21~S26の処理を行う。これにより、ユーザ端末20の制御部21は、ユーザの顔画像を撮影してサーバ10へ送信する。サーバ10の制御部11は、ユーザ端末20から受信した顔画像から虹彩画像及び肌画像を抽出し、抽出した虹彩画像又は肌画像に基づいてユーザの健康状態を判定し、判定結果に応じたアドバイスを生成する。また制御部11は、虹彩画像、肌画像、健康状態及びアドバイスをユーザIDに対応付けてユーザDB12aに記憶しておく。なお、本実施形態のユーザ端末20では、制御部21が健康管理アプリ22APを起動させた場合、図17Aに示すような初期画面を表示部25に表示する。図17Aに示す初期画面は、図7Aに示す初期画面の構成に加えて、ペットの健康状態も判定するか否かを指示するためのチェックボックスを有する。よって、ユーザは、自身の健康状態だけでなくペットの健康状態の判定及びアドバイスを受けたい場合、チェックボックスをチェックする。よって、ユーザ端末20の制御部21は、ユーザの顔画像及び体調に関する情報をサーバ10へ送信する際に、チェックボックスがチェックされていれば、ペットの健康状態を要求する要求情報もサーバ10へ送信する。
よって、サーバ10の制御部11は、ユーザ端末20から、ペットの健康状態に関する情報も要求されたか否かを判断する(S51)。具体的には、制御部11は、ユーザ端末20から受信した情報に、ペットの健康状態を要求する要求情報が含まれる場合、ペットの健康状態に関する情報も要求されたと判断する。ペットの健康状態に関する情報を要求されていないと判断した場合(S51:NO)、制御部11は、ステップS27の処理に移行する。ペットの健康状態に関する情報を要求されたと判断した場合(S51:YES)、制御部11は、例えば健康状態対応付けDBの登録内容に基づいて、ステップS25で判定したユーザ(飼い主)の健康状態から、ペットの健康状態を判定し、判定結果をユーザIDに対応付けてユーザDB12aに記憶する(S52)。健康状態対応付けDBには、飼い主がそれぞれの健康状態のときにペットに出現する可能性の高いペットの健康状態が登録されているので、健康状態対応付けDBを用いることにより、飼い主の健康状態からペットの健康状態を推定することができる。
なお、制御部11は、飼い主の健康状態の代わりに、ステップS23で抽出した飼い主の虹彩画像、又は、ステップS24で抽出した飼い主の肌画像に基づいて、ペットの健康状態を推定してもよい。この場合、機械学習によって構築されたニューラルネットワークを用いて、ユーザの虹彩画像又は肌画像からペットの健康状態を判定してもよい。例えばCNNで構成され、ユーザの虹彩画像又は肌画像が入力された場合に、ペットの健康状態を出力するように学習された学習モデルを用いることができる。この場合、制御部11は、ユーザの虹彩画像又は肌画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ペットの健康状態を特定することができる。
次に制御部11は、判定したペットの健康状態に応じたペット用のアドバイスを特定し、特定結果をユーザIDに対応付けてユーザDB12aに記憶する(S53)。ここでは、制御部11は、ペットの健康状態に対応するアドバイスを、ペット用のアドバイスDB(図示せず)に登録してあるアドバイスの中から特定し、特定したアドバイスのアドバイスIDをユーザDB12aに記憶する。その後、サーバ10の制御部11及びユーザ端末20の制御部21は、ステップS27~S29の処理を行う。これにより、サーバ10は、図17Bに示すような判定結果画面を生成してユーザ端末20へ送信し、ユーザ端末20は、受信した判定結果画面を表示部25に表示してユーザに通知する。図17Bに示す判定結果画面は、ユーザの顔画像(虹彩領域又は肌領域)に基づいて判定されたユーザの健康状態及びアドバイス内容と、ユーザの健康状態に基づいて判定されたペットの健康状態及びペット用のアドバイス内容とを表示する。このような判定結果画面を表示することにより、ユーザ端末20は、ユーザの健康状態及びアドバイスに加えて、ペットの健康状態及びアドバイスをユーザに通知することができる。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザは、ユーザ端末20を用いて自身の顔画像を撮影してサーバ10へ送信することによって、自身の健康状態及びアドバイスだけでなく、ペットの健康状態及びアドバイスを得ることができる。
また、本実施形態の構成は実施形態2~3の情報処理システムにも適用でき、実施形態2~3の情報処理システムに適用した場合であっても同様の効果が得られる。なお、本実施形態の構成を実施形態3の情報処理システムに適用した場合、ユーザの虹彩画像及びバイタルデータに基づいて判定されたユーザの健康状態から、ペットの健康状態を判定するように構成することができる。また、このような構成において、ユーザの虹彩画像、バイタルデータ及びペットの健康状態のセットを訓練データとして用いた学習処理を行うことにより、ユーザの虹彩画像及びバイタルデータが入力された場合にペットの健康状態に関する情報を出力する学習モデルを生成することができる。また、本実施形態の情報処理システムにおいて、上述した各実施形態で適宜説明した変形例の適用が可能である。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
10 サーバ
11 制御部
12 記憶部
13 通信部
20 ユーザ端末
21 制御部
22 記憶部
23 通信部
30 計測器
12a ユーザDB
12b 健康状態DB
12c アドバイスDB
11 制御部
12 記憶部
13 通信部
20 ユーザ端末
21 制御部
22 記憶部
23 通信部
30 計測器
12a ユーザDB
12b 健康状態DB
12c アドバイスDB
Claims (14)
- 対象者の虹彩を撮影した虹彩画像と、前記対象者の前記虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得し、
取得した訓練データを用いて、虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力する学習モデルを生成する
処理をコンピュータが実行する学習モデルの生成方法。 - 前記生体データは、前記対象者の肌に関する肌データを含み、
前記虹彩画像と、前記肌データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得する
処理を前記コンピュータが実行する請求項1に記載の学習モデルの生成方法。 - 前記生体データは、前記対象者の生体に関するデータを計測する計測器による計測結果を含み、
前記虹彩画像と、前記計測器による計測結果に基づいて判定された前記対象者の健康状態とを含む訓練データを取得する
処理を前記コンピュータが実行する請求項1又は2に記載の学習モデルの生成方法。 - 前記対象者の虹彩画像及び生体データと、前記対象者の健康状態とを含む訓練データを取得し、
取得した訓練データを用いて、虹彩画像及び生体データが入力された場合に前記対象者の健康状態に関する情報を出力する学習モデルを生成する
処理を前記コンピュータが実行する請求項1から3までのいずれかひとつに記載の学習モデルの生成方法。 - 対象者の虹彩を撮影した虹彩画像を取得し、
虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力するように学習された学習モデルに、取得した虹彩画像を入力し、前記虹彩画像の対象者の健康状態を判定する
処理をコンピュータが実行する情報処理方法。 - 前記対象者の前記虹彩画像以外の生体データを取得し、
虹彩画像及び生体データが入力された場合に前記対象者の健康状態に関する情報を出力するように学習された学習モデルに、取得した虹彩画像及び生体データを入力し、前記対象者の健康状態を判定する
処理を前記コンピュータが実行する請求項5に記載の情報処理方法。 - 前記生体データは、前記対象者の肌に関する肌データを含み、
前記学習モデルに、取得した虹彩画像及び肌データを入力し、前記対象者の健康状態を判定する
処理を前記コンピュータが実行する請求項6に記載の情報処理方法。 - 前記生体データは、前記対象者の生体に関するデータを計測する計測器による計測結果を含み、
前記学習モデルに、取得した虹彩画像及び計測器による計測結果を入力し、前記対象者の健康状態を判定する
処理を前記コンピュータが実行する請求項6又は7に記載の情報処理方法。 - 判定した健康状態に応じたアドバイスを出力する
処理を前記コンピュータが実行する請求項5から8までのいずれかひとつに記載の情報処理方法。 - 前記対象者の顔を撮影した顔画像を取得し、
取得した顔画像から前記対象者の虹彩に対応する虹彩領域を抽出し、
抽出した虹彩領域を前記学習モデルに入力し、前記対象者の健康状態を判定する
処理を前記コンピュータが実行する請求項5から9までのいずれかひとつに記載の情報処理方法。 - 前記対象者の虹彩画像に基づいて、前記対象者が飼育するペットの健康状態を推定する
処理を前記コンピュータが実行する請求項5から10までのいずれかひとつに記載の情報処理方法。 - 前記学習モデルは、対象者の虹彩画像と、前記対象者の前記虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを用いて生成された学習モデルである
請求項5から11までのいずれかひとつに記載の情報処理方法。 - 対象者を撮影する撮影装置から、前記対象者の虹彩を撮影した虹彩画像と、前記対象者の肌に関する肌データとを取得し、
取得した虹彩画像及び肌データに基づいて、前記対象者の健康状態を判定し、
判定結果を出力する
処理をコンピュータが実行する情報処理方法。 - 対象者の虹彩を撮影した虹彩画像を取得し、
虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力するように学習された学習モデルに、取得した虹彩画像を入力し、前記虹彩画像の対象者の健康状態を判定する
処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021000221A JP2022105426A (ja) | 2021-01-04 | 2021-01-04 | 学習モデルの生成方法、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021000221A JP2022105426A (ja) | 2021-01-04 | 2021-01-04 | 学習モデルの生成方法、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022105426A true JP2022105426A (ja) | 2022-07-14 |
Family
ID=82362589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021000221A Pending JP2022105426A (ja) | 2021-01-04 | 2021-01-04 | 学習モデルの生成方法、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022105426A (ja) |
-
2021
- 2021-01-04 JP JP2021000221A patent/JP2022105426A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961620B2 (en) | Method and apparatus for determining health status | |
CN114502061B (zh) | 使用深度学习的基于图像的自动皮肤诊断 | |
US10219736B2 (en) | Methods and arrangements concerning dermatology | |
JP6647583B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP6383321B2 (ja) | 診断支援システム | |
US20140313303A1 (en) | Longitudinal dermoscopic study employing smartphone-based image registration | |
CN109492595B (zh) | 适用于固定群体的行为预测方法和系统 | |
KR20210083478A (ko) | 모바일기반 자가 구강검진장치 | |
US20200372639A1 (en) | Method and system for identifying skin texture and skin lesion using artificial intelligence cloud-based platform | |
US20240008813A1 (en) | Smart wearable device and method for estimating traditional medicine system parameters | |
KR20200046162A (ko) | 딥러닝과 빅데이터를 이용한 치주질환관리시스템 | |
WO2020169214A1 (en) | Machine-implemented beauty assistant for predicting face aging | |
US20240138780A1 (en) | Digital kiosk for performing integrative analysis of health and disease condition and method thereof | |
CN112741620A (zh) | 基于肢体动作的颈椎病评估装置 | |
WO2023189309A1 (ja) | コンピュータプログラム、情報処理方法及び情報処理装置 | |
JP2022105426A (ja) | 学習モデルの生成方法、情報処理方法及びプログラム | |
JP2001128958A (ja) | アイリス・アイリドロジ健康診断管理システム | |
CN115317304A (zh) | 一种基于生理特征检测的智能按摩方法及系统 | |
KR20200004939A (ko) | 스마트 폰 기반의 홍채를 통한 건강 관리 방법 및 장치 | |
US20240257981A1 (en) | Method and apparatus for determining health status | |
JP7457496B2 (ja) | データ管理装置、データ管理方法およびデータ管理プログラム | |
TWM597498U (zh) | 具生物識別功能的生理量測裝置與系統 | |
KR20240058233A (ko) | 인공지능(ai)를 이용한 치주질환 관리 시스템 | |
CN117649953A (zh) | 基于移动医疗工作站的远程诊疗方法和系统 | |
KR20210101383A (ko) | 딥러닝을 이용한 피부질환 판단 시스템 및 방법 |