JP2022105426A - 学習モデルの生成方法、情報処理方法及びプログラム - Google Patents

Abstract

【課題】虹彩から健康状態を判定する際の判定精度を向上させることが可能な学習モデルの生成方法等を提供する。【解決手段】コンピュータは、対象者の虹彩を撮影した虹彩画像と、前記対象者の虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得する。そして、コンピュータは、取得した訓練データを用いて、虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力する学習モデルを生成する。【選択図】図１

Description

本開示は、学習モデルの生成方法、情報処理方法及びプログラムに関する。

特許文献１では、虹彩を人体の各器官に対応する領域に区画した虹彩構造マップデータを用いて、対象者の眼球を撮影した画像中の虹彩領域から、対象者の各器官の健康状態や心理状態等を診断する装置が開示されている。

特開２００８－１８８２０１号公報

しかし、虹彩は日々の生活で傷がついたり修復したりを繰り返しているので、健康状態や心理状態の影響がどのように虹彩の状態に反映されているのかを判断することは難しい。従って、虹彩の状態から健康状態や心理状態を判定する際の判定精度の向上が求められている。

本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、虹彩から健康状態を判定する際の判定精度を向上させることを可能にする学習モデルの生成方法等を提供することにある。

本開示の一態様に係る学習モデルの生成方法は、対象者の虹彩を撮影した虹彩画像と、前記対象者の前記虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得し、取得した訓練データを用いて、虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力する学習モデルを生成する処理をコンピュータが実行する。

本開示の一態様にあっては、虹彩から健康状態を判定する際の判定精度を向上させることを可能にする。

情報処理システムの構成例を示す模式図である。 情報処理システムの内部構成例を示すブロック図である。 サーバが記憶するＤＢの構成例を示す模式図である。 学習モデルの構成例を示す模式図である。 学習モデルの生成処理手順の一例を示すフローチャートである。 健康状態の判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 健康状態の判定処理の説明図である。 学習モデルの他の構成例を示す模式図である。 実施形態２の健康状態の判定処理手順の一例を示すフローチャートである。 実施形態３のユーザ端末の構成例を示すブロック図である。 実施形態３のユーザＤＢの構成例を示す模式図である。 実施形態３の健康状態の判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 サーバが記憶するＤＢの構成例を示す模式図である。 実施形態４の健康状態の判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。

以下に、本開示の学習モデルの生成方法、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて説明する。

（実施形態１）
ユーザ（対象者）の虹彩を撮影した虹彩画像に基づいて、ユーザの健康状態を判定（推定）する情報処理システムについて説明する。図１は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、サーバ１０及びユーザ端末２０等を含み、サーバ１０及びユーザ端末２０はインターネット等のネットワークＮに接続され、ネットワークＮを介して情報の送受信を行う。

サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータを用いて構成される。サーバ１０は、複数台設けられて分散処理する構成でもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。ユーザ端末２０は、サーバ１０が提供する健康管理サービスを利用するユーザの端末であり、複数台設けられている。ユーザ端末２０は、スマートフォン、タブレット端末、パーソナルコンピュータ等の情報処理装置を用いて構成されるが、専用の端末によって構成されていてもよい。

本実施形態の情報処理システムにおいて、ユーザは、ユーザ端末２０を用いて自身の顔画像を撮影してサーバ１０へ送信する。ユーザ端末２０は、ネットワークＮ経由で顔画像をサーバ１０へ送信し、サーバ１０は、受信した顔画像に基づいてユーザの健康状態を判定する。その際、サーバ１０は、顔画像からユーザの虹彩の領域（虹彩画像）を抽出し、抽出した虹彩画像に基づいてユーザの健康状態を判定する。そしてサーバ１０は、判定した健康状態をユーザ（ユーザ端末２０）に提供する。なお、サーバ１０は、虹彩画像に加えて、ユーザの顔画像からユーザの肌の領域（肌画像）を抽出し、虹彩画像及び肌画像に基づいてユーザの健康状態を判定してもよい。なお、ユーザ端末２０は、ユーザの虹彩（眼）と肌（例えば頬又は額等）とをそれぞれ撮影し、得られた虹彩画像及び肌画像をサーバ１０へ送信してもよい。

図２は情報処理システムの内部構成例を示すブロック図である。サーバ１０は、端末全体を制御する制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを有する。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき種々の情報処理及び制御処理等を行う。記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、例えば機械学習によって訓練データを学習済みの学習モデル１２Ｍ、後述するユーザＤＢ（データベース）１２ａ、健康状態ＤＢ１２ｂ、アドバイスＤＢ１２ｃを記憶している。学習モデル１２Ｍは、ユーザの虹彩画像が入力された場合に、ユーザの健康状態を出力するように学習された学習済みモデルである。学習モデル１２Ｍは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル１２Ｍは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数や閾値等のデータが学習モデル１２Ｍとして記憶される。ユーザＤＢ１２ａ、健康状態ＤＢ１２ｂ及びアドバイスＤＢ１２ｃは、サーバ１０に接続された他の記憶装置に記憶されてもよく、サーバ１０が通信可能な他の記憶装置に記憶されてもよい。

通信部１３は、有線通信又は無線通信によって、ネットワークＮに接続するための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

ユーザ端末２０は、端末全体を制御する制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５のそれぞれは、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５と同様の構成であるので詳細な説明は省略する。なお、ユーザ端末２０の記憶部２２は、制御部２１が実行する制御プログラム２２Ｐに加え、サーバ１０が提供する健康管理サービスを利用するためのアプリケーションプログラム（以下では健康管理アプリ２２ＡＰという）を記憶している。

カメラ２６は、制御部２１からの指示に従って撮影する撮影装置であり、取得した撮影画像（画像データ）を記憶部２２へ送出して記憶させる。カメラ２６は、ユーザ端末２０に内蔵されていてもよく、ユーザ端末２０に外付けされていてもよい。外付けされる場合、ユーザ端末２０は、外部カメラの接続が可能な接続部、又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。

図３は、サーバ１０が記憶するＤＢ１２ａ～１２ｃの構成例を示す模式図である。図３ＡはユーザＤＢ１２ａを、図３Ｂは健康状態ＤＢ１２ｂを、図３ＣはアドバイスＤＢ１２ｃをそれぞれ示す。ユーザＤＢ１２ａは、サーバ１０が提供する健康管理サービスを利用するためにユーザ登録したユーザに関する情報を記憶する。図３Ａに示すユーザＤＢ１２ａは、ユーザＩＤ列、ユーザ情報列、判定結果列等を含み、ユーザＩＤに対応付けてユーザに関する情報を記憶する。ユーザＩＤ列は、各ユーザを識別するための識別情報（ユーザＩＤ）を記憶する。ユーザ情報列は、ユーザの氏名及び連絡先の情報等の個人情報、ユーザの年齢及び性別等の属性情報を含むユーザ情報を記憶する。なお、ユーザ情報に、ユーザの身長、体重、体脂肪率、血圧及び平熱等の生体情報、ユーザの既往歴、医療機関等で行った各種の検査結果、治療内容、リハビリ内容、服用中の薬等の健康情報等を含めてもよい。判定結果列は、ユーザの虹彩画像、虹彩画像に基づいて健康状態を判定した判定結果等を記憶する。具体的には、判定結果列は、日時列、虹彩画像列、肌画像列、健康状態列及びアドバイス列を含む。日時列は、例えばサーバ１０がユーザ端末２０から顔画像を受信した日時、又はユーザ端末２０で顔画像が撮影された日時を記憶する。虹彩画像列及び肌画像列はそれぞれ、サーバ１０がユーザ端末２０から受信した顔画像から抽出された虹彩領域（虹彩画像）及び肌領域（肌画像）を記憶する。なお、虹彩画像及び肌画像は、ユーザＤＢ１２ａに記憶されるほかに、記憶部１２の所定領域又は他の記憶装置に記憶されてもよく、この場合、虹彩画像列及び肌画像列のそれぞれは、虹彩画像及び肌画像を読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。健康状態列は、虹彩画像又は肌画像に基づいて判定された健康状態を記憶し、アドバイス列は、健康状態に応じてユーザに提供されたアドバイスを記憶する。なお、健康状態列にはそれぞれの健康情報に割り当てられた識別情報（健康状態ＩＤ）が記憶され、アドバイス列にはそれぞれのアドバイスに割り当てられた識別情報（アドバイスＩＤ）が記憶される。ユーザＤＢ１２ａに記憶されるユーザＩＤは、新たなユーザが登録された場合に、制御部１１によって発行されて記憶される。ユーザＤＢ１２ａに記憶されるユーザ情報は、制御部１１が通信部１３又は入力部１４を介して各情報の追加指示又は修正指示を取得した場合に制御部１１によって追加又は修正される。ユーザＤＢ１２ａに記憶される判定結果は、制御部１１が通信部１３を介してユーザ端末２０から顔画像を取得した場合に、制御部１１によって日時が記憶され、制御部１１が顔画像から虹彩画像及び肌画像を抽出した場合に制御部１１によって虹彩画像及び肌画像が記憶される。また、制御部１１が虹彩画像又は肌画像に基づいて健康状態を判定した場合に制御部１１によって健康状態が記憶され、制御部１１がユーザに提供すべきアドバイスを特定した場合に制御部１１によってアドバイスが記憶される。ユーザＤＢ１２ａの記憶内容は図３Ａに示す例に限定されない。

健康状態ＤＢ１２ｂは、サーバ１０がユーザの虹彩画像から判定する健康状態に関する情報を記憶する。図３Ｂに示す健康状態ＤＢ１２ｂは、健康状態ＩＤ列及び健康状態列等を含み、健康状態ＩＤに対応付けて健康状態を示す情報を記憶する。健康状態ＩＤ列は、予め設定された各健康状態を識別するための識別情報（健康状態ＩＤ）を記憶する。健康状態列は、健康状態の内容を示す情報を記憶する。健康状態ＤＢ１２ｂに記憶される健康状態ＩＤは、新たな健康状態が登録された場合に、制御部１１によって発行されて記憶される。健康状態ＤＢ１２ｂに記憶される健康状態は、制御部１１が入力部１４又は通信部１３を介して追加指示又は修正指示を取得した場合に制御部１１によって追加又は修正される。健康状態ＤＢ１２ｂの記憶内容は図３Ｂに示す例に限定されず、例えば各健康状態に対する注意事項等、それぞれの健康状態に関する情報が記憶されていてもよい。

アドバイスＤＢ１２ｃは、健康状態の判定結果に応じてユーザに提供されるアドバイスに関する情報を記憶する。図３Ｃに示すアドバイスＤＢ１２ｃは、アドバイスＩＤ列、アドバイス内容列、健康状態ＩＤ列等を含み、アドバイスＩＤに対応付けてアドバイスに関する情報を記憶する。アドバイスＩＤ列は、予め設定された各アドバイスを識別するための識別情報（アドバイスＩＤ）を記憶する。アドバイス内容列は、ユーザの健康状態に応じてユーザに提供すべきアドバイスの内容を示す情報を記憶する。アドバイスは、医師、看護師、薬剤師、保健師、管理栄養士、心理相談員、運動指導士等の専門家が、ユーザの健康状態を参考にして設定した内容であってもよい。健康状態ＩＤ列は、各アドバイスを提供すべきユーザの健康状態の健康状態ＩＤを記憶する。本実施形態のアドバイスＤＢ１２ｃでは、アドバイス内容と健康状態ＩＤとが対応付けて記憶されるので、健康状態に応じてユーザに提供すべきアドバイス内容が設定されて登録される。アドバイスＤＢ１２ｃに記憶されるアドバイスＩＤは、新たなアドバイスが登録された場合に、制御部１１によって発行されて記憶される。アドバイスＤＢ１２ｃに記憶されるアドバイス内容及び健康状態ＩＤは、制御部１１が入力部１４又は通信部１３を介して各情報を取得した場合に制御部１１によって記憶される。アドバイスＤＢ１２ｃの記憶内容は図３Ｃに示す例に限定されない。アドバイスＤＢ１２ｃに記憶されるアドバイスは、食事、運動又は入浴等の生活習慣に関する内容、化粧品、サプリメント、漢方薬、ハーブ等の摂取又は購入に関する内容、アロマオイルの使用方法に関する内容等であってもよい。

図４は学習モデル１２Ｍの構成例を示す模式図である。学習モデル１２Ｍは、ユーザの虹彩画像を入力とし、入力された虹彩画像に基づいてユーザ（被写体）の健康状態に関する情報を出力するように学習された学習済みモデルである。学習モデル１２Ｍは例えばＣＮＮ（Convolution Neural Network）を用いて構成される。なお、学習モデル１２Ｍは、ＣＮＮのほかに、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。サーバ１０は、所定の訓練データを学習する機械学習を行って学習モデル１２Ｍを事前に生成しておく。サーバ１０は、ユーザ端末２０から取得したユーザの顔画像から抽出した虹彩画像を学習モデル１２Ｍに入力し、学習モデル１２Ｍからの出力情報に基づいてユーザの健康状態を判定する。

学習モデル１２Ｍは、入力層、中間層及び出力層から構成されている。本実施形態の学習モデル１２Ｍには、入力層の入力ノードを介してユーザの虹彩画像が入力される。入力層の各入力ノードには虹彩画像の各画素がそれぞれ入力される。中間層は、所定の関数及び重み付け係数等を用いて、入力された虹彩画像に対してフィルタ処理及び圧縮処理等の所定の演算を行って出力値を算出し、算出した出力値を出力層から出力する。なお、例えば中間層が複数の層を有する場合、各層のノードは、各層間の関数及び重み付け係数等を用いて、入力された虹彩画像に基づく出力値を算出し、算出した出力値を順次後の層のノードに入力する。中間層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各出力ノードにそれぞれの出力値を与える。本実施形態の学習モデル１２Ｍでは、出力層は複数の出力ノードを有しており、それぞれの出力ノードは、例えば健康状態ＤＢ１２ｂに登録してある健康状態のそれぞれに対する判別確率を出力する。例えばそれぞれの出力ノードは、健康状態ＩＤがＨ０１，Ｈ０２，…の健康状態に対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、それぞれの出力ノードに対応付けられた健康状態が、入力された虹彩画像のユーザに最適である可能性（確率）を示す。出力層の各出力ノードの出力値は例えば０～１の値であり、各出力ノードから出力される判別確率の合計が１．０となる。上述した構成により、学習モデル１２Ｍは、ユーザの虹彩画像が入力された場合に、ユーザの健康状態に係る情報（各健康状態に対する判別確率）を出力する。

サーバ１０は、上述した学習モデル１２Ｍにおいて、出力層からの出力値のうちで最大の出力値（判別確率）を出力した出力ノードを特定し、特定した出力ノードに対応する健康状態を、ユーザの健康状態に特定する。なお、学習モデル１２Ｍの出力層は、それぞれの健康状態に対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い健康状態（健康状態ＩＤ）を出力する１個の出力ノードを有する構成でもよい。

学習モデル１２Ｍは、ユーザの虹彩画像に対して、ユーザの健康状態を示す情報（正解ラベル）が付与された訓練データを用いて学習する。正解ラベルの健康状態は、例えばユーザの虹彩画像以外の生体データに基づいて判定されたユーザの健康状態を用いることができる。虹彩画像以外の生体データは、例えばユーザの肌画像、肌画像から特定された肌の状態を示す肌データ、ユーザの頭髪を撮影した頭髪画像、頭髪画像から特定された頭髪の状態を示す頭髪データ、ユーザの汗、尿、血液、唾液、涙等から得られる各種の計測データ等を含み、ユーザの生体に関する各種の情報を用いることができる。なお、このような生体データに基づいて判定された健康状態を正解の健康状態として用いることができる。訓練データ用の虹彩画像及び健康状態は、ユーザＤＢ１２ａに蓄積された各ユーザの虹彩画像及び健康状態を用いてもよい。学習モデル１２Ｍは、訓練データに含まれる虹彩画像が入力された場合に、訓練データに含まれる正解ラベル（正解の健康状態）に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習する。具体的には、学習モデル１２Ｍは、入力された虹彩画像に基づいて中間層での演算を行い、出力層の各出力ノードからの出力値を算出する。そして学習モデル１２Ｍは、算出した各出力ノードの出力値と正解ラベルに応じた値（０又は１）とを比較し、各出力値がそれぞれの正解ラベルに応じた値に近似するように、中間層及び出力層におけるパラメータを最適化する。学習モデル１２Ｍは、例えば誤差逆伝播法を用いて、中間層及び出力層での演算に用いる各種の関数の係数及び閾値等のデータの最適化を行う。これにより、虹彩画像が入力された場合に、各健康状態に対する判別確率を出力するように学習された学習モデル１２Ｍが得られる。

学習モデル１２Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル１２Ｍは、例えばネットワークＮ経由又は可搬型記憶媒体１ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。学習モデル１２Ｍは、図４に示す構成に限定されない。

以下に、訓練データを学習して学習モデル１２Ｍを生成する処理について説明する。図５は学習モデル１２Ｍの生成処理手順の一例を示すフローチャートである。以下の処理は、サーバ１０の制御部１１が、記憶部１２に記憶してある制御プログラム１２Ｐに従って行うが、他の学習装置で行われてもよい。

サーバ１０の制御部１１は、あるユーザの虹彩画像に対して、正解の健康状態（健康状態ＩＤ）が付与された訓練データを取得する（Ｓ１１）。訓練データ用の虹彩画像及び正解の健康状態は、例えばユーザＤＢ１２ａに蓄積されている各ユーザの虹彩画像及び健康状態（健康状態ＩＤ）から取得することができる。なお、訓練データは、予めユーザＤＢ１２ａの記憶内容から生成して訓練データＤＢ（図示せず）に登録しておいてもよく、この場合、制御部１１は、訓練データＤＢから訓練データを取得すればよい。また、ユーザの生体データに基づいて判定された健康状態が、ユーザの虹彩画像に付与された訓練データを訓練データＤＢに登録しておき、この訓練データＤＢに登録されている訓練データを取得してもよい。

制御部１１は、取得した訓練データを用いて学習モデル１２Ｍの学習処理を行う（Ｓ１２）。ここでは、制御部１１は、訓練データに含まれる虹彩画像を学習モデル１２Ｍに入力し、出力層の各出力ノードからの出力値を取得する。制御部１１は、各出力ノードからの出力値と、正解の健康状態に応じた値（正解の健康状態に対応する出力ノードについては１、その他の出力ノードについては０）とを比較し、両者が近似するように、例えば誤差逆伝播法を用いて、中間層及び出力層におけるニューロン間の重み等のパラメータを最適化する。即ち、制御部１１は、正解の健康状態に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習モデル１２Ｍを学習させる。

制御部１１は、未処理の訓練データがあるか否かを判断する（Ｓ１３）。例えば制御部１１は、ユーザＤＢ１２ａに記憶されている各ユーザの虹彩画像及び健康状態のうちで、学習処理に未だ使用されていない情報があるか否かを判断する。なお、訓練データが予め訓練データＤＢに登録してある場合、制御部１１は、訓練データＤＢに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断すればよい。未処理の訓練データがあると判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は、ステップＳ１１の処理に戻り、学習処理が未処理の虹彩画像及び健康状態に基づいて、ステップＳ１１～Ｓ１２の処理を行い、訓練データを用いた学習処理を繰り返す。未処理のデータがないと判断した場合（Ｓ１３：ＮＯ）、制御部１１は学習処理を終了する。これにより、ユーザの虹彩画像が入力された場合に、ユーザの健康状態の判別結果として、予め健康状態ＤＢ１２ｂに登録してある健康状態のそれぞれに対する判別確率を出力するように学習された学習モデル１２Ｍが生成される。なお、既に学習済みの学習モデル１２Ｍについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル１２Ｍを生成できる。また、上述した学習処理を繰り返し行うことにより、学習モデル１２Ｍを最適化することができ、膨大な訓練データを用いて学習モデル１２Ｍを学習させた場合には、より正確にユーザの健康状態を判別できる学習モデル１２Ｍを実現できる。

以下に、上述した処理によって生成された学習モデル１２Ｍを用いて、各ユーザの虹彩画像から健康状態を判定（推定）してユーザに提供する処理について説明する。図６は健康状態の判定処理手順の一例を示すフローチャート、図７は画面例を示す模式図、図８は健康状態の判定処理の説明図である。図６では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐ及び健康管理アプリ２２ＡＰに従って制御部２１によって実行され、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の情報処理システムにおいて、ユーザは定期的に又は任意のタイミングで、ユーザ端末２０に健康管理アプリ２２ＡＰを起動させ、健康管理アプリ２２ＡＰを介して自身の顔画像を撮影し、得られた顔画像をサーバ１０へ送信する。ユーザ端末２０の制御部２１は、入力部２４を介して健康管理アプリ２２ＡＰの起動指示を受け付けた場合、健康管理アプリ２２ＡＰを起動させ、図７Ａに示すような初期画面を表示部２５に表示する。初期画面は、ユーザの顔画像の撮影実行を指示するための撮影ボタンと、ユーザの体調に関する情報を入力するための入力欄と、顔画像及び入力された情報のサーバ１０への送信実行を指示するための送信ボタンとを有する。

初期画面において、ユーザは入力部２４を介して撮影ボタンを操作することによってカメラ２６による撮影処理を開始させる。ユーザ端末２０の制御部２１は、撮影ボタンが操作された場合、カメラ２６を起動してカメラ２６による撮影を開始し、カメラ２６を介して取得される撮影画像を表示部２５に表示する。ユーザは、表示される撮影画像を確認し、所望のタイミングで入力部２４を介してシャッター操作を行う。制御部２１は、シャッター操作を受け付けた場合、この時点でカメラ２６にて取得した撮影画像をユーザの顔画像として取得する（Ｓ２１）。図８Ａは顔画像の例を示しており、ユーザは、少なくとも両眼及び両眼の周囲の肌領域を含む顔画像を撮影する。なお、制御部２１は、取得したユーザの顔画像を表示部２５に表示し、ユーザによる確認を行った後にサーバ１０への送信対象に確定してもよい。その際、制御部２１は、入力部２４を介したユーザ操作に従って、撮影のやり直しを行ってもよい。

初期画面において、ユーザは入力部２４を介して入力欄に自身の体調（健康状態）に関する情報を入力してもよい。入力欄には、テキスト入力によって体調に関するコメントが入力されてもよく、アンケート（質問票）形式でユーザが回答することによって体調に関する情報が入力されてもよく、ユーザのバイタルデータを計測する計測器を用いて収集された情報が入力されてもよい。バイタルデータは例えば、血圧、脈拍、脈圧、歩数、歩行距離を含んでもよい。なお、ユーザの体調（健康状態）に関する情報の入力は必ずしも行う必要はなく、ユーザは、自身の顔画像を撮影した後、送信ボタンを操作することによって、顔画像のサーバ１０への送信実行を指示してもよい。制御部２１は、送信ボタンが操作された場合、初期画面を介して取得された顔画像をサーバ１０へ送信する（Ｓ２２）。具体的には、制御部２１は、顔画像及びユーザＩＤをサーバ１０へ送信する。ユーザＩＤは例えば、健康管理アプリ２２ＡＰに予め設定されている。なお、初期画面を介して顔画像と共にユーザの体調に関する情報が入力されていた場合、制御部２１は、顔画像と共に体調に関する情報をサーバ１０へ送信する。

サーバ１０の制御部１１は、ユーザ端末２０から顔画像を受信した場合、受信した顔画像からユーザ（被写体）の虹彩領域（虹彩画像）を抽出し、ユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ２３）。ここでは、制御部１１は、ユーザＩＤに対応する日時列に、顔画像を受信した日時又は顔画像が撮影された日時を記憶し、虹彩画像列に、顔画像から抽出した虹彩画像を記憶する。なお、制御部１１は、図８Ａに示す顔画像から、例えば図８Ｂに示すようにユーザの両眼を含む領域を虹彩画像として抽出するが、左眼を含む領域と右眼を含む領域とをそれぞれ左虹彩画像及び右虹彩画像として抽出してもよい。また制御部１１は、ユーザ端末２０からユーザの体調に関する情報を受信していた場合、受信した体調に関する情報もユーザＩＤに対応付けてユーザＤＢ１２ａに記憶しておいてもよい。なお、制御部１１は、ユーザ端末２０から受信した顔画像自体をユーザＤＢ１２ａに記憶してもよい。

また制御部１１は、顔画像からユーザ（被写体）の肌領域（肌画像）を抽出し、ユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ２４）。例えば制御部１１は、ユーザの頬、額、眼尻等の領域のいずれか又は複数を肌画像として抽出する。顔画像から虹彩画像及び肌画像を抽出する場合、制御部１１は、例えばテンプレートマッチング技術によって顔画像中のユーザの眼を特定する。具体的には、一般的な人の眼の画像に基づくテンプレートを予め記憶部１２に登録しておき、制御部１１は、顔画像中にテンプレートに一致する領域を検知した場合、検知した領域を眼領域に特定する。また制御部１１は、機械学習によって構築されたニューラルネットワークを用いて、顔画像から眼領域を検出してもよい。例えばＲ－ＣＮＮ（Regions with Convolution Neural Network ）で構成され、顔画像が入力された場合に、顔画像中の眼領域を出力するように学習された学習モデルを用いることができる。この場合、制御部１１は、顔画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、顔画像中の眼領域を特定することができる。そして制御部１１は、特定した顔画像中の眼領域に基づいて、顔画像中の虹彩画像及び肌画像を抽出する。その際、制御部１１は、顔画像から顔の輪郭を検出し、眼領域及び顔の輪郭に基づいて、顔画像中の虹彩画像及び肌画像を抽出してもよい。なお、制御部１１は、顔画像から抽出した肌画像をユーザＤＢ１２ａに記憶する代わりに、肌画像から肌の状態を特定し、特定した肌の状態を示す肌データをユーザＤＢ１２ａに記憶してもよい。なお、肌データは、例えば肌の水分量、コラーゲン量及びメラニン量、並びに、乾燥肌、敏感肌、油性肌又は普通肌等の肌タイプを示す情報等を含んでもよい。

次に制御部１１は、ステップＳ２３で抽出した虹彩画像、及び／又は、ステップＳ２４で抽出した肌画像（又は肌データ）に基づいて、ユーザ（被写体）の健康状態を判定し、判定結果をユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ２５）。ここでは、制御部１１は、虹彩画像に基づいてユーザの健康状態を判定する処理と、肌画像又は肌データに基づいてユーザの健康状態を判定する処理とを行い、いずれかの判定結果をユーザの健康状態としてもよく、それぞれの判定結果に基づいて総合的にユーザの健康状態を判定してもよい。

虹彩画像に基づいて健康状態を判定する処理では、制御部１１は、虹彩画像を学習モデル１２Ｍに入力し、学習モデル１２Ｍからの出力情報に基づいて、ユーザの健康状態を判定する。また例えば、複数の健康状態のそれぞれに対応付けて、それぞれの健康状態の場合に虹彩画像（虹彩）に出現する特徴情報を予め記憶部１２に登録しておき、制御部１１は、虹彩画像に含まれる特徴情報に基づいて健康状態を判定してもよい。また、虹彩を人体の各臓器及び各器官に対応するエリアに分割した虹彩分析チャートにおいて、各エリアについて、対応する臓器及び器官の健康状態に応じて出現する虹彩の特徴情報を予め記憶部１２に登録しておき、制御部１１は、虹彩の各エリアの特徴情報に基づいて健康状態を判定してもよい。なお、虹彩画像に基づく各判定処理による判定結果に基づいて、虹彩画像に基づく健康状態を総合的に判定してもよい。例えば、虹彩画像に基づく各判定処理の結果、同一の判定結果が複数得られた場合、この判定結果をユーザの健康状態に決定してもよい。また、各判定処理に対して重み付けを行い、各判定処理の結果が異なる場合、大きい重みが割り当てられた判定結果をユーザの健康状態に決定してもよい。

肌画像又は肌データに基づいて健康状態を判定する処理では例えば、複数の健康状態のそれぞれに対応付けて、それぞれの健康状態の場合に肌画像（肌）又は肌データに出現する特徴情報を予め記憶部１２に登録しておき、制御部１１は、肌画像又は肌データに含まれる特徴情報に基づいて健康状態を特定する。ここでも制御部１１は、機械学習によって構築されたニューラルネットワークを用いて、肌画像又は肌データから健康状態を判定してもよい。例えばＣＮＮで構成され、肌画像又は肌データが入力された場合に、ユーザの健康状態を出力するように学習された学習モデルを用いることができる。この場合、制御部１１は、肌画像又は肌データを学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ユーザの健康状態を判定することができる。なお、肌画像又は肌データに基づく各判定処理による判定結果に基づいて、肌画像又は肌データに基づく健康状態を総合的に判定してもよい。例えば、肌画像又は肌データに基づく各判定処理の結果、同一の判定結果が複数得られた場合、この判定結果をユーザの健康状態に決定してもよい。また、各判定処理に対して重み付けを行い、各判定処理の結果が異なる場合、大きい重みが割り当てられた判定結果をユーザの健康状態に決定してもよい。虹彩画像又は肌画像から健康状態を判定する処理は、上述した処理によってサーバ１０が行うほかに、他のサーバで行われてもよく、虹彩を分析する分析者によって行われてもよい。

制御部１１は、虹彩画像に基づく判定結果と、肌画像に基づく判定結果とをそれぞれ取得してもよく、それぞれの判定結果からユーザの健康状態を判定してもよい。また、サーバ１０がユーザ端末２０からユーザの体調に関する情報を受信していた場合、制御部１１は、体調に関する情報も考慮してユーザの健康状態を判定してもよい。即ち、制御部１１は、虹彩画像から判定した健康状態と、肌画像から判定した健康状態と、ユーザ端末２０から受信したユーザの体調に関する情報とに基づいてユーザの健康状態を総合的に判定してもよい。ここでは、例えば、虹彩画像に基づく判定結果と、肌画像に基づく判定結果と、体調に関する情報に基づく判定結果とにおいて、同一の判定結果が複数得られた場合、この判定結果をユーザの健康状態に決定してもよい。また、各判定結果に対して重み付けを行い、大きい重みが割り当てられた判定結果をユーザの健康状態に決定してもよい。更に、例えば虹彩画像に基づく判定処理に学習モデル１２Ｍを用い、肌画像に基づく判定処理に学習モデルを用いた場合、それぞれの学習モデルの各出力ノードからの出力値に対して重み付けを行い、各出力ノードからの出力値に基づく重み付け加算によって得られた値が最大となった出力ノードに対応する健康状態を、ユーザの健康状態に決定してもよい。なお、制御部１１は、例えば健康状態ＤＢ１２ｂに予め登録してある健康状態の中から、ユーザ（被写体）の健康状態を特定し、特定した健康状態の健康状態ＩＤをユーザＤＢ１２ａに記憶する。

次に制御部１１は、判定した健康状態に応じたアドバイスを特定し、特定結果をユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ２６）。ここでは、制御部１１は、判定した健康状態に対応するアドバイスを、アドバイスＤＢ１２ｃに登録してあるアドバイスの中から特定し、特定したアドバイスのアドバイスＩＤをユーザＤＢ１２ａに記憶する。そして制御部１１は、特定したアドバイスに基づいて、ユーザに提供する判定結果画面を生成する（Ｓ２７）。図７Ｂは判定結果画面の例を示しており、制御部１１は、判定した健康状態（判定結果）と、特定したアドバイスの内容とを表示した判定結果画面を生成する。健康状態に応じたアドバイスは、食事、運動、入浴等の生活習慣の改善を提案する内容、お勧めの化粧品、サプリメント、漢方薬、ハーブ、アロマオイル等を提案する内容等であってもよい。

制御部１１は、生成した判定結果画面をユーザ端末２０へ送信する（Ｓ２８）。ユーザ端末２０の制御部２１は、サーバ１０から判定結果画面を受信した場合、判定結果画面を表示部２５に表示する（Ｓ２９）。これにより、ユーザ端末２０は、ユーザの虹彩画像又は肌画像から判定された健康状態と、健康状態に応じたアドバイスとをユーザに通知できる。上述した処理により、ユーザは、ユーザ端末２０を用いて自身の顔画像を撮影することによって、自身の虹彩画像又は肌画像に基づいて判定された健康状態及びアドバイスを得ることができる。またユーザは、例えば毎日同じ時刻に顔画像を撮影することによって、自身の健康状態の日々の変化を把握することができる。

本実施形態では、ユーザは、例えば自宅でユーザ端末２０を用いて自身の顔画像を撮影してサーバ１０へ送信することで、サーバ１０から健康状態及びアドバイスを取得することができる。このほかに、例えば化粧品、サプリメント等を販売する店舗に設けられた端末（ユーザ端末２０）を用いて、来店したユーザの顔を撮影し、得られた顔画像をサーバ１０へ送信し、サーバ１０から店舗の端末経由でユーザに健康状態及びアドバイスを提供する構成としてもよい。また、例えば店舗に設けられたサーバ１０にカメラを設けることにより、店舗内のカメラでユーザの顔を撮影することで、ユーザに健康状態及びアドバイスを提供することが可能となる。更に、ユーザの虹彩画像又は肌画像に基づいてユーザの健康状態を判定する処理をユーザ端末２０が行うように構成されていてもよい。例えば、学習モデル１２Ｍをユーザ端末２０の記憶部２２に記憶しておくことにより、制御部２１が、カメラ２６にてユーザの顔画像を撮影した場合に、学習モデル１２Ｍを用いて、顔画像から抽出した虹彩画像からユーザの健康状態を判定することができる。

本実施形態では、ユーザ端末２０を用いてユーザの顔画像を撮影し、サーバ１０が、ユーザ端末２０から取得した顔画像から虹彩画像及び肌画像を抽出する構成であるが、このような構成に限定されない。例えばユーザがユーザ端末２０を用いて自身の虹彩画像（眼の画像）と、肌画像（頬、額、眼尻等の領域の画像）とをそれぞれ撮影してサーバ１０へ送信してもよい。この場合、サーバ１０は、顔画像から虹彩画像及び肌画像を抽出する処理を行う必要がない。

本実施形態において、ユーザの肌画像の代わりにユーザの頭髪の状態を示す頭髪データを用いて、ユーザの健康状態を判定してもよい。例えばユーザは、ユーザ端末２０を用いて自身の顔及び頭髪を撮影して顔画像及び頭髪画像を取得してサーバ１０へ送信する。サーバ１０は、顔画像から虹彩画像を抽出し、頭髪画像から髪の状態を示す頭髪データを取得する。そしてサーバ１０は、虹彩画像及び／又は頭髪データに基づいてユーザの健康状態を判定し、判定結果に応じたアドバイスをユーザに提供する。この場合にも、ユーザは、ユーザ端末２０を用いて自身の顔画像及び頭髪画像を撮影することによって、自身の虹彩画像又は頭髪データに基づいて判定された健康状態及びアドバイスを得ることができる。なお、頭髪データは、例えば髪の水分量、枝毛又は切れ毛の有無等を示す情報を用いることができる。

本実施形態では、サーバ１０は、ユーザ端末２０から受信した顔画像から抽出した虹彩画像及び肌画像、判定結果の健康状態、健康状態に応じたアドバイスを対応付けてユーザＤＢ１２ａに蓄積する構成である。このほかに、サーバ１０は、各ユーザの虹彩画像及び判定結果の健康状態を対応付けて別のＤＢに蓄積する構成を有していてもよい。このように別のＤＢに虹彩画像及び判定結果の健康状態を蓄積することにより、ＤＢに蓄積された情報を、学習モデル１２Ｍを生成する際の訓練データに用いることが可能となる。

本実施形態において、学習モデル１２Ｍを用いて虹彩画像から健康状態を判定する際に、学習モデル１２Ｍに虹彩画像を入力するときに、虹彩画像に対して前処理を行ってもよい。例えば、虹彩（眼）の上下位置が虹彩画像中の上下位置となるように虹彩（眼）を回転させる画像処理を行った後に学習モデル１２Ｍに入力してもよい。また、虹彩を人体の各臓器及び各器官に対応するエリアに分割し、各エリアに応じたエリア領域を虹彩画像から抽出し、エリア領域毎に学習モデル１２Ｍに入力してもよい。この場合、学習モデル１２Ｍは、各エリア領域の画像（虹彩画像）を入力するための入力ノードをそれぞれ有する構成でもよく、各エリア領域の識別情報を入力するための入力ノードとエリア領域の画像（虹彩画像）を入力するための入力ノードとを有する構成でもよい。また、エリア毎にエリア領域の虹彩画像から健康状態を判定するための学習モデル１２Ｍを生成してもよい。このような構成とすることにより、各エリアの虹彩画像の特徴をより反映させた判定結果が得られ、精度の高い判定処理を実現できる。

学習モデル１２Ｍは、図４に示す構成に限定されない。図９は学習モデルの他の構成例を示す模式図である。図９に示す学習モデル１２Ｍ１は、ユーザの虹彩画像に加えてユーザの肌データを入力とし、虹彩画像及び肌データに基づいて、ユーザの健康状態に関する情報を出力するように構成されている。肌データは、顔画像から抽出された肌画像であってもよく、肌画像から特定された肌の状態を示す肌データであってもよい。図９に示す学習モデル１２Ｍ１は、ユーザの虹彩画像及び肌データと、ユーザの健康状態（正解ラベル）とを含む訓練データに用いて学習させることによって生成される。

図９に示す学習モデル１２Ｍ１についても、図５に示す処理と同様の処理によって生成可能である。なお、学習モデル１２Ｍ１を生成する場合、図５中のステップＳ１１において、制御部１１は、あるユーザの虹彩画像及び肌データに対して、正解の健康状態（健康状態ＩＤ）が付与された訓練データを取得する。ここでも、訓練データ用の虹彩画像、肌データ及び正解の健康状態は、ユーザＤＢ１２ａに蓄積されている各ユーザの虹彩画像、肌画像及び健康状態（健康状態ＩＤ）から取得することができる。そして制御部１１は、訓練データを用いた学習処理を行うことにより、図９に示す学習モデル１２Ｍ１を生成できる。なお、図９に示す学習モデル１２Ｍ１に対する学習処理において、制御部１１は、訓練データに含まれる虹彩画像及び肌データを学習モデル１２Ｍ１に入力し、このときに、訓練データに含まれる正解ラベルが示す健康状態に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習モデル１２Ｍを学習させる。よって、虹彩画像及び肌データが入力された場合に、このユーザに適した健康状態を、予め健康状態ＤＢ１２ｂに登録してある健康状態の中から特定するように学習された学習済みの学習モデル１２Ｍ１が得られる。

図９に示す学習モデル１２Ｍ１を用いる場合であっても、サーバ１０及びユーザ端末２０は、図６に示す処理と同様の処理が可能である。なお、学習モデル１２Ｍ１を用いる場合、図６中のステップＳ２５において、制御部１１は、ステップＳ２３で抽出した虹彩画像と、ステップＳ２４で抽出した肌画像（又は肌画像から抽出された肌データ）とを学習モデル１２Ｍに入力し、学習モデル１２Ｍからの出力情報に基づいて、ユーザの健康状態を判定する。

（実施形態２）
実施形態１の情報処理システムにおいて、ユーザの虹彩（眼）の色に応じて、健康状態を判定（推定）する際の処理が異なる情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。

図１０は実施形態２の健康状態の判定処理手順の一例を示すフローチャートである。図１０に示す処理は、図６に示す処理において、ステップＳ２４，Ｓ２５の間にステップＳ３１～Ｓ３３を追加したものである。図６と同じステップについては説明を省略する。

本実施形態のユーザ端末２０の制御部２１及びサーバ１０の制御部１１は、図６中のステップＳ２１～Ｓ２４の処理を行う。これにより、ユーザ端末２０はユーザの顔画像を撮影してサーバ１０へ送信し、サーバ１０は、ユーザ端末２０から受信した顔画像から虹彩画像及び肌画像を抽出してユーザＤＢ１２ａに記憶する。本実施形態のサーバ１０では、制御部１１は、ステップＳ２３で抽出した虹彩画像に基づいて、ここでのユーザの虹彩（眼）の色を検出する（Ｓ３１）。例えば制御部１１は、茶、グレー、青、緑等、予め設定された色の中から、ユーザの虹彩の色に最も近い色を特定する。制御部１１は、特定した色が茶色（ブラウンアイ）であるか否かを判断し（Ｓ３２）、茶色であると判断した場合（Ｓ３２：ＹＥＳ）、ステップＳ２５の処理に移行する。この場合、制御部１１は、図６で説明した実施形態１と同様の処理を行って、ユーザの健康状態を判定する。

特定した色が茶色でないと判断した場合（Ｓ３２：ＮＯ）、制御部１１は、虹彩画像以外の生体データ等の情報に基づいて、ユーザの健康状態を判定し、判定結果をユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ３３）。例えば制御部１１は、ステップＳ２４で抽出した肌画像（又は肌データ）に基づいて、ユーザの健康状態を判定する。また、サーバ１０がユーザ端末２０からユーザの体調に関する情報を受信していた場合、制御部１１は、体調に関する情報に基づいて健康状態を判定してもよい。更に、ユーザの生体情報又は健康情報等がユーザ情報としてユーザＤＢ１２ａに記憶されている場合、制御部１１は、生体情報又は健康情報からユーザの健康状態を判定してもよい。その後、制御部１１は、ステップＳ２６の処理に移行し、判定した健康状態に応じたアドバイスを特定してユーザＤＢ１２ａに記憶し（Ｓ２６）、特定したアドバイスに基づいて、ユーザに提供する判定結果画面を生成する（Ｓ２７）。上述した処理により、本実施形態においても、ユーザは、ユーザ端末２０を用いて自身の顔画像を撮影してサーバ１０へ送信することにより、サーバ１０から健康状態及び健康状態に関するアドバイスを得ることができる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザの健康状態を判定する際に、ユーザの虹彩の色に応じて異なる判定処理を行うことができる。例えば、ユーザの虹彩が茶色であるか否かを判断し、茶色である場合には虹彩画像に基づく判定処理を行い、茶色でない場合には肌画像に基づく判定処理を行うことができる。これにより、ユーザの虹彩の色に適した判定処理によって、虹彩の色を考慮した精度の高い判定結果を得ることができる。

本実施形態において、ユーザの虹彩の色に応じて異なる生体データ（例えば虹彩画像、肌画像）を用いて健康状態を判定する構成のほかに、例えば虹彩の色毎に学習モデル１２Ｍを生成しておいてもよい。この場合、虹彩の色に応じた学習モデル１２Ｍを用いて虹彩画像から健康状態を判定することにより、虹彩の色に応じた精度の高い判定結果が得られる。また、虹彩の色毎に、それぞれの健康状態の場合に虹彩に出現する特徴情報を登録しておくことにより、虹彩画像に基づいて健康状態を判定する際に、虹彩の色を特定し、特定した色における特徴状態に基づいてユーザの健康状態を判定してもよい。

（実施形態３）
ユーザ（対象者）の虹彩画像に加えて、ユーザのバイタルデータを取得する計測器による計測結果に基づいて、ユーザの健康状態を判定（推定）する情報処理システムについて説明する。本実施形態の情報処理システムは、サーバ１０及びユーザ端末２０に加えて、ユーザのバイタルデータを取得する計測器３０（図１１参照）を含む。ユーザ端末２０及び計測器３０は、例えば近距離無線通信機能によって通信することができる。なお、ユーザ端末２０と計測器３０との間は有線で接続されていてもよい。計測器３０は、例えば、血圧、脈拍、脈圧、歩数、走行距離等を含むバイタルデータを計測することができ、例えば腕時計型のウェアラブルデバイスである。計測器３０は、ユーザの健康状態を判定するために利用できる情報（バイタルデータ）を取得できる機器であれば、どのような機器でもよい。サーバ１０は、実施形態１のサーバ１０と同様の構成を有するので、サーバ１０の構成については説明を省略する。

図１１は、実施形態３のユーザ端末２０の構成例を示すブロック図である。本実施形態のユーザ端末２０は、図２に示す実施形態１のユーザ端末２０の構成に加えて、計測器通信部２７を有する。計測器通信部２７は、有線通信又は無線通信によって計測器３０との間で通信するための通信モジュールであり、計測器３０との間で情報の送受信を行う。計測器通信部２７は、無線通信を行う場合、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等の無線通信規格による通信を行う。

図１２は、実施形態３のユーザＤＢ１２ａの構成例を示す模式図である。本実施形態のユーザＤＢ１２ａは、図３Ａに示す実施形態１のユーザＤＢ１２ａにおいて、肌画像列の代わりにバイタルデータ列を有する。バイタルデータ列は、サーバ１０がユーザ端末２０から受信したバイタルデータを記憶し、バイタルデータは例えば計測器３０によって取得されたデータである。なお、バイタルデータは、ユーザＤＢ１２ａに記憶されるほかに、記憶部１２の所定領域又は他の記憶装置に記憶されてもよく、この場合、バイタルデータ列は、バイタルデータを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。本実施形態のユーザＤＢ１２ａの記憶内容は図１２に示す例に限定されない。

本実施形態の情報処理システムでは、ユーザは、ユーザ端末２０を用いて自身の顔画像を撮影すると共に、計測器３０が計測した自身のバイタルデータを取得してサーバ１０へ送信する。サーバ１０は、ユーザ端末２０から受信した顔画像及びバイタルデータに基づいてユーザの健康状態を判定する。その際、サーバ１０は、顔画像からユーザの虹彩画像を抽出し、抽出した虹彩画像及び／又はバイタルデータに基づいてユーザの健康状態を判定する。

以下に、本実施形態のサーバ１０が、ユーザの虹彩画像又はバイタルデータから健康状態を判定してユーザに提供する処理について説明する。図１３は実施形態３の健康状態の判定処理手順の一例を示すフローチャート、図１４は画面例を示す模式図である。図１３に示す処理は、図６に示す処理において、ステップＳ２２の代わりにステップＳ４１～Ｓ４２を追加し、ステップＳ２３の前にステップＳ４３を追加し、ステップＳ２４を削除したものである。図６と同じステップについては説明を省略する。

本実施形態のユーザ端末２０は、制御部２１が健康管理アプリ２２ＡＰを起動させた場合、図１４Ａに示すような初期画面を表示部２５に表示する。図１４Ａに示す初期画面は、図７Ａに示す構成に加えて、バイタルデータを計測器３０から取得して入力するための「計測器から取得」ボタンと、バイタルデータを入力画面から入力するための「入力画面から入力」ボタンとを有する。初期画面において、ユーザが「計測器から取得」ボタンを操作した場合、制御部２１は、計測器３０にて計測済みのユーザのバイタルデータを取得し、取得したバイタルデータを表示する表示画面（図示せず）を表示部２５に表示してユーザに通知する。なお、制御部２１は、取得したバイタルデータを表示させずに、サーバ１０への送信対象に決定してもよい。初期画面において、ユーザが「入力画面から入力」ボタンを操作した場合、制御部２１は、バイタルデータの入力画面（図示せず）を表示部２５に表示し、ユーザによる入力を受け付ける。この場合、制御部２１は、入力画面を介してユーザのバイタルデータを取得する。

従って、本実施形態のユーザ端末２０では、制御部２１は、初期画面を介してユーザの顔画像を取得し（Ｓ２１）、ユーザのバイタルデータを取得する（Ｓ４１）。なお、制御部２１は、初期画面を介してユーザの体調（健康状態）に関する情報を取得してもよい。そして、制御部２１は、初期画面において送信ボタンが操作された場合、取得した顔画像及びバイタルデータをユーザＩＤと共にサーバ１０へ送信する（Ｓ４２）。なお、初期画面を介してユーザの体調に関する情報が入力されていた場合、制御部２１は、顔画像及びバイタルデータと共に体調に関する情報をサーバ１０へ送信する。

サーバ１０の制御部１１は、ユーザ端末２０から顔画像及びバイタルデータを受信した場合、受信したバイタルデータをユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ４３）。ここでは制御部１１は、ユーザＩＤに対応する日時列に、顔画像及びバイタルデータを受信した日時又は顔画像が撮影された日時を記憶し、バイタルデータ列に、受信したバイタルデータを記憶する。次に制御部１１は、ユーザ端末２０から受信した顔画像からユーザの虹彩画像を抽出し、ユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ２３）。そして制御部１１は、ユーザ端末２０から受信したバイタルデータ、及び／又は、ステップＳ２３で抽出した虹彩画像に基づいて、ユーザの健康状態を判定し、判定結果をユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ２５）。ここでは、制御部１１は、虹彩画像に基づいて健康状態を判定する処理と、バイタルデータに基づいて健康状態を判定する処理とを行い、いずれかの判定結果をユーザの健康状態としてもよく、それぞれの判定結果に基づいて総合的にユーザの健康状態を判定してもよい。

バイタルデータに基づいて健康状態を判定する処理では例えば、複数の健康状態のそれぞれに対応付けて、それぞれの健康状態の場合にバイタルデータに出現する特徴情報を予め記憶部１２に登録しておき、制御部１１は、バイタルデータの特徴情報に対応する健康状態を特定する。ここでも制御部１１は、機械学習によって構築されたニューラルネットワークを用いて、バイタルデータから健康状態を判定してもよい。例えばＣＮＮで構成され、バイタルデータが入力された場合に、ユーザの健康状態を出力するように学習された学習モデルを用いることができる。この場合、制御部１１は、バイタルデータを学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ユーザの健康状態を特定することができる。なお、ユーザ端末２０から受信したユーザの体調に関する情報も考慮してユーザの健康状態を判定してもよい。

その後、サーバ１０の制御部１１及びユーザ端末２０の制御部２１は、ステップＳ２６～Ｓ２９の処理を行う。これにより、ユーザ端末２０は、図１４Ｂに示すような判定結果画面を表示部２５に表示し、ユーザの虹彩画像又はバイタルデータから判定された健康状態と、健康状態に応じたアドバイスとをユーザに通知できる。上述した処理により、本実施形態では、ユーザは、ユーザ端末２０を用いて自身の顔画像を撮影し、計測器３０によって自身のバイタルデータを取得してサーバ１０へ送信することにより、サーバ１０から自身の健康状態及びアドバイスを得ることができる。

本実施形態において、生体データは、ユーザに装着等した計測器３０によって計測されるバイタルデータのほかに、ユーザの汗、尿、血液、便（腸内細菌）、唾液、涙等から得られる各種の計測結果を用いてもよい。例えばトイレの便器にバイオセンサを設けておき、バイオセンサによって計測した尿ｐＨ、尿量、尿に含まれる各種成分の量、便に含まれる各種成分又は細菌の量等を生体データに用いてもよい。また、汗、血液、唾液又は涙に含まれる各種成分の量を計測する計測器を用い、計測器による計測結果を生体データに用いてもよい。また、医療機関等で行った健康診断で得られた検査結果を生体データに用いてもよい。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザの虹彩画像に加えてバイタルデータに基づいて健康状態を判定するので、より精度の高い判定結果が得られる。なお、本実施形態において、虹彩画像及びバイタルデータから健康状態を判定する際に、図９に示す学習モデル１２Ｍ１において、肌データの代わりにバイタルデータが入力される構成の学習モデルを使用してもよい。具体的には、虹彩画像及びバイタルデータが入力された場合に、このユーザの健康状態に関する情報（判別確率）を出力する学習モデルを使用できる。このような学習モデルは、図１３に示す処理によってユーザＤＢ１２ａに蓄積した虹彩画像、バイタルデータ及び健康状態のセットを訓練データとして用いて生成することができる。このような学習モデルを用いる場合、サーバ１０の制御部１１は、ユーザの虹彩画像及びバイタルデータを学習モデルに入力し、学習モデルからの出力情報に基づいて、ユーザの健康状態を判定できる。また、本実施形態の構成は実施形態２の情報処理システムにも適用でき、実施形態２の情報処理システムに適用した場合であっても同様の効果が得られる。更に、本実施形態の情報処理システムにおいて、上述した各実施形態で適宜説明した変形例の適用が可能である。

（実施形態４）
ユーザ（対象者）の虹彩画像に基づいて、ユーザが飼育しているペット（例えば犬）の健康状態を判定（推定）する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ１０の記憶部１２に記憶してあるユーザＤＢ１２ａは、実施形態１のユーザＤＢ１２ａの構成と若干異なる。また、本実施形態のサーバ１０の記憶部１２は、健康状態対応付けＤＢを記憶する。

図１５はサーバ１０が記憶するＤＢの構成例を示す模式図である。図１５Ａは実施形態４のユーザＤＢ１２ａを、図１５Ｂは健康状態対応付けＤＢをそれぞれ示す。本実施形態のユーザＤＢ１２ａは、図３Ａに示す実施形態１のユーザＤＢ１２ａの構成に加えて、ペット情報列及びペット判定結果列を有する。ペット情報列は、ユーザが飼育しているペットの種類（例えば犬種）、年齢、性別、体長等を含むペット情報を記憶する。ペット判定結果列は、ユーザ端末２０から送信されてきたユーザの顔画像に基づいてペットの健康状態を判定した判定結果を記憶する。具体的には、ペット判定結果列は、健康状態列及びアドバイス列を含む。健康状態列は、ユーザ（飼い主）の虹彩画像に基づいて判定されたユーザの健康状態に基づいて判定（推定）されたペットの健康状態を記憶し、アドバイス列は、ペットの健康状態に応じてユーザに提供されたアドバイスを記憶する。なお、ユーザ（飼い主）の健康状態とペットの健康状態との対応関係は健康状態対応付けＤＢに記憶されており、ペットの健康状態の判定結果に応じてユーザに提供されるアドバイスに関する情報を記憶するペット用のアドバイスＤＢ（図示せず）は記憶部１２に記憶されている。健康状態列にはペットの健康情報に割り当てられた識別情報（健康状態ＩＤ）が記憶され、アドバイス列にはペット用のアドバイスに割り当てられた識別情報（アドバイスＩＤ）が記憶される。ペット情報は、制御部１１が通信部１３又は入力部１４を介して追加指示又は修正指示を取得した場合に制御部１１によって追加又は修正される。ペット判定結果は、制御部１１がユーザの健康状態に基づいてペットの健康状態を判定した場合に制御部１１によって健康状態が記憶され、制御部１１がユーザに提供すべきアドバイスを特定した場合に制御部１１によってアドバイスが記憶される。本実施形態のユーザＤＢ１２ａの記憶内容は図１５Ａに示す例に限定されない。

図１５Ｂに示す健康状態対応付けＤＢは、対応ＩＤに対応付けて、飼い主の健康状態を示す健康状態ＩＤと、ペットの健康状態を示す健康状態ＩＤとが登録されている。なお、飼い主の健康状態とペットの健康状態との間には相関関係があると考えられており、飼い主の健康状態のそれぞれと、飼い主がそれぞれの健康状態のときにペットに出現する可能性の高いペットの健康状態（相関が高い健康状態）とが対応付けて登録される。健康状態対応付けＤＢに記憶される対応ＩＤは、新たな健康状態のセットが登録された場合に、制御部１１によって発行されて記憶される。健康状態対応付けＤＢに記憶される飼い主の健康状態及びペットの健康状態は、制御部１１が通信部１３又は入力部１４を介して各情報の追加指示又は修正指示を取得した場合に制御部１１によって追加又は修正される。

以下に、本実施形態のサーバ１０が、ユーザの健康状態及びペットの健康状態を判定してユーザに提供する処理について説明する。図１６は実施形態４の健康状態の判定処理手順の一例を示すフローチャート、図１７は画面例を示す模式図である。図１６に示す処理は、図６に示す処理において、ステップＳ２６，Ｓ２７の間にステップＳ５１～Ｓ５３を追加したものである。図６と同じステップについては説明を省略する。

本実施形態のユーザ端末２０の制御部２１及びサーバ１０の制御部１１は、図６に示したステップＳ２１～Ｓ２６の処理を行う。これにより、ユーザ端末２０の制御部２１は、ユーザの顔画像を撮影してサーバ１０へ送信する。サーバ１０の制御部１１は、ユーザ端末２０から受信した顔画像から虹彩画像及び肌画像を抽出し、抽出した虹彩画像又は肌画像に基づいてユーザの健康状態を判定し、判定結果に応じたアドバイスを生成する。また制御部１１は、虹彩画像、肌画像、健康状態及びアドバイスをユーザＩＤに対応付けてユーザＤＢ１２ａに記憶しておく。なお、本実施形態のユーザ端末２０では、制御部２１が健康管理アプリ２２ＡＰを起動させた場合、図１７Ａに示すような初期画面を表示部２５に表示する。図１７Ａに示す初期画面は、図７Ａに示す初期画面の構成に加えて、ペットの健康状態も判定するか否かを指示するためのチェックボックスを有する。よって、ユーザは、自身の健康状態だけでなくペットの健康状態の判定及びアドバイスを受けたい場合、チェックボックスをチェックする。よって、ユーザ端末２０の制御部２１は、ユーザの顔画像及び体調に関する情報をサーバ１０へ送信する際に、チェックボックスがチェックされていれば、ペットの健康状態を要求する要求情報もサーバ１０へ送信する。

よって、サーバ１０の制御部１１は、ユーザ端末２０から、ペットの健康状態に関する情報も要求されたか否かを判断する（Ｓ５１）。具体的には、制御部１１は、ユーザ端末２０から受信した情報に、ペットの健康状態を要求する要求情報が含まれる場合、ペットの健康状態に関する情報も要求されたと判断する。ペットの健康状態に関する情報を要求されていないと判断した場合（Ｓ５１：ＮＯ）、制御部１１は、ステップＳ２７の処理に移行する。ペットの健康状態に関する情報を要求されたと判断した場合（Ｓ５１：ＹＥＳ）、制御部１１は、例えば健康状態対応付けＤＢの登録内容に基づいて、ステップＳ２５で判定したユーザ（飼い主）の健康状態から、ペットの健康状態を判定し、判定結果をユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ５２）。健康状態対応付けＤＢには、飼い主がそれぞれの健康状態のときにペットに出現する可能性の高いペットの健康状態が登録されているので、健康状態対応付けＤＢを用いることにより、飼い主の健康状態からペットの健康状態を推定することができる。

なお、制御部１１は、飼い主の健康状態の代わりに、ステップＳ２３で抽出した飼い主の虹彩画像、又は、ステップＳ２４で抽出した飼い主の肌画像に基づいて、ペットの健康状態を推定してもよい。この場合、機械学習によって構築されたニューラルネットワークを用いて、ユーザの虹彩画像又は肌画像からペットの健康状態を判定してもよい。例えばＣＮＮで構成され、ユーザの虹彩画像又は肌画像が入力された場合に、ペットの健康状態を出力するように学習された学習モデルを用いることができる。この場合、制御部１１は、ユーザの虹彩画像又は肌画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ペットの健康状態を特定することができる。

次に制御部１１は、判定したペットの健康状態に応じたペット用のアドバイスを特定し、特定結果をユーザＩＤに対応付けてユーザＤＢ１２ａに記憶する（Ｓ５３）。ここでは、制御部１１は、ペットの健康状態に対応するアドバイスを、ペット用のアドバイスＤＢ（図示せず）に登録してあるアドバイスの中から特定し、特定したアドバイスのアドバイスＩＤをユーザＤＢ１２ａに記憶する。その後、サーバ１０の制御部１１及びユーザ端末２０の制御部２１は、ステップＳ２７～Ｓ２９の処理を行う。これにより、サーバ１０は、図１７Ｂに示すような判定結果画面を生成してユーザ端末２０へ送信し、ユーザ端末２０は、受信した判定結果画面を表示部２５に表示してユーザに通知する。図１７Ｂに示す判定結果画面は、ユーザの顔画像（虹彩領域又は肌領域）に基づいて判定されたユーザの健康状態及びアドバイス内容と、ユーザの健康状態に基づいて判定されたペットの健康状態及びペット用のアドバイス内容とを表示する。このような判定結果画面を表示することにより、ユーザ端末２０は、ユーザの健康状態及びアドバイスに加えて、ペットの健康状態及びアドバイスをユーザに通知することができる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザは、ユーザ端末２０を用いて自身の顔画像を撮影してサーバ１０へ送信することによって、自身の健康状態及びアドバイスだけでなく、ペットの健康状態及びアドバイスを得ることができる。

また、本実施形態の構成は実施形態２～３の情報処理システムにも適用でき、実施形態２～３の情報処理システムに適用した場合であっても同様の効果が得られる。なお、本実施形態の構成を実施形態３の情報処理システムに適用した場合、ユーザの虹彩画像及びバイタルデータに基づいて判定されたユーザの健康状態から、ペットの健康状態を判定するように構成することができる。また、このような構成において、ユーザの虹彩画像、バイタルデータ及びペットの健康状態のセットを訓練データとして用いた学習処理を行うことにより、ユーザの虹彩画像及びバイタルデータが入力された場合にペットの健康状態に関する情報を出力する学習モデルを生成することができる。また、本実施形態の情報処理システムにおいて、上述した各実施形態で適宜説明した変形例の適用が可能である。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ ユーザ端末
２１ 制御部
２２ 記憶部
２３ 通信部
３０ 計測器
１２ａ ユーザＤＢ
１２ｂ 健康状態ＤＢ
１２ｃ アドバイスＤＢ

Claims (14)

1. 対象者の虹彩を撮影した虹彩画像と、前記対象者の前記虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得し、
   取得した訓練データを用いて、虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力する学習モデルを生成する
   処理をコンピュータが実行する学習モデルの生成方法。
2. 前記生体データは、前記対象者の肌に関する肌データを含み、
   前記虹彩画像と、前記肌データに基づいて判定された前記対象者の健康状態とを含む訓練データを取得する
   処理を前記コンピュータが実行する請求項１に記載の学習モデルの生成方法。
3. 前記生体データは、前記対象者の生体に関するデータを計測する計測器による計測結果を含み、
   前記虹彩画像と、前記計測器による計測結果に基づいて判定された前記対象者の健康状態とを含む訓練データを取得する
   処理を前記コンピュータが実行する請求項１又は２に記載の学習モデルの生成方法。
4. 前記対象者の虹彩画像及び生体データと、前記対象者の健康状態とを含む訓練データを取得し、
   取得した訓練データを用いて、虹彩画像及び生体データが入力された場合に前記対象者の健康状態に関する情報を出力する学習モデルを生成する
   処理を前記コンピュータが実行する請求項１から３までのいずれかひとつに記載の学習モデルの生成方法。
5. 対象者の虹彩を撮影した虹彩画像を取得し、
   虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力するように学習された学習モデルに、取得した虹彩画像を入力し、前記虹彩画像の対象者の健康状態を判定する
   処理をコンピュータが実行する情報処理方法。
6. 前記対象者の前記虹彩画像以外の生体データを取得し、
   虹彩画像及び生体データが入力された場合に前記対象者の健康状態に関する情報を出力するように学習された学習モデルに、取得した虹彩画像及び生体データを入力し、前記対象者の健康状態を判定する
   処理を前記コンピュータが実行する請求項５に記載の情報処理方法。
7. 前記生体データは、前記対象者の肌に関する肌データを含み、
   前記学習モデルに、取得した虹彩画像及び肌データを入力し、前記対象者の健康状態を判定する
   処理を前記コンピュータが実行する請求項６に記載の情報処理方法。
8. 前記生体データは、前記対象者の生体に関するデータを計測する計測器による計測結果を含み、
   前記学習モデルに、取得した虹彩画像及び計測器による計測結果を入力し、前記対象者の健康状態を判定する
   処理を前記コンピュータが実行する請求項６又は７に記載の情報処理方法。
9. 判定した健康状態に応じたアドバイスを出力する
   処理を前記コンピュータが実行する請求項５から８までのいずれかひとつに記載の情報処理方法。
10. 前記対象者の顔を撮影した顔画像を取得し、
    取得した顔画像から前記対象者の虹彩に対応する虹彩領域を抽出し、
    抽出した虹彩領域を前記学習モデルに入力し、前記対象者の健康状態を判定する
    処理を前記コンピュータが実行する請求項５から９までのいずれかひとつに記載の情報処理方法。
11. 前記対象者の虹彩画像に基づいて、前記対象者が飼育するペットの健康状態を推定する
    処理を前記コンピュータが実行する請求項５から１０までのいずれかひとつに記載の情報処理方法。
12. 前記学習モデルは、対象者の虹彩画像と、前記対象者の前記虹彩画像以外の生体データに基づいて判定された前記対象者の健康状態とを含む訓練データを用いて生成された学習モデルである
    請求項５から１１までのいずれかひとつに記載の情報処理方法。
13. 対象者を撮影する撮影装置から、前記対象者の虹彩を撮影した虹彩画像と、前記対象者の肌に関する肌データとを取得し、
    取得した虹彩画像及び肌データに基づいて、前記対象者の健康状態を判定し、
    判定結果を出力する
    処理をコンピュータが実行する情報処理方法。
14. 対象者の虹彩を撮影した虹彩画像を取得し、
    虹彩画像が入力された場合に前記虹彩画像の対象者の健康状態に関する情報を出力するように学習された学習モデルに、取得した虹彩画像を入力し、前記虹彩画像の対象者の健康状態を判定する
    処理をコンピュータに実行させるプログラム。

Images