JP2021056137A

JP2021056137A - 皮膚の状態の推定装置

Info

Publication number: JP2021056137A
Application number: JP2019180616A
Authority: JP
Inventors: 尚紀浅田; Hisanori Asada
Original assignee: Kobayashi Pharmaceutical Co Ltd
Current assignee: Kobayashi Pharmaceutical Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-04-08

Abstract

【課題】より簡便な手順で皮膚の状態を推定することができる装置を提供する。【解決手段】推定装置は、画像取得部と、推定部とを備える。画像取得部は、皮膚表面から採取した角層検体を顕微鏡により撮像した画像を取得する。推定部は、取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定する。【選択図】図６

Description

本発明は、皮膚の状態の推定装置に関する。

従来から、皮膚の状態を客観的に評価するための手法が開発されている。このような手法は、化粧品販売、皮膚科又はエステティックサロンにおける問診等において適用される。

特許文献１は、被験者から採取された角質試料中の成分を測定することにより、皮膚状態を評価する方法を開示している。皮膚の状態の評価結果は、例えば美容専門員等が、当該被験者に適したスキンケアに関するアドバイスを提供するのに利用可能である。

特開平１０−２１６１０６号公報

特許文献１に開示される方法では、採取された角質に含まれる成分を直接的に測定する。このため、角質に含まれる当該成分を抽出単離する必要があり、非常に手間がかかるため、より簡便に皮膚の状態を評価することができる方法及び装置の開発が依然として望まれていた。本発明は、このような課題を解決するためになされたものであり、その目的は、より簡便な手順で皮膚の状態を推定することができる装置、方法及びプログラム等を提供することである。

本発明に係る皮膚の状態の推定装置は、画像取得部と、推定部とを備える。画像取得部は、皮膚表面から採取した角層検体を顕微鏡により撮像した画像を取得する。推定部は、取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定する。

なお、機械学習モデルから導出される出力には、皮膚の状態を表す指標を表すデータ及び皮膚に適したスキンケア習慣に関するアドバイスを表すデータのうち少なくとも一方が含まれていてもよい。データは、数値データ、テキストデータ及び画像データ等であり得る。

前記推定装置においては、皮膚の表面から採取した角層検体を顕微鏡により撮像した画像に基づいて皮膚状態が推定される。このため、採取した角層検体に含まれる特定の成分を直接的に測定する必要がない。従って、手間のかかる工程を経ることなく、角層検体の提供者の皮膚の状態を表す指標及び前記皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方が推定される。

前記推定装置において、前記画像は、偏光顕微鏡により撮像した画像を含んでもよい。

前記推定装置において、皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量であってもよい。

前記推定装置において、前記推定部は、皮膚の表面から採取した角層検体を顕微鏡により撮像した画像と、正解データとのデータセットである学習用データを用いて学習された機械学習モデルを用いて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定してもよく、前記正解データは、前記角層検体から計測された値に基づく皮膚の状態を表す指標、角層検体から計測されたセラミド量及びタンパク質量のデータセット、並びに皮膚に適したスキンケア習慣に関するアドバイスのうちの少なくとも１つであってもよい。

なお、前記正解データに含まれる角層検体から計測された値に基づく皮膚の状態を表す指標は、当該指標を表すデータであってもよく、皮膚に適したスキンケア習慣に関するアドバイスは、当該アドバイスを表すデータであってもよい。データは、数値データ、テキストデータ及び画像データ等であり得る。

前記推定装置は、前記推定部により推定された結果を出力する結果出力部をさらに備えてもよい。

本発明に係る皮膚の状態の推定方法は、以下の（１）（２）のことを含む。
（１）皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を取得すること。
（２）取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定すること。

前記推定方法において、前記画像は、偏光顕微鏡により撮像した画像を含んでもよい。

前記推定方法において、皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量であってもよい。

本発明に係る皮膚の状態の推定プログラムは、以下の（１）（２）のことをコンピュータに実行させる。
（１）皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を取得すること。
（２）取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定すること。

前記推定プログラムにおいて、前記画像は、偏光顕微鏡により撮像した画像を含んでもよい。

前記推定プログラムにおいて、皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量であってもよい。

本発明に係る学習装置は、記憶部と、学習部とを備える。記憶部は、皮膚の表面から採取した角層検体を顕微鏡により撮像した画像と、正解データとのデータセットである学習用データを記憶する。学習部は、前記学習用データを用いて機械学習モデルの学習を行う。前記正解データは、前記角層検体から計測された値に基づく皮膚の状態を表す指標、前記角層検体から計測されたセラミド量及びタンパク質量のデータセット、並びに皮膚に適したスキンケア習慣に関するアドバイスのうちの少なくとも１つである。

前記学習装置において、前記画像は、偏光顕微鏡により撮像した画像を含んでもよい。

前記学習装置において、皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量であってもよい。

本発明に係る学習済みモデルの生成方法は、以下の（１）（２）のステップを含む。
（１）皮膚の表面から採取した角層検体を顕微鏡により撮像した画像と、正解データとのデータセットである学習用データを用意するステップ。
（２）前記学習用データを用いて、皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を入力すると、前記正解データに対応するデータが出力されるように機械学習を行うステップ。
なお、前記正解データは、前記角層検体から計測された値に基づく皮膚の状態を表す指標、前記角層検体から計測されたセラミド量及びタンパク質量のデータセット、並びに皮膚に適したスキンケア習慣に関するアドバイスのうちの少なくとも１つであってもよい。

なお、正解データに含まれる角層検体から計測された値に基づく皮膚の状態を表す指標は、当該指標を表すデータであってもよく、皮膚に適したスキンケア習慣に関するアドバイスは、当該アドバイスを表すデータであってもよい。データは、数値データ、テキストデータ及び画像データ等であり得る。

前記学習済みモデルの生成方法において、前記画像は、偏光顕微鏡により撮像した画像を含んでもよい。

前記学習済みモデルの生成方法において、皮膚の状態を表す前記指標は、角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量であってもよい。

本発明によれば、被験者から採取した角層検体を顕微鏡により撮像した画像に基づいて、当該被験者の皮膚の状態を推定する。従って、簡便に皮膚の状態を推定し、被験者に適したスキンケア習慣に関するアドバイスを提供することが可能になる。

本発明の一実施形態に係る推定装置の電気的構成を示すブロック図。本発明の原理を説明する図。本発明の原理を説明する図。本発明の原理を説明する図。本発明の一実施形態に係る学習装置の電気的構成を示すブロック図。推定処理の手順を示すフローチャート。本発明の一実施形態に係る推定装置の動作を説明する図。

＜１．推定装置の概要＞
以下、本発明の一実施形態に係る皮膚状態の推定装置、推定方法、推定プログラム及び機械学習済みモデルの生成方法について図面を参照しつつ説明する。

図１に示す推定装置１は、本発明に係る推定装置の一実施形態である。推定装置１は、ハードウェアとしては、汎用のコンピュータである。推定装置１には、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体又はネットワーク等を介して提供された推定プログラム２０がインストールされている。本実施形態に係る推定プログラム２０は、角層検体の画像から皮膚の状態を表す指標及びその皮膚に適したスキンケア習慣に関するアドバイスを推定するアプリケーションソフトウェアである。推定プログラム２０は、推定装置１に後述する動作に含まれるステップを実行させる。

推定装置１は、記憶部２、制御部３、表示部６、入力部４及び通信部５を備える。これらの部２〜５は、互いにバス線やケーブル等の通信線８を介して接続されており、適宜、通信可能である。通信部５は、顕微鏡等の外部装置との通信を行う。表示部６は、液晶ディスプレイ等から構成され、後述する情報をユーザに対し表示する。入力部４は、マウスやキーボード、タッチパネルから構成され、推定装置１に対するユーザからの入力を受け付ける。記憶部２は、ハードディスクやフラッシュメモリ等から構成される不揮発性の記憶領域である。制御部３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から構成され、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）及びその他のＡＩ専用チップを含んでもよい。推定装置１のユーザは、皮膚表面の角層検体を提供する被験者に対し、皮膚の状態に関する相談を受け付け、被験者に適した製品及び処置の推奨を行う者であり得る。

記憶部２内には、皮膚状態の推定プログラム２０が格納されている。本実施形態の推定プログラム２０は、後述する学習装置１００において学習された学習済みの機械学習モデル（推定モデル２２）に角層検体の画像を入力することにより、推定モデル２２から皮膚の状態を表す指標を導出する。また、記憶部２内には、スキンケア習慣に関するアドバイスを、推定された皮膚の状態を表す指標と関連付けて格納するデータベース２１が保存されている。本実施形態の推定プログラム２０は、導出された皮膚の状態を表す指標に基づき、データベース２１の中から適切なスキンケア習慣に関するアドバイスを読み出し、表示部６にこれを表示させる。

制御部３は、記憶部２内に格納されている推定プログラム２０を読み出して実行することにより、仮想的に画像取得部３０、推定部３１、結果出力部３２として動作する。画像取得部３０は、外部の顕微鏡を用いて取得された角層検体の画像を読み込む。推定部３１は、推定モデル２２により、被験者の皮膚の状態を推定する。結果出力部３２は、皮膚の状態を表す指標、これに加えて又は代えてスキンケア習慣に関するアドバイスを表示部６に表示させる。各部の詳細な動作は、後述する。

＜２．皮膚状態の推定原理＞
以下では、本発明の一実施形態に係る皮膚の状態の推定原理について説明する。推定装置１は、この原理に基づいて皮膚の状態を推定する。

皮膚の角層では、角質細胞が重なって複数の層を構成している。角質細胞と角質細胞との間は、角質細胞間脂質で満たされている。角質細胞間脂質の１つがセラミドであり、セラミドは、水分を保持して皮膚の潤いを保つとともに、外部刺激に対するバリア機能を担う。一般に、角層に存在するセラミドの量が多ければ保湿力がより高く、そしてバリア機能がより高い皮膚の状態であると言える。

角層は、例えば接着性の層を有する角層採取具を皮膚表面に貼って剥がすことにより、つまりテープストリッピングにより、容易に採取することができる。本発明者は、角層採取具に付着した角層検体を顕微鏡で観察し、角層を顕微鏡で撮像した画像には、皮膚の状態に関する情報が画像の特徴として現れることを見出した。図２は、このことを説明する図である。本発明者は、角層検体を偏光顕微鏡で撮像した画像（偏光顕微鏡像）の輝度値をピクセルごとに積算したＣＩＡ値は、角層検体に含まれるセラミドの実測量と相関を有することを発見した。本発明者が行った実験結果に基づいて、ＣＩＡ値とセラミドの実測量とをプロットしたグラフを図２中に示す。また、本発明者は、角層検体を顕微鏡の明視野で撮像した画像（明視野像）の輝度値をピクセルごとに積算したＤＩＡ値は、角層検体に含まれるタンパク質の実測量と相関を有することを発見した。本発明者が行った実験結果に基づいて、ＤＩＡ値とタンパク質の実測量とをプロットしたグラフを図２中に示す。このタンパク質は角質細胞を構成する主成分である。なお、セラミドの実測量は、角層検体を含んで作成された試料液を公知のＨＰＬＣ（高速液体クロマトグラフィー）に供することにより計測した。また、タンパク質の実測量は、角層検体を含んで作成された試料液を公知のプロテインアッセイＢＣＡキットに供することにより計測した。

以下、角層検体に含まれるセラミド量を絶対セラミド量と称し、角層検体に含まれるタンパク質量を絶対タンパク質量と称することがある。また、絶対セラミド量を絶対タンパク質量で除した値を、単位セラミド量と称する。単位セラミド量は、角質細胞当たりのセラミド量を示す量であると言うことができる。図２に示すように、ＣＩＡ値をＤＩＡ値で除した値（ＣＩＡ／ＤＩＡ）は、角層検体に含まれるセラミドの実測量をタンパク質の実測量で除したセラミド量（実測量に基づく単位セラミド量）と相関を有する。

上で説明したように、皮膚の状態は、角層に存在するセラミドの量で評価することができる。しかし、テープストリッピングによる角層の剥離し易さには個人差があるため、絶対セラミド量は、必ずしも皮膚の状態を適切に反映しない可能性がある。従って、皮膚の状態は、単位セラミド量を用いて評価することが好ましい。単位セラミド量が多い程、保湿力及びバリア機能が高い皮膚の状態であると言え、単位セラミド量が少ない程、保湿力及びバリア機能が低い皮膚の状態であると言える。

本発明者は、以上の知見をさらに応用して、機械学習により抽出される偏光顕微鏡像の特徴量と、セラミドの実測量及び単位セラミド量とが関係を有することを見出した。図３Ａは、このことを説明する図である。図３Ａには、発明者が構築した機械学習モデルを用いて偏光顕微鏡像から推定された推定セラミド量が、前記方法で計測されたセラミド実測量に対してプロットされたグラフが示されている。このグラフから分かるように、セラミド実測量と推定セラミド量とは、０．８１程度の相関係数を有していた。また、図３Ａには、同様の機械学習モデルを用いて偏光顕微鏡像から推定された推定単位セラミド量が実測量に基づいて算出された単位セラミド量に対してプロットされたグラフが示されている。このグラフから分かるように、実測量に基づく単位セラミド量と推定単位セラミド量とは、０．６５程度の相関係数を有していた。つまり、単位セラミド量は、偏光顕微鏡像及び明視野像に基づいた前記画像処理的手法により推定することができるが、機械学習を用いた場合、偏光顕微鏡画像のみに基づいても良好な精度で推定することができる。

なお、発明者は、前記と同様の機械学習により抽出される明視野像の特徴量と、タンパク質の実測量とが関係を有することをさらに見出した。図３Ｂには、図３Ａと同様の機械学習モデルを用いて明視野像から推定された推定タンパク質量が、前記方法で計測されたタンパク質実測量に対してプロットされたグラフが示されている。このグラフから分かるように、タンパク質実測量と推定タンパク質量とは、０．８８程度の相関係数を有していた。このように、明視野像に基づいてはタンパク質量を良好な精度で推定できる。従って、同一の機械学習モデルにおいて、偏光顕微鏡像の入力から絶対セラミド量を出力するとともに、明視野画像の入力から絶対タンパク質量を出力し、これらの出力に基づいて単位セラミド量を推定することも可能である。

発明者は、これらの知見に基づいて、偏光顕微鏡像を入力すると、推定絶対セラミド量及び推定単位セラミド量に対応する値を出力する機械学習モデルを構築した。推定装置１では、以上の知見に基づいて構築された学習済みの機械学習モデル（推定モデル２２）により、角層検体の顕微鏡画像に基づいて皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスを推定する（図６参照）。以下では、本発明の一実施形態に係る学習装置１００による推定モデルの学習について説明する。
＜３．学習装置の構成＞

図４は、学習装置１００の電気的構成を示すブロック図である。学習装置１００は、ハードウェアとしては、汎用のコンピュータであり、推定装置１と同じ装置であってもよい。学習装置１００は、記憶部２００、制御部３００、表示部６００、入力部４００及び通信部５００を備える。これらの部２００〜５００は、互いにバス線やケーブル等の通信線８００を介して接続されており、適宜、通信可能である。表示部６００は、液晶ディスプレイ等から構成される。入力部４００は、マウスやキーボード、タッチパネルから構成され、学習装置１００に対するユーザからの入力を受け付ける。記憶部２００は、ハードディスクやフラッシュメモリ等から構成される不揮発性の記憶領域である。制御部３００は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成され、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ及びその他のＡＩ専用チップを含んでもよい。

記憶部２００には、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体又はネットワーク等を介して提供された学習プログラム２１０がインストールされている。学習プログラム２１０は、機械学習モデルを構築し、構築された機械学習モデルを学習させる機能を有する。

記憶部２００には、学習のために用意された学習用データ２２０が格納されている。学習用データ２２０は、角層検体を顕微鏡により撮像した画像と、正解データとの多数のデータセットである。本実施形態の学習用データ２２０は、角層検体の偏光顕微鏡像のデータと、同じ角層検体から計測された絶対セラミド量及び単位セラミド量が正解データとして対応付けられた多数のデータセットである。単位セラミド量のデータは、角層検体から直接実測された絶対セラミド量及び角層検体から直接実測された絶対タンパク質量の値に基づいて予め算出される。本実施形態の学習用データ２２０に含まれる偏光顕微鏡像のデータは、全て同一のピクセル数を有し、８ビットグレースケールに変換されている。

学習用データ２２０を作成するための角層検体の採取方法は特に限定されないが、本実施形態では被験者の腕の皮膚表面からテープストリッピングにより採取された角層検体を用いる。テープストリッピングに用いる角層採取具は特に限定されないが、複屈折性が低く、透光性に優れるものが好ましい。

偏光顕微鏡像は、偏光顕微鏡により角質採取具に付着した状態の角層を撮像した画像である。偏光顕微鏡の拡大倍率は、本実施形態では１００倍である。しかしながら、拡大倍率はこれに限定されず、皮膚の状態と関係のある偏光顕微鏡像の特徴を抽出できる限り、適宜変更されてもよい。

絶対セラミド量及び絶対タンパク質量の実測方法は特に限定されず、公知の方法を用いることができる。本実施形態に係る計測方法では、まず採取した角層を含むサンプルからヘキサンを用いて試料液を作成し、これを遠心分離して得られた沈殿物からセラミドを抽出する。次に、抽出したセラミドを酵素分解し、セラミドに由来する成分を蛍光修飾した試料液を得る。得られた試料液をＨＰＬＣに供し、測定されたセラミド量を絶対セラミド量としている。また、セラミド量を測定した後の試料液を用い、公知のプロテインアッセイＢＣＡキットによって測定されたタンパク質量を、絶対タンパク質量としている。

制御部３００は、ユーザが入力部４００を介して所定の操作を行ったことを検知すると、学習プログラム２１０を起動する。学習部３１０は、ユーザの所定の操作により、機械学習モデルを構築する。機械学習モデルの種類は特に限定されないが、本実施形態では、図３に概要を示すようなニューラルネットワークである。ニューラルネットワークの中間層の数は、特に限定されず、ユーザが適宜設定することができる。ニューラルネットワークが構築されると、学習部３１０は、ユーザの所定の操作により、学習用データ２２０を読み出し、入力を偏光顕微鏡像のデータ、出力を絶対セラミド量及び単位セラミド量（つまり、正解データに対応するデータ）として、ニューラルネットワークの学習を行う。学習の回数（epoch）は特に限定されず、適宜設定することができる。また、学習は、所定の回数ではなく、検証による誤差が所定の基準を満たすまで繰り返されてもよい。学習部結果出力部３２０は、表示部６００に１回ごとの学習結果等を表示するとともに、学習終了時点におけるパラメータを記憶部２００の学習結果保存領域２３０に保存する。このようにして学習されたパラメータが適用された機械学習モデルは、推定モデル２２として推定装置１内に保存され、推定装置１の処理に適用される。言い換えると、推定モデル２２は、学習済みのパラメータが組み込まれた推論プログラムであって、偏光顕微鏡像を入力することにより、単位セラミド量及び絶対セラミド量の出力又は推定をコンピュータに行わせる。推定モデル２２自体は、推論プログラムとして、推定装置１の記憶部から独立した不揮発性の記憶媒体に保存されてもよい。以下、推定モデル２２を、ニューラルネットワーク２２と表現することがある。

＜４．推定装置の動作＞
以下、図５及び６を参照して、学習装置１００によって学習されたニューラルネットワーク２２が適用された推定装置１の動作について説明する。推定装置１は、角層検体の画像の特徴量から単位セラミド量を推定し、推定した単位セラミド量に基づき、被験者に応じたスキンケア習慣に関するアドバイスを出力する。推定装置１は、図示しない外部の顕微鏡と有線又は無線により通信可能に接続されている。推定装置１の推定プログラム２０が起動し、顕微鏡により撮像された画像を読み込むための準備が整うと、処理は図５のフローチャートに示すスタート状態となる。

まず、推定装置１が読み込むための画像が準備される。具体的には、ユーザが、被験者の腕部の皮膚表面からテープストリッピングにより角層検体を採取する。採取に用いる角層採取具は、学習用データ２２０を作成する際に用いたものと同様の物であることが好ましい。続いて、ユーザが、角層採取具に付着した角層検体を顕微鏡により撮像する。顕微鏡の拡大倍率は、例えば１００倍とすることができる。このときに用いられる顕微鏡は、本実施形態では偏光顕微鏡である。

ステップＳ１では、制御部３がユーザからの命令を受け付け、画像取得部３０に角層検体を撮像した画像を読み込ませる。画像取得部３０は、画像を読み込み、画像のデータをＲＡＭ等に一時保存する。

ステップＳ２では、画像取得部３０が一時保存された画像を学習用データ２２０に含まれる画像データと同様の形式及びサイズに変換する。本実施形態では、画像取得部３０が一時保存された画像を８ビットグレースケール画像に変換する。

画像の変換が完了すると、処理はステップＳ３に続く。ステップＳ３では、推定部３１が学習装置１００によって学習されたニューラルネットワーク２２を用いて、読み込んだ画像の特徴を示す指標から、皮膚の状態を表す指標を推定する。本実施形態では、皮膚の状態を表す指標は、単位セラミド量である。より具体的には、推定部３１が読み込んだ画像をニューラルネットワーク２２に入力すると、ニューラルネットワーク２２から推定セラミド量及び単位セラミド量に対応する値が出力される。以下、このときの単位セラミド量を推定単位セラミド量ということがある。ここで、単位セラミド量は、単位セラミド量の値そのものであってもよいし、単位セラミド量の値に応じて分類される、予め設けられたカテゴリを表していてもよい。本実施形態では、ニューラルネットワーク２２の出力値が、セラミド量及び単位セラミド量の値を表している。

本実施形態のステップＳ４では、推定部３１が、推定単位セラミド量に基づいて、推定単位セラミド量をその値に応じたカテゴリに分類する。カテゴリは、例えば、単位セラミド量が多い方から段階的に分類されるセラミドレベルである。より具体的には、単位セラミド量が多い方から５段階に分類されたセラミドレベル１〜５等であってもよい。また、カテゴリは、単位セラミド量が多い方から段階的に分類される「潤っている」「普通」「乾燥している」等、水分量に関する状態をそれぞれ表現したものであってもよい。また、カテゴリは、単位セラミド量が多い方から段階的に分類される「高い」「普通」「低い」等、肌のバリア機能に関する状態をそれぞれ表現したものであってもよい。なお、推定モデルの学習の際に、正解データにこれらのカテゴリを表すデータを含めて学習を行い、被験者の皮膚の状態が分類されるカテゴリを表すデータが、ニューラルネットワーク２２から導出された出力に含まれるような構成としてもよい。

続くステップＳ５では、結果出力部３２が皮膚の状態を表す指標すなわち単位セラミド量に関連付けられた、スキンケア習慣に関するアドバイスをデータベース２１から読み出し、推定単位セラミド量と共に表示部６に表示させる。皮膚の状態を表す指標の表示態様は、特に限定されない。例えば、推定単位セラミド量を表す数値、推定単位セラミド量の値が分類されたカテゴリを表す文字列、推定単位セラミド量の値が分類されたカテゴリを表すアイコン、及びカテゴリ全体を表すスケールの中で、その推定単位セラミド量の値が該当するカテゴリが位置する場所を示すグラフィック等の態様で表示することができる。図６に示す例では、推定単位セラミド量の値が分類されたカテゴリを表す文字列として、「セラミドレベル：４」といった文字列が表示されている。また、スキンケア習慣に関するアドバイスは、被験者の皮膚の状態に応じて、その皮膚の状態をより向上又は維持するための製品を特定する情報を含むことができる。製品は、化粧品、医薬部外品、栄養補助食品、食品及び薬品等を含む。また、スキンケア習慣に関するアドバイスは、洗顔方法、食生活及び睡眠時間といった皮膚の状態に影響を及ぼし得る生活習慣に関する内容、及びこれらの生活習慣を改善するための製品の紹介を含んでもよい。図６に示す例では、「推奨する製品は『〇〇』です。」といった、製品を特定する文字列と共に、その製品の外観図が表示されている。なお、推定モデルの学習の際に、正解データにスキンケア習慣に関するアドバイスを表すデータを含めて学習を行い、被験者の皮膚に適すると推定されるスキンケア習慣に関するアドバイスを表すデータが、ニューラルネットワーク２２から導出された出力に含まれるような構成としてもよい。

ユーザは、推定装置１によって表示された皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスを被験者に提示することができる。被験者は自身やユーザの主観に捕らわれることなく、自身の皮膚の状態を認識し、皮膚の状態に適したスキンケア習慣についてのアドバイスを得ることができる。また、ユーザは被験者の皮膚状態、推奨される製品、及びスキンケア習慣に関して更なる解説を行ったり、被験者からの質問に答えることができる。

＜５．適用形態＞
本発明の一実施形態に係る推定装置１は、例えば、エステティックサロン、コスメティックストア及びクリニック等において、美容に関するサービスに従事する美容専門員等が、顧客にスキンケア商品を販売する際に使用され得る。つまり、前記実施形態のユーザは美容専門員であり得、被験者は美容に関するサービスを受ける顧客であり得る。

＜６．変形例＞
以上、本発明の一実施形態について説明したが、本発明は前記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。なお、以下の変形例は、適宜、組み合わせることができる。

（１）入力を偏光顕微鏡像とする推定装置１の推定モデル２２の出力は、推定単位セラミド量のみであってもよいし、スキンケア習慣に関するアドバイスのみであってもよい。また、推定モデル２２の出力は、推定単位セラミド量とスキンケア習慣に関するアドバイスであってもよいし、推定単位セラミド量と推定セラミド量とスキンケア習慣に関するアドバイスであってもよい。学習用データ２２０の正解データは、推定モデル２２の出力と同種のデータとすることができる。例えば、推定モデル２２の出力が単位セラミド量であるとき、正解データを単位セラミド量とすることができる。また、推定モデル２２の出力がスキンケア習慣に関するアドバイスであるとき、正解データをスキンケア習慣に関するアドバイスとすることができる。同様に、推定モデル２２の出力の種類が複数であるとは、正解データを当該複数の種類のデータとすることができる。

（２）結果出力部３２は、皮膚の状態を表す指標又はスキンケア習慣に関するアドバイスのいずれか一方のみを表示部６に表示させてもよい。皮膚の状態を表す指標のみを表示部６に表示させる場合等は、推定装置１においてデータベース２１の構成を省略してもよい。

（３）角層検体を採取する主体、角層検体を顕微鏡で撮像する主体、推定装置１を操作する主体は、それぞれ別の主体であってもよい。さらに、角層検体を採取するのは、推定装置１のユーザではなく被験者自身であってもよい。この場合、遠隔の被験者が自身の角層検体を採取し、推定装置１を使用するユーザに採取した角層検体を送付することができる。ユーザは、送付された角層検体から推定装置１に被験者の皮膚の状態を推定させる。ユーザは、推定装置１によって出力された皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスのうち少なくとも一方を、書類、電子データ及び音声データ等の形式で、被験者に提供することができる。

（４）結果出力部３２は、皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスのうち少なくとも一方を印刷プリンタにより紙等の媒体に出力してもよい。この場合、推定装置１において表示部６の構成を省略してもよい。

（５）前記実施形態では、ニューラルネットワーク２２に入力される画像データ及び学習用データ２２０に含まれる画像データとして偏光顕微鏡像のデータを用いる例を示したが、顕微鏡画像のデータはこれに限定されない。画像データは、角層検体に含まれる絶対タンパク質量及び絶対セラミド量の少なくとも一方に関係する特徴を有する限り、様々な種類の顕微鏡による画像データを用いることができる。例えば、上で説明したように、明視野像の特徴量は絶対タンパク質量と関係を有する。従って、推定モデル２２は、入力を明視野像のデータ及び偏光顕微鏡像のデータとし、出力が絶対タンパク質量及び絶対セラミド量を含むように構成されてもいてもよい。この場合、出力はさらに推定単位セラミド量及びスキンケア習慣に関するアドバイスのうち少なくとも一方を含んでもよい。あるいは、推定モデル２２から出力された絶対タンパク質量及び絶対セラミド量に基づいて、推定部３１が皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスのうち少なくとも一方を推定してもよい。また、推定モデル２２は、入力を明視野像のデータ及び偏光顕微鏡像のデータとし、出力が皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスのうち少なくとも一方を含むように構成されてもよい。

（６）さらに、学習用データ２２０を構成するデータセットは、推定モデル２２の入力及び出力に応じて適宜変更されてよい。例えば、学習用データ２２０は、明視野像のデータ及び偏光顕微鏡像のデータと、正解データとして絶対タンパク質量及び絶対セラミド量のデータとが組み合わせられたデータセットであってもよい。さらに、正解データは、推定単位セラミド量及びスキンケア習慣に関するアドバイスのうち少なくとも一方を含んでもよい。また、学習用データ２２０は、明視野像のデータ及び偏光顕微鏡像のデータと、正解データとして皮膚の状態を表す指標及びスキンケア習慣に関するアドバイスのうち少なくとも一方とが組み合わさられたデータセットであってもよい。

（７）推定装置１は、画像取得部３０により取得された角層検体の画像を記憶部２に保存してもよい。このとき、被験者を識別するデータ、画像が撮像された年月日のデータ及び推定された皮膚状態等が画像に関連付けられて保存されてもよい。このような構成では、例えばユーザが同じ被験者の皮膚状態を時系列で比較することができ、被験者が実践したスキンケア習慣に関するアドバイスの有効性を検証することができる。

（８）学習装置１００及び推定装置１は、皮膚の状態を推定する機械学習モデルとしてニューラルネットワークを用いたが、機械学習モデルはこれに限られず、サポートベクタマシン、回帰モデル、決定木モデル等、公知の物を用いてもよい。

（９）推定装置１は、推定部３１を備えず、推定部３１の機能が別のハードウェアに備えられていてもよい。例えば、クラウドサービスを提供するサーバに保持された推定モデル２２が単位セラミド量を推定してもよい。

（１０）学習装置１００は、学習部３１０を備えず、学習部３１０の機能が別のハードウェアに備えられていてもよい。例えば、クラウドサービスを提供するサーバに保持されたプログラムが機械学習モデルの構築及び学習を行ってもよい。

＜７．特徴＞
（１）前記実施形態による推定装置１によれば、被験者から採取した角層検体の画像から被験者の皮膚状態を推定する。このように、角層検体を直接成分分析することなく皮膚状態を推定できるため、ユーザと被験者の双方にとって簡便で利用しやすく、時間的な負担が大幅に軽減される。

（２）前記実施形態による推定装置１によれば、多数のデータに基づいてユーザ及び被験者の主観によらない皮膚状態の推定が行われる。このため、問診や角層の成分分析により皮膚状態を評価していたユーザの手間が軽減される。これにより、ユーザは、被験者の皮膚状態を向上又は維持するために、製品紹介を含めたスキンケア習慣に関する提案に、より重点を置いた活動をすることができる。

１推定装置
２記憶部
３制御部
４入力部
５通信部
１００学習装置

Claims

皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を取得する画像取得部と、
取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定する推定部と
を備える、
皮膚の状態の推定装置。
前記画像は、偏光顕微鏡により撮像した画像を含む、
請求項１に記載の推定装置。
皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量である、
請求項１又は２に記載の推定装置。
前記推定部は、皮膚の表面から採取した角層検体を顕微鏡により撮像した画像と、正解データとのデータセットである学習用データを用いて学習された機械学習モデルを用いて、皮膚の状態を表す前記指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定し、
前記正解データは、角層検体から計測された値に基づく皮膚の状態を表す指標、角層検体から計測されたセラミド量及びタンパク質量のデータセット、並びに皮膚に適したスキンケア習慣に関するアドバイスのうちの少なくとも１つである、
請求項２又は３に記載の推定装置。
前記推定部により推定された結果を出力する結果出力部
をさらに備える、
請求項１から４のいずれかに記載の推定装置。
皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を取得することと、
取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定することと
を備える、
皮膚の状態の推定方法。
前記画像は、偏光顕微鏡により撮像した画像を含む、
請求項６に記載の推定方法。
皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量である、
請求項６又は７のいずれかに記載の推定方法。
皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を取得することと、
取得した前記画像を学習済みの機械学習モデルに入力することにより、前記機械学習モデルから出力を導出し、当該出力に基づいて、皮膚の状態を表す指標及び皮膚に適したスキンケア習慣に関するアドバイスのうち少なくとも一方を推定することと
をコンピュータに実行させる、
皮膚の状態の推定プログラム。
前記画像は、偏光顕微鏡により撮像した画像を含む、
請求項９に記載の推定プログラム。
皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量である、
請求項９又は１０のいずれかに記載の推定プログラム。
皮膚の表面から採取した角層検体を顕微鏡により撮像した画像と、正解データとのデータセットである学習用データを記憶する記憶部と、
前記学習用データを用いて機械学習モデルの学習を行う学習部と
を備え、
前記正解データは、前記角層検体から計測された値に基づく皮膚の状態を表す指標、前記角層検体から計測されたセラミド量及びタンパク質量のデータセット、並びに皮膚に適したスキンケア習慣に関するアドバイスのうちの少なくとも１つである、
学習装置。
前記画像は、偏光顕微鏡により撮像した画像を含む、
請求項１２に記載の学習装置。
皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量である、
請求項１２又は１３に記載の学習装置。
皮膚の表面から採取した角層検体を顕微鏡により撮像した画像と、正解データとのデータセットである学習用データを用意するステップと、
前記学習用データを用いて、皮膚の表面から採取した角層検体を顕微鏡により撮像した画像を入力すると、前記正解データに対応するデータが出力されるように機械学習を行うステップと
を備え、
前記正解データは、前記角層検体から計測された値に基づく皮膚の状態を表す指標、前記角層検体から計測されたセラミド量及びタンパク質量のデータセット、並びに皮膚に適したスキンケア習慣に関するアドバイスのうちの少なくとも１つである、
学習済みモデルの生成方法。
前記画像は、偏光顕微鏡により撮像した画像を含む、
請求項１５に記載の学習済みモデルの生成方法。
皮膚の状態を表す前記指標は、前記角層検体に含まれる角質細胞当たりのセラミド量を表す単位セラミド量である、
請求項１５又は１６に記載の学習済みモデルの生成方法。