JP2023014469A - 肌状態分析装置及びシステム - Google Patents

Abstract

【課題】顔の肌の状態や皮膚疾病に罹っているか否かを分析し診断する新たな装置を提案する。【解決手段】フェイス画像を取得するスマートミラー２と肌画像を取得するスマートフォン３を肌情報処理装置４に接続し、前記両画像を肌情報処理装置４で記録する。記録された過去のフェイス画像と最近取得したフェイス画像を対比して肌状態を判定し、併せて皮膚疾患に罹っていないか否かを分析し、判定・分析結果を利用者に通知して美容促進と健康維持の便宜に資する。【選択図】図１

Description

本発明は、利用者の顔の肌の状態を分析して利用者に有用な美容や医療に関する情報を提供する装置に関する。

ユーザーに対して美容促進を目的とした情報を提供する支援システムが知られている。
この支援システムは画像処理技術を利用し、例えばユーザーを撮影した撮影データから、ユーザーの肌や頭皮の状態を評価し、美容促進に関する情報を通知する処理を行うように構成されている（例えば特許文献１参照）。

特開２０１８－９７８９９号公報

ところで、前記のような画像処理技術を用いたシステムの医療用への展開に関しては、特に外観上シミやホクロのような正常部と患部との識別が目視では困難な皮膚病、例えば皮膚がん（メラノーマ）の診断への使用は未対応の状況である。
皮膚がんは罹患者数が世界で約３２万人／年とも言われており、非メラノーマの死亡率が５％に対して、メラノーマの死亡率は１８％と高く、罹患していることに気づきにくい反面、疾患部の進行が極めて早いのが特徴である。

本発明は、上記実情に鑑みなされたものであって、その解決する課題は、診断の正確性と疾患部の早期発見との両立の観点から、特に皮膚がんの予防対策として、肌状態を分析し診断する新たな装置及びシステムを提案することにある。

前記課題を解決するため本発明は、利用者のフェイス画像を取得する装置と利用者の肌画像を取得する装置が接続される肌状態分析装置であって、
前記フェイス画像を記録する画像記録手段と、
前記取得されたフェイス画像と前記画像記録手段に記録された過去のフェイス画像を対比して顔全体の肌状態を判定する手段と、
前記判定結果に基づいて利用者に好適な化粧方法などの美容情報を生成して利用者に通知する手段と、
前記判定結果に基づいて特定皮膚疾患が生じている可能性を分析する特定皮膚疾患分析手段と、
前記分析結果に基づいて顔の局所部位の肌画像の取得を利用者に要求する手段と、
前記要求に応じて利用者が取得した肌画像を診断する肌状態診断手段と、
前記肌状態診断手段による診断結果を利用者に通知する手段と、を備えることを特徴とする。
また、前記各手段に加え、前記肌状態診断手段による診断結果を医療部門に通知して詳細な診断を要求する手段と、前記医療部門の診断結果を利用者に通知する手段を備えることを特徴とする。
また、前記特定皮膚疾患として皮膚がんの診断を行う装置であることを特徴とする。

本発明の肌状態分析装置によれば、利用者の化粧前の素顔の画像をフェイス画像として日々取得してこれを記録し、記録された過去のフェイス画像と取得したフェイス画像とを対比することで、利用者の現在の肌の状態を判定することができ、この判定結果から利用者に望ましい化粧方法などの美容情報を利用者に提供して、日常の美容促進の便宜に資することができる。
さらに、前記判定結果に基づいて、利用者が皮膚がんなどの特定皮膚疾患に罹っている可能性を分析し、その可能性がある場合には利用者に顔の局所部位の肌画像の取得を促し、取得した肌画像から詳細な肌状態の診断を行うことで、利用者自身が気づく前に皮膚疾患に罹っているか否かを判別することができる。
この場合に、前記肌状態診断手段による診断結果を医療部門に通知し、専門医による詳細が診断を行うことで、正確な診断結果を得ることが可能である。
そして、罹患していると診断されたときには、それを利用者に通知して早期の治療を行うことで利用者の健康維持に資することが可能である。

前記構成の肌状態分析装置において、美容情報生成手段と特定皮膚疾患分析手段はＡIによる深層学習のモデル生成手段を含むことが好ましい。
すなわち、前記美容情報生成手段は、例えば人物の顔の輪郭、目や鼻、口、眉毛の位置や形状の実測値を教師データとして用い、利用者の顔全体の肌状態から化粧をすることで当該利用者の顔の見栄えが良くなる推定モデルをＡIによる深層学習により生成するモデル生成手段を有することが好ましい。
また、前記特定皮膚疾患分析手段は、例えば皮膚疾患を撮影した画像から得られる罹患部の大きさや形状、色、罹患位置などの実測値を教師データとして用い、皮膚疾患である可能性が高い肌画像の推定モデルをＡIによる深層学習により生成するモデル生成手段を有することが好ましい。
前記美容情報生成手段と特定皮膚疾患分析手段がＡIによる深層学習によりモデル生成手段を有することで、利用者に適した化粧方法や使用する化粧の選択などの美容情報を自動生成することができ、また、利用者が特定皮膚疾患に罹患しているか否かの判別処理を高い精度で且つ自動で行うことができ、これら生成された美容情報や皮膚疾患に罹っている否かの診断結果を利用者に通知することで、利用者の美容促進と健康維持に資することができる。

前記構成の肌状態分析装置において、フェイス画像取得手段はスマートミラーを用いることができる。
このスマートミラーは、顔全体を等身大で撮影可能なサイズ、又は身体全体を等身大で撮影可能なサイズのものを用いることが好ましい。
また、肌画像取得手段は、スマートフォンを用いることができる。

前記構成の肌状態分析装置は、利用者が新たに設備を導入することなく、日々の生活の中で肌の状態を分析し診断結果が得られる環境を利用者の日常生活に融和させることも目的の一つであり、利用者の個人宅において利用可能である他、美容室やフィットネスクラブ、住宅、百貨店の化粧品販売コーナーや化粧室などの商業施設において利用可能に構成することができる。この場合、前記スマートミラーを前記何れかの施設に設置し、このスマートミラーで利用者のフェイス画像を取得し、スマートミラーと通信回線を介して接続した処理装置にデータを送信して処理がなされるように構成される。

本発明の一実施形態の肌状態分析システムの構成を示した図である。 肌状態分析装置のデータ処理部の概略構成を説明するための図である。 スマートミラーにより取得したフェイス画像を示しており、（Ａ）は過去に取得して記録されたフェイス画像、（Ｂ）は最近取得したフェイス画像である。 スマートフォンで取得する肌画像を示した図である。

以下、本発明の好適な一実施形態を、図面を参照して説明する。なお、本発明は以下に説明する実施形態に限定されるものではない。

本発明は、利用者の顔の画像を取得し、これを基に顔の肌の状態を分析して、さらには皮膚疾患の発生の有無を診断して、利用者にとって有用な美容情報や疾病診断情報を提供するためのものである。
図１に示されるように、本発明の一実施形態の肌状態分析システム（以下、「本システム」ともいう。）は、スマートミラー２と、カメラ機能付きのスマートフォン３と、データ処理サーバーである肌状態分析装置４とを備え、通信回線５を介して前記スマートミラー２とスマートフォン３を肌状態分析装置４に接続して構成されている。同図中、符番６は医療部門の専門医が使用する情報処理端末である。

スマートミラー２は、利用者のフェイス画像を取得する手段であり、利用者を映す鏡面内に電子情報を表示する機能を有するディスプレイ部と、ディスプレイ部と相対した利用者を撮影するカメラ部と、通信回線５に接続する通信部とを備え、前記カメラ部で利用者の顔を撮影してフェイス画像を取得し、これを肌状態分析装置４に送信し、また、肌状態分析装置４から通知された情報を電子情報として前記ディスプレイ部に表示出力することができるように構成されている。
スマートミラー５はマイクとスピーカー、音声認識手段を搭載し、前記肌状態分析装置４との間で会話による音声認識処理を通じてフェイス画像の取得などの情報処理がなされるようにしてもよい。

スマートフォン３は、利用者の顔の肌画像を取得する手段であり、内蔵するカメラで撮影した肌画像を、通信回線５を介して肌状態分析装置４に送信し、また、肌状態分析装置４から通知された情報を受信して表示ディスプレイに表示出力することができるように構成されている。
スマートフォン３と肌状態分析装置４との間の通信は、肌状態分析処理に係る専用のアプリケーションをスマートフォン３にインストールし、これを実行することで行われるようにしたり、スマートフォン３でＷｅｂブラウザを起動することで通信回線５を通じて肌状態分析装置４にアクセスしてデータの送受信が行われるようにしたりしてもよい。

肌状態分析装置４は、通信回線５を介して接続したスマートミラー２とスマートフォン３から送信された画像データを受信する機能、受信した画像データを記録し分析するなどして利用者の肌の状態に関わる情報を生成する機能、生成した情報やファイル、他のデータなどを、通信回線５を通じて受信相手方に出力して提供する機能を有するコンピュータであり、キーボードなどのデータ入力部やデータを表示するモニタなどの表示部、通信回線５を介してデータを送受信する通信部、各種のデータやファイル及び処理プログラムを記憶して格納する記憶部、外部記憶媒体に格納されたデータやファイル、プログラムを読み取って前記記憶部入力する外部記憶媒体読み取り部、記憶部に格納された処理プログラムに従って前記各部を制御する制御部などの各処理部を備えている。
肌状態分析装置４は、通信回線５にＷｅｂ情報を発信するＷｅｂサーバーとしての機能を備え、通信回線５上に開設したウェブサイトを通じてＷｅｂ閲覧機能を備えたスマートフォン３や前記医療部門の情報処理端末６との間で、又は電子メールや他のテキスト通信アプリによるデータの送受信を通じて、或いは通話アプリによる情報の送受信を通じて、ファイルやデータなどを送受信することができるように構成してある。
肌状態分析装置４は、スタンドアロンのコンピュータやサーバーに限らず、分散された複数のコンピュータやサーバー、或いはクラウド上に設置された複数のサーバーの集合体により構成することができ、各コンピュータやサーバーが連携して利用者の肌状態を分析する処理がなされるように設けることができる。

図２に示されるように、本システム１は美容情報処理のプラットフォームと医療情報処理のプラットフォームを構成し、肌状態分析装置４のデータの入出力部、記憶部、分析部などの各処理部を処理プログラムにより制御して前記情報の処理がなされるように設けられている。

詳しくは、肌状態分析装置４が備えるハードウェアとソフトウェアにより情報処理手段、具体的には、少なくとも、スマートミラー２で取得したフェイス画像とスマートフォン３で取得した肌画像を記録する画像記録手段、取得されたフェイス画像と画像記録手段に記録された過去のフェイス画像を対比して顔全体の肌状態を判定する手段、判定結果に基づいて利用者に好適な化粧方法などの美容情報を生成して利用者に通知する手段、判定結果に基づいて特定皮膚疾患が生じている可能性を分析する特定皮膚疾患分析手段、分析結果に基づいて顔の局所部位の肌画像の取得を利用者に要求する手段、要求に応じて利用者が取得した肌画像を診断する肌状態診断手段、肌状態診断手段による診断結果を医療部門に通知して詳細な診断を要求する手段、及び前記肌状態の診断結果又は医療部門の診断結果を利用者に通知する手段の各手段を構成し、これらにより美容と医療に関する情報の処理がなされるようになっている。

本システム１を用いた利用者への美容情報、医療情報の提供サービスは、以下のフェイス画像の取得、肌状態の判定、皮膚疾患の分析、肌画像の取得、医療部門における検討の各手続きを経て行われる。
なお、以下では会員に対して本システムの利用を許諾しているスポーツクラブ内に前記スマートミラー２が設置され、会員がこれを利用する態様を説明する。

〈フェイス画像の取得〉
先ず、スポーツクラブ内に設置されたスマートミラー２を肌状態分析装置４に接続し、利用者である会員の、化粧前の素顔をスマートミラー２に映して撮影し、フェイス画像として肌状態分析装置４に送信する。肌状態分析装置４は、受信したフェイス画像をその利用者の登録情報や撮影日時の情報などと紐付けて記録する。

〈肌状態の判定〉
会員の肌状態の判定は、過去に取得して肌状態分析装置４に記録したフェイス画像と、最近取得したフェイス画像を対比して行う。
判定処理は、フェイス画像を取得した際にスマートミラー２の情報入力インターフェイスを操作した会員の要求に応じて、或いは一週間毎などの設定期間応じて自動で行われ、肌状態分析装置４は、図３（Ａ）に示されるような過去にスマートミラー２で取得したフェイス画像２Ｐ１を画像記録手段から読み出し、これと同図（Ｂ）に示されるスマートミラー２で取得したフェイス画像２Ｐ２とを対比して顔全体の肌状態を判定する。両画像は、肌表面のシミやしわ、毛穴、肌色などが鮮明となるように画像処理が施され、過去の肌と比べて現在の肌が、どれほど違いがあるかを判定する。判定は例えば肌状態の変化を画像で表したりスコアで数値化したりして可視化し、これを判定結果として会員の登録情報に紐づけてして記録手段に記録するとともに、スマートミラー２に表示出力してフェイス画像を取得したばかりの会員に通知する。
併せて、判定結果に基づいてその会員に好適な化粧方法などの美容情報を生成し、スマートミラー２に表示出力して会員に通知する。
なお、前記美容情報生成手段は、会員の顔全体の肌状態から化粧をすることで会員の顔の見栄えが良くなる推定モデルをＡIによる深層学習により生成するモデル生成手段を有し、それに基づいて美容情報が生成されるようになっている。
前記判定結果や美容情報の通知は、会員が所持するスマートフォン３に対して行ってもよい。

〈皮膚疾患の分析〉
前記肌状態の判定で肌の状態の悪い、或いは肌に異常があると判定されたときは、それに基づいて、特定皮膚疾患が生じている可能性があるか否かが特定皮膚疾患分析手段により分析される。
例えば図３（Ｂ）に示されるように、会員の顔の眉毛の上あたりに以前はなかった大きな色素沈着のような部位が認められる場合に（同図中の矩形破線枠）、この部位が皮膚がんのような疾病に罹っているか否かを分析する。
この特定皮膚疾患分析手段は、外部の医療用データベースなどに登録された皮膚疾患を撮影した画像を基に皮膚疾患である可能性が高い肌画像の推定モデルをＡIによる深層学習により生成するモデル生成手段を有し、それに基づいて前記色素沈着のような部位が皮膚疾患の部位であるか否かを分析する。
分析の結果、皮膚疾患に罹っておらず、異常がなければ前記会員のスマートフォン３などにその旨を通知する。

〈肌画像の取得〉
前記特定皮膚疾患の分析では、図３（Ｂ）のフェイス画像２Ｐ２に基づいて分析を行うが、該当部位の画像が不鮮明であることなどを理由として高精度の画像で分析する必要があるときは、前記色素沈着のような部位を拡大して撮影した画像の取得を会員に要請する。
要請は肌状態分析装置４から会員のスマートフォン３に通知することで行われ、通知を受けた会員は、図４に示されるように、スマートフォン３を操作して顔の眉毛の上あたりを撮影し、これを肌画像３Ｐとして肌状態分析装置４に送信する。
肌状態分析装置４は、受信した肌画像３Ｐを画像記録手段に会員の登録情報と紐付けて記録するとともに、肌状態診断手段で特定皮膚疾患に罹っているか否かを診断する。肌状態診断手段も前記特定皮膚疾患分析手段と同様に構成される。
診断の結果、皮膚疾患に罹っていないと分析されたときはその旨、皮膚疾患の可能性が大きいと分析されたときは早期に医者の診断に出向くことを促す旨を会員のスマートフォン３に通知する。

〈医療部門における検討〉
特定皮膚疾病に罹っているかの診断は、前記肌状態診断手段の診断結果を受けて、或いは精度の高い診断を望む会員の要求に応じて、医療部門で専門医の診断を受けるようにしてもよい。
この場合、肌状態診断装置４から医療部門の情報処理端末６に専門医の診断を要請する通知がなされ、専門医は肌状態診断装置４から情報処理端末６に送られる、前記会員の肌状態の画像と前記判定、分析及び診断手段によるＡＩの診断結果に基づいて皮膚疾患に罹っているか否かを診断する。
診断結果は情報処理端末６から肌状態診断装置４に通知され、これを会員の登録情報に紐づけて登録するとともに会員のスマートフォン４に通知し、会員において通知された診断結果をその後の治療や罹患防止対策に役立てることができる。

実施の形態では、フェイス画像取得手段としてスマートミラー、肌画像取得手段としてスマートフォンを用いたが、画像を撮影・記録し、デジタル信号として送受信する機能を備えた他の情報処理端末を用いてもよい。また、本システムは皮膚がんなどの特定皮膚疾患以外の疾患の診断などに用いてもよい。

１ 肌状態診断システム（本システム）、２ スマートミラー、２Ｐ１，２Ｐ２ ファイル画像、３ スマートフォン、３Ｐ 肌画像、４ 肌状態診断装置、５ 通信回線、６ 医療部門の情報処理端末

Claims (9)

1. 利用者のフェイス画像を取得する装置と利用者の肌画像を取得する装置が接続される肌状態分析装置であって、
   前記フェイス画像を記録する画像記録手段と、
   前記取得されたフェイス画像と前記画像記録手段に記録された過去のフェイス画像を対比して顔全体の肌状態を判定する手段と、
   前記判定結果に基づいて利用者に好適な化粧方法などの美容情報を生成して利用者に通知する手段と、
   前記判定結果に基づいて特定皮膚疾患が生じている可能性を分析する特定皮膚疾患分析手段と、
   前記分析結果に基づいて顔の局所部位の肌画像の取得を利用者に要求する手段と、
   前記要求に応じて利用者が取得した肌画像を診断する肌状態診断手段と、
   前記肌状態診断手段による診断結果を利用者に通知する手段と、を備えることを特徴とする肌状態分析装置。
2. 肌状態診断手段による診断結果を医療部門に通知して詳細な診断を要求する手段と、
   前記医療部門の診断結果を利用者に通知する手段を備えることを特徴とする請求項１に記載の肌状態分析装置。
3. 特定皮膚疾患として皮膚がんの診断を行う請求項１又は２に記載の肌状態分析装置。
4. 美容情報生成手段と特定皮膚疾患分析手段はＡIによる深層学習のモデル生成手段を含むことを特徴とする請求項１から３の何れかに記載の肌状態分析装置。
5. フェイス画像取得手段がスマートミラーである請求項１から４の何れかに記載の肌状態分析装置。
6. スマートミラーが顔全体又は身体全体を等身大で撮影可能なサイズである請求項５に記載の肌状態分析装置。
7. 肌画像取得手段がスマートフォンである請求項１から６の何れかに記載の肌状態分析装置。
8. 美容室、フィットネスクラブ、住宅、百貨店の化粧品販売コーナーや化粧室を備える商業施設で利用可能である請求項１から７の何れかに記載の肌状態分析装置。
9. 請求項１から８の何れかに記載の肌状態分析装置と、フェイス画像取得手段であるスマートミラーと、肌画像取得手段であるスマートフォンとからなる肌状態分析システム。

Images