JP2022018132A - 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法 - Google Patents

肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法 Download PDF

Info

Publication number
JP2022018132A
JP2022018132A JP2020121008A JP2020121008A JP2022018132A JP 2022018132 A JP2022018132 A JP 2022018132A JP 2020121008 A JP2020121008 A JP 2020121008A JP 2020121008 A JP2020121008 A JP 2020121008A JP 2022018132 A JP2022018132 A JP 2022018132A
Authority
JP
Japan
Prior art keywords
skin
image
skin condition
evaluation
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020121008A
Other languages
English (en)
Other versions
JP6821852B1 (ja
Inventor
憲孝 沼田
Noritaka Numata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I'M CO Ltd
IM Co Ltd
Original Assignee
I'M CO Ltd
IM Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I'M CO Ltd, IM Co Ltd filed Critical I'M CO Ltd
Priority to JP2020121008A priority Critical patent/JP6821852B1/ja
Application granted granted Critical
Publication of JP6821852B1 publication Critical patent/JP6821852B1/ja
Publication of JP2022018132A publication Critical patent/JP2022018132A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】肌状態の評価作業における、状態の良い領域と悪い領域が混在している中から、評価に適した領域を見分ける作業の負担を軽減する。【解決手段】評価対象肌の画像に基づく肌状態の評価を支援するための支援方法であって、機械学習された学習済みモデルMを用いて、画像から評価を行うための候補となる複数の領域を選択する領域選択ステップを備える。さらに学習済みモデルMは、複数の評価候補の領域における肌状態のレベルを出力する。【選択図】図1

Description

本発明は、評価対象肌の画像に基づく肌状態の評価作業を支援する技術に関する。
従来より、肌に適正なスキンケア化粧品を選択するには、専門家(カウンセラー)に肌状態を評価してもらいカウンセリングを受ける方法が一般的であるが、専門家によるカウンセリングは機会が得にくい等の問題がある。そこで、本出願人は、スキンケア化粧品の使用効果を評価するために、スキンケア化粧品の使用前および使用後の肌の画像に基づき肌状態を評価するサービスを実施している(特許文献1)。
図7および図8は、サービスを受けるユーザに提供される肌状態評価シートの一例である。肌状態評価シートには、スキンケア化粧品の使用前、使用開始から30日後および60日後に肌から採取された採取物(レプリカおよび角質層)の拡大画像に基づく肌状態(肌のキメの良否、毛穴の目立ち、うるおい、ターンオーバーの良否など)の評価結果が示される。
特許6686223号
上記サービスにおいて、肌状態の評価を行う評価者は、図9に示すように、ユーザから提供された肌の採取物を撮影した画像Pから、肌の評価に特に適した領域Rを選択し、領域Rの拡大画像を見て肌状態を評価する。また、領域Rの拡大画像は、肌状態評価シートに掲載される。
多くの場合、画像Pでは、状態の良い領域と悪い領域が混在しているため、どの領域が肌状態の評価に適しているかを見分けるには、経験と熟練を要する。そのため、評価者にとっては、画像Pから領域Rを選択する作業は少なからず負担となっている。
本発明は、肌状態の評価作業の負担を軽減することを課題とする。
上記課題を解決するために、本発明は以下の態様を含む。
項1.
評価対象肌の画像に基づく肌状態の評価を支援するための支援方法であって、
機械学習された学習済みモデルを用いて、前記評価対象肌の画像から前記評価を行うための候補となる1または複数の領域を選択する領域選択ステップを備えた支援方法。
項2.
前記学習済みモデルを用いて、前記複数の領域における肌状態のレベル付けを行うレベル付与ステップをさらに備えた、項1に記載の支援方法。
項3.
項1または2に記載の支援方法の各ステップをコンピュータに実行させる支援プログラム。
項4.
肌の画像と、前記肌の肌状態の評価を行う評価者によって、前記肌の画像から前記評価に適した領域として選択された1または複数の領域とが対応付けられた教師データを取得する取得ステップと、
前記教師データに基づいて機械学習を行い、評価対象肌の画像を入力した場合に、前記評価対象肌の画像における肌状態の評価を行うための候補となる1または複数の領域を出力する学習済みモデルを生成する学習ステップと、
を備えた学習済みモデル生成方法。
項5.
前記教師データでは、前記肌の画像および前記評価者によって選択された前記複数の領域に、前記評価者によって付与された前記複数の領域における肌状態のレベルがさらに対応付けられ、
前記学習済みモデルは、前記評価対象肌の画像の前記複数の領域における肌状態のレベルをさらに出力する、項4に記載の学習済みモデル生成方法。
本発明によれば、肌状態の評価作業の負担を軽減することができる。
本発明の一実施形態に係る肌状態評価システムの概略図である。 支援装置の処理手順を示すフローチャートである。 評価対象肌の画像の一例である。 支援装置によって肌状態の評価を行うための候補となる領域が選択された評価対象肌の画像の一例である。 図4において、さらに各領域にレベルが付与された画像の一例である。 本発明の一実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。 肌状態評価シートの一例である。 肌状態評価シートの一例である。 評価者によって肌状態の評価を行うための領域が選択された評価対象肌の画像の一例である。
以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。
(システム構成)
図1は、本発明の一実施形態に係る肌状態評価システム1の概略図である。肌状態評価システム1は、スキンケア化粧品を販売する会社(以下、販売者)によって管理されている。販売者は、商品の販売を促進するために、スキンケア製品購入者または購入検討者(以下、ユーザ)を対象にスキンケア化粧品の使用効果を肌状態(肌のキメの良否、毛穴の目立ち、うるおい、ターンオーバーの良否など)で評価して、評価結果をユーザに提示するサービス(以下、肌状態評価サービス)を実施している。
肌状態評価システム1は、カメラ2と、支援装置3と、表示装置4と、入力装置5とを主に備えている。
カメラ2は、ユーザの肌から採取された採取物7が付着した台紙6の表面を撮影する。肌状態評価サービスでは、販売者がスキンケア製品および採取キットをユーザに提供し、ユーザは、スキンケア製品の使用前、使用開始から30日後および60日後の計3回、自身の肌からレプリカおよび角質層を採取する。具体的には、液剤を塗布した肌の上に台紙6を貼り付け、その後、台紙6を剥がすことにより、皮膚表面の状態を示すレプリカを採取することができる。液剤は、例えば、ポリビニルアルコール、水、およびチアゾリン系防腐剤(極少量)を主成分とするものを用いることができる。また、液剤を使用せずに台紙6を肌に貼り付け、その後、台紙6を剥がすことにより、肌の角質層を採取することができる。ユーザは、採取物7が付着した台紙6を所定の方法で販売者に郵送する。
支援装置3は、肌状態の評価を行う評価者(例えば、肌分析を行う部署に所属するスタッフ)が使用する装置であり、例えば汎用のコンピュータで構成することができる。なお、評価者は、医師および医師の指示を受けた者のいずれにも該当しない。支援装置3は、ハードウェア構成として、CPUやGPUなどのプロセッサ、主記憶装置(メモリ)および補助記憶装置などを備えている。補助記憶装置には、後述する学習済みモデルMや支援プログラムなどが記憶されている。
また、支援装置3は、機能ブロックとして、取得部31と、画像処理部32と、提示部33とを備えており、画像処理部32は、領域選択部321と、レベル付与部322とを備えている。これらの機能ブロックは、集積回路などによってハードウェア的に実現してもよいが、支援装置3のプロセッサが、支援プログラムをメモリに読み出して実行することによりソフトウェア的に実現することもできる。
この場合、上記支援プログラムは、通信ネットワークを介して支援装置3にダウンロードしてもよいし、支援プログラムのプログラムコードを記録したSDカードやCD-ROM等のコンピュータ読み取り可能な非一時的な記録媒体を介して、支援プログラムを支援装置3に供給してもよい。支援装置3の機能については、後述する。
表示装置4および入力装置5は、支援装置3に接続されている。表示装置4は、液晶ディスプレイや有機ELディスプレイなどで構成することができる。入力装置5は、キーボード、マウス、タッチパネルなどで構成することができる。
(支援方法の手順)
続いて、支援装置3の機能について説明する。本実施形態に係る支援方法は、支援装置3によって実施される。図2は、支援装置3の処理手順を示すフローチャートである。
カメラ2によって、肌のレプリカや角質層などの採取物7の所定範囲が撮影されると、ステップS1において、支援装置3の取得部31がカメラ2から評価対象肌の画像Pを取得する。これにより、表示装置4には、図3に示すように、画像Pが表示される。画像Pのデータは画像処理部32に入力される。
なお、画像Pは、採取物7の画像に限らず、カメラ2をユーザの肌に近接させて撮影することにより取得された画像であってもよい。また、取得部31は、カメラ2から直接画像を取得する代わりに、採取物7によって撮影を行った後、画像を他の記憶装置などに保存しておき、その後、保存された画像を記憶装置から取得してもよい。
ステップS2(領域選択ステップ)では、領域選択部321が、画像Pから肌状態の評価を行うための候補となる1または複数の領域を選択する。本実施形態では、領域選択部321は、図4に示すように、画像Pにおける5つの矩形の領域R1~R5を選択する。
ステップS3(レベル付与ステップ)では、レベル付与部322が、領域R1~R5における肌状態のレベル付与を行う。レベルは、領域R1~R5における肌状態の相対順位で表される。本実施形態では、レベル付与部322は、図5に示すように、肌状態の良好な順に1~5のレベルを各領域R1~R5に付与する。
領域選択部321およびレベル付与部322の各処理は、学習済みモデルMを用いることにより行われる。学習済みモデルMは、画像Pが入力されると、領域R1~R5の座標および各領域R1~R5のレベルを出力するように学習されている。学習済みモデルMは、後述する機械学習によって生成される。
なお、領域選択部321によって選択される領域の数は特に限定されない。選択される領域が1つのみの場合は、ステップS3は省略される。
ステップS4では、提示部33が、画像Pに領域R1~R5およびランクを提示する。これにより、図5に示す画像Pが表示装置4に表示される。肌状態の評価を行う評価者は、これを参考に、実際に肌状態の評価を行うための拡大画像を領域R1~R5から選択する。
評価者が領域R1~R5からどのレベルの領域を選択するかは、評価者の裁量であるが、常に同じレベル(例えば3)の領域を選んでもよいし、画像毎に、異なるレベルの領域を選んでもよい。評価者によって選択された領域の拡大画像は、ユーザに提供される肌状態評価シート(図7、図8)に掲載される。
(小括)
〔発明が解決しようとする課題〕に記載のように、画像Pでは、状態の良い領域と悪い領域が混在しているため、どの領域が肌状態の評価に適しているかを見分けるには、経験と熟練を要する。これに対し、本実施形態では、支援装置3によって、画像Pから評価を行うための候補となる領域R1~R5が自動的に選択され、さらに、各領域R1~R5のレベルも自動的に提示される。評価者は、評価を行うための領域を領域R1~R5から選ぶことができるため、画像Pの全体から評価を行うための領域を選択するよりも作業負担が軽減される。これにより、各評価者の作業スピードが向上し、肌状態評価サービスの効率が改善する。また、経験の浅い評価者であっても、不適切な領域を選択することが防止されるため、評価者間の個人差を低減して、評価結果の平準化を図ることができる。
(学習済みモデルの生成)
上述のように、学習済みモデルMは、機械学習によって生成される。図6は、本実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。
ステップS11(取得ステップ)では、教師データを取得する。教師データでは、肌の画像と、肌の肌状態の評価を行う評価者によって、肌の画像から評価に適した領域として選択された1または複数の領域と、評価者によって付与された、前記複数の領域における肌状態のレベルとが対応付けられている。肌の画像は、肌の採取物の画像であってもよいし、肌を直接撮影した画像であってもよい。
評価者は、自身の経験に基づき、肌の状態を代表的に示す領域を1または複数(本実施形態では5つ)選択し、それらの領域の状態の相対順位を付与する。教師データの質を担保するため、評価者は経験の豊富な熟練者であることが好ましい。なお、選択される領域が1つである場合、レベルの対応付けは省略される。
ステップS11は、教師データが機械学習を行うのに十分な量になるまで(ステップS12においてYES)、対象となる肌の画像を変えながら繰り返される。
ステップS13(学習ステップ)では、教師データに基づいて機械学習を行い、学習済みモデルMを生成する。学習済みモデルMは、評価対象肌の画像を入力した場合に、前記評価対象肌の画像における肌状態の評価を行うための候補となる1または複数の領域を出力する。機械学習法は特に限定されないが、例えばディープラーニングなどを用いることができる。
(付記事項)
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。
例えば、上記実施形態では、画像Pから領域R1~R5を選択するとともに、領域R1~R5におけるレベル付けを行っていたが、領域R1~R5を選択するのみに留め、レベル付けを省略してもよい。この場合でも、評価者は、領域R1~R5から実際に評価を行うための領域を選ぶだけでよいので、画像Pの全体から評価を行うための領域を選択するよりも作業負担が軽減される。
1 肌状態評価システム
2 カメラ
3 支援装置
31 取得部
32 画像処理部
33 提示部
321 領域選択部
322 レベル付与部
4 表示装置
5 入力装置
6 台紙
7 採取物
M 学習済みモデル
P 画像
R1~R5 領域

Claims (5)

  1. 評価対象肌の画像に基づく肌状態の評価を支援するための支援方法であって、
    機械学習された学習済みモデルを用いて、前記評価対象肌の画像から前記評価を行うための候補となる1または複数の領域を選択する領域選択ステップを備えた支援方法。
  2. 前記学習済みモデルを用いて、前記複数の領域における肌状態のレベル付けを行うレベル付与ステップをさらに備えた、請求項1に記載の支援方法。
  3. 請求項1または2に記載の支援方法の各ステップをコンピュータに実行させる支援プログラム。
  4. 肌の画像と、前記肌の肌状態の評価を行う評価者によって、前記肌の画像から前記評価に適した領域として選択された1または複数の領域とが対応付けられた教師データを取得する取得ステップと、
    前記教師データに基づいて機械学習を行い、評価対象肌の画像を入力した場合に、前記評価対象肌の画像における肌状態の評価を行うための候補となる1または複数の領域を出力する学習済みモデルを生成する学習ステップと、
    を備えた学習済みモデル生成方法。
  5. 前記教師データでは、前記肌の画像および前記評価者によって選択された前記複数の領域に、前記評価者によって付与された前記複数の領域における肌状態のレベルがさらに対応付けられ、
    前記学習済みモデルは、前記評価対象肌の画像の前記複数の領域における肌状態のレベルをさらに出力する、請求項4に記載の学習済みモデル生成方法。
JP2020121008A 2020-07-15 2020-07-15 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法 Active JP6821852B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020121008A JP6821852B1 (ja) 2020-07-15 2020-07-15 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020121008A JP6821852B1 (ja) 2020-07-15 2020-07-15 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法

Publications (2)

Publication Number Publication Date
JP6821852B1 JP6821852B1 (ja) 2021-01-27
JP2022018132A true JP2022018132A (ja) 2022-01-27

Family

ID=74200346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020121008A Active JP6821852B1 (ja) 2020-07-15 2020-07-15 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法

Country Status (1)

Country Link
JP (1) JP6821852B1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154832A (ja) * 1995-12-12 1997-06-17 Kao Corp 皮膚表面形態判定方法及び装置
JP2007130329A (ja) * 2005-11-11 2007-05-31 Matsushita Electric Works Ltd 画像による外観検査方法
JP2014164573A (ja) * 2013-02-26 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014219781A (ja) * 2013-05-07 2014-11-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
WO2015015793A1 (ja) * 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌分析方法、肌分析装置および肌分析装置の制御方法
WO2016121518A1 (ja) * 2015-01-29 2016-08-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019230724A1 (ja) * 2018-05-31 2019-12-05 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154832A (ja) * 1995-12-12 1997-06-17 Kao Corp 皮膚表面形態判定方法及び装置
JP2007130329A (ja) * 2005-11-11 2007-05-31 Matsushita Electric Works Ltd 画像による外観検査方法
JP2014164573A (ja) * 2013-02-26 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014219781A (ja) * 2013-05-07 2014-11-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
WO2015015793A1 (ja) * 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌分析方法、肌分析装置および肌分析装置の制御方法
WO2016121518A1 (ja) * 2015-01-29 2016-08-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019230724A1 (ja) * 2018-05-31 2019-12-05 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体

Also Published As

Publication number Publication date
JP6821852B1 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
Cole et al. Where do people draw lines?
Rosenholtz et al. Do predictions of visual perception aid design?
Manrique-Juan et al. A portable augmented-reality anatomy learning system using a depth camera in real time
WO2022024200A1 (ja) 3dデータシステム及び3dデータ生成方法
GB2541582A (en) Hint based spot healing techniques
JP2020080003A (ja) 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置
JP2020080003A5 (ja)
JP2005118580A (ja) 皮膚の分析システム及び方法
Galeazzi et al. Comparing 2D pictures with 3D replicas for the digital preservation and analysis of tangible heritage
JP6821852B1 (ja) 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法
Hughes-Hallett et al. A review of RTI and an investigation into the applicability of micro-RTI as a tool for the documentation and conservation of modern and contemporary paintings
JP2019075043A (ja) 衛生評価装置、衛生評価撮影システム、撮影用架台、及び衛生評価方法
Kostaras et al. Usability evaluation of augmented reality systems
JP2021067554A (ja) 肌状態評価方法
US20200058059A1 (en) Wall Art Hanging Template
McDine et al. Lateral biases in lighting of abstract artwork
JP6907701B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
Linn Using digital image processing for the assessment of postural changes and movement patterns in bodywork clients
Arrigo et al. Heart mobile learning
JP2022021268A (ja) 屋根の劣化診断方法および劣化診断システム
JPWO2021235522A5 (ja)
Johnson Craniofacial reconstruction and its socio-ethical implications
JP3238461U (ja) 屋根の劣化診断システム
JP7471760B1 (ja) 情報処理方法、情報処理システム及びプログラム
Homerski Accessibility in Bioarchaeology: Methods of 3D Imaging of Entheses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200715

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200715

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210106

R150 Certificate of patent or registration of utility model

Ref document number: 6821852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533