JP2019058641A - 肌の内部構造の推定方法、肌の内部構造の推定プログラム、および肌の内部構造の推定装置 - Google Patents

肌の内部構造の推定方法、肌の内部構造の推定プログラム、および肌の内部構造の推定装置 Download PDF

Info

Publication number
JP2019058641A
JP2019058641A JP2018061929A JP2018061929A JP2019058641A JP 2019058641 A JP2019058641 A JP 2019058641A JP 2018061929 A JP2018061929 A JP 2018061929A JP 2018061929 A JP2018061929 A JP 2018061929A JP 2019058641 A JP2019058641 A JP 2019058641A
Authority
JP
Japan
Prior art keywords
skin
image
calculated
wrinkle
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018061929A
Other languages
English (en)
Other versions
JP6814172B2 (ja
Inventor
山口 義隆
Yoshitaka Yamaguchi
義隆 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2019058641A publication Critical patent/JP2019058641A/ja
Application granted granted Critical
Publication of JP6814172B2 publication Critical patent/JP6814172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】肌の表面に生じる肌性状から、容易に、短時間で、且つ精度良く肌の内部構造を推定する方法、プログラム、および装置を提供することを目的とする。【解決手段】肌の表面の第1の画像を取得し、第1の画像から、肌の表面の所定の性状を示す複数の肌指標を算出し、予め得られた、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出した複数の肌指標に基づいて、毛細血管の数密度を算出する肌の内部構造の推定方法。【選択図】図4

Description

この発明は、肌の内部構造を推定する方法、プログラム、および装置に関する。特に、肌の表面の画像から、乳頭構造(乳頭突起)内の毛細血管の数密度を推定する方法、プログラム、および装置に関する。
ヒトの肌の内部にある皮膚組織(皮膚)Sは、図17に示すように、層構造となっており、最外層から順に、表皮22、真皮24及び皮下組織に分かれている。表皮22は、皮膚の最外層として外界に接する角層20、及び真皮24と接する基底層26を有する膜で構成され、真皮24は、表皮22の基底層26と接する乳頭層28、及び皮下組織と接する網状層30を有する膜で構成されている。
また、表皮22と真皮24との間には、表皮22の基底層26の表皮突起27と、真皮の乳頭層28の乳頭突起29とが互いに食い込むように存在する凸凹波打った乳頭構造が形成されている。
皮下組織には、皮膚への栄養供給、老廃物を運び出す代謝及び体温調節に重要な役割を果たす動脈、及び静脈が存在している。皮下組織にある動脈、及び静脈は、真皮24の網状層30内の血管(網状層血管)32につながっており、乳頭突起内の毛細血管34を介して、血管が存在しない表皮22に栄養、及び酸素を供給している。
このような皮膚構造Sにおいて、加齢等により、乳頭構造の凸凹が減り、乳頭突起28の表面積が減少すると、その内部にある毛細血管34から表皮22への栄養、及び酸素の供給が滞ることが指摘されている。また、その結果、皮膚は伸縮しなくなり、徐々に弛んでいくと言われている。つまり、乳頭構造、及び乳頭突起内の毛細血管は、皮膚の栄養供給、代謝、体温調節、及び肌表面の形状(例えば、ハリ、シワ、タルミ等)及び色味(例えば、くすみ等)に密接に関わっていると考えられている。
そのため、肌内部の皮膚構造の状態と、肌表面の状態との関係性を明らかにすることができれば、肌の状態の評価、及び加齢による皮膚の変化を適切に判断することができる。また、その結果、化粧品、及びスキンケア製品、スキンケアの効果を調べることができ、化粧品等の研究または商品開発に応用することができる。
肌内部の皮膚構造の状態と、肌表面の状態との関係性を明らかにする方法(又は肌表面の状態との関係性を示す)方法として、例えば、特許文献1には、皮膚表面のスキャン画像と、顕微鏡を用いて皮膚表面を撮影した顕微鏡画像を取得し、スキャン画像を毛細血管、毛穴、汗腺等が明瞭に見えるように調整した後、顕微鏡画像と照合し、毛細血管等の皮膚微細構造を目印に、スキャン画像中における顕微鏡視野を決定する方法が示されている。また、この方法を使用して、顕微鏡観察において、特定の毛細血管を定点観察することにより、毛細血管の血管数の変化を容易に把握することができることも示されている。
特許文献2には、肌表面から肌の内部構造まで含めた肌分析の分析結果を、視覚的に理解しやすい肌状態モデル(二次元画像、三次元画像、又は模型)を被験者に提供する方法として、被験者の肌情報を、カメラ又は共焦点レーザ顕微鏡による撮像及び肌のレプリカの作製等により取得し、取得した肌情報を、少なくとも1つの肌構成要素(肌表面構造を特徴づける要素[例えば、キメ、皮脂、及び毛穴等]、又は肌内部構造を特徴づける要素[例えば、毛細血管、乳頭構造、及び真皮等]を含む)について予め設けられた目視スコアと照らし合わせて、各肌構成要素を特徴づけるパラメータをそれぞれ算出し、算出したパラメータに基づいて、各スコアに対応づけられた肌構成要素の一部分であるモデルパーツを選択し、選択されたモデルパーツを組み合わせて、肌状態モデルを被験者に提供する方法が示されている。
特許文献3には、皮膚表面(肌の「キメ」及び「肌色」)の状態と、皮膚内部構造(乳頭高さ、乳頭数、及びコラーゲン様構造)との関係性を明らかにする方法として、皮膚内部構造と皮膚表面情報との相関分析及び回帰分析によって獲得した推定式を用いることが提案されている。
また、肌内部の皮膚構造の状態と肌表面の状態との関係性を明らかにするためには肌表面の状態を適切に分析する必要があるが、特に、加齢等により生じ、外見の印象を大きく左右する重要な要因であるシワは、外見の印象を大きく左右する重要な要因であるため、肌画像から簡便、且つ精度よく、シワを定量化するための方法が従来から提案されている。
例えば、特許文献4には、被験者の肌の輝度画像を取得し、取得した肌の輝度画像から分析対象部位に対応する所定の角度についての線状テクスチャ画像を抽出し、且つ、抽出した線状テクスチャ画像から所定の角度の線形成分強度を抽出し、所定の角度と線形成分強度との対応関係をそれぞれ示す複数の極座標点を結んで得られる極座標上の形状に関する、方向性強度、又は、方向性強度と面積の組み合わせを算出することにより、分析対象部位のシワの状態を定量化することが示されている。
特許文献5には、被験者の肌の輝度画像を取得し、取得した肌の輝度画像から分析対象部位に対応する所定の角度についての線状テクスチャ画像を抽出し、且つ、抽出した線状テクスチャ画像から所定の角度の線形成分強度を抽出し、抽出された線状成分強度と、複数のサンプル顔画像を対象とする回帰分析により得られた、所定角度の線形成分強度と顔画像上のシワの目視スコアとの関係式とを用いて、分析対象部位のシワの状態を定量化することが提案されている。
また、肌のくすみは肌の見た目の美しさを大きく左右する重要な要因であるため、肌画像から簡便、且つ精度よく、くすみを定量化するための方法が従来から提案されている。
例えば、特許文献6には、被験者の肌画像から肌の色情報を求め、求めた色情報からメラニン成分等の色素成分の分布状況を獲得し、その分布状況に基づいて、肌のくすみを評価する色むら指数を取得することが提案されている。
特許文献7には、肌表面の撮影画像に評価対象領域を設定し、この評価対象領域の各画素の色要素の強さ及びそのヒストグラムを取得し、取得したヒストグラムの頻度及び、色要素の強さの最大値及び最小値、色要素の強さに基づいて、肌のくすみを評価する方法が提案されている。
特開2016−214567号 特開2015−047422号 特開2011−101738号 特開2015−062569号 特開2017−012384号 特開2014−213065号 特開2014−087641号
特許文献1に記載の方法は、特定の毛細血管について精度よく定点観察することができるものの、測定の度に、取得した肌のスキャン画像と、顕微鏡画像とを照合し、毛細血管等の皮膚微細構造を目印に、スキャン画像中における顕微鏡視野を決定する必要があるため、肌の内部構造を把握するまでに時間がかかるという課題がある。
特許文献2に記載の方法は、肌の内部構造(毛細血管、乳頭構造、及び真皮等)を特徴づける要素、及び肌の表面の性状(キメ、皮脂、及び毛穴等)を特徴づける要素を容易に定量化することができるものの、肌状態を提供する都度、肌の内部構造及び肌の表面の性状を測定する手間がかかるという課題がある。
また、特許文献3に記載の方法も、簡便且つ高精度に、皮膚表面(肌の「キメ」及び「肌色」)の状態と、皮膚内部構造(乳頭高さ、乳頭数、及びコラーゲン様構造)との関係性は明らかにすることができるものの、肌表面に生じる性状が「シワ」である場合、精度良く肌の内部構造を推定することができていないという課題がある。
また、特許文献4、及び5は、肌画像に基づいて、分析対象部位の肌表面に生じる性状が「シワ」を定量化する点については開示があるものの、肌内部の構造を推定することができない。
また、特許文献6、及び7は、肌画像に基づいて、肌表面のくすみを定量化する点については開示があるものの、肌内部の構造を推定することができない。
そこで、本発明は、上述の課題を解消し、肌の表面に生じる肌性状から、容易に、短時間で、且つ精度良く肌の内部構造を推定する方法、プログラム、および装置を提供することを目的とする。
本発明に係る肌の内部構造の推定方法は、肌の表面の第1の画像を取得し、第1の画像から、肌の表面の所定の性状を示す複数の肌指標を算出し、予め得られた、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出した複数の肌指標に基づいて、毛細血管の数密度を算出する肌の内部構造の推定方法である。
さらに、複数の肌指標から肌総合指標を算出し、推定式を用いて、肌総合指標から毛細血管の数密度を算出することが好ましい。
推定式は、複数の異なる肌の第2の画像及び第2の画像に対応する毛細血管の数密度を予め取得し、複数の第2の画像の各々から、複数の肌指標を算出し、算出された複数の肌指標に基づいて、複数の肌総合指標を算出し、複数の肌総合指標と複数の肌総合指標の各々に対応する、算出された毛細血管の数密度とを用いて回帰分析することによって得られることが好ましい。
第1の画像は、肌の表面の凹凸の情報を含む凹凸画像であり、所定の性状は、シワであり、肌指標は、シワの特徴を示すシワ指標であって、肌の表面の凹凸画像を取得し、凹凸画像において、一定の深さまたは一定の面積以上の肌の表面の凹凸部分をシワとして抽出し、抽出されたシワに基づいて、複数のシワ指標を算出し、推定式を用いて、算出されたシワ指標に基づいて、毛細血管の数密度を算出してもよい。
シワ指標は、シワの数、シワの長さ、シワの面積、シワの深さ、及びシワの角度の少なくとも2つに基づいて算出されることが好ましい。
シワの長さに基づいて算出されるシワ指標は、凹凸画像から抽出された複数のシワについて、各シワの周縁を楕円近似した場合における長軸を各シワの長さとして算出し、算出した複数のシワの長さの平均値、又は最大値であることが好ましい。
シワの面積に基づいて算出されるシワ指標は、凹凸画像から抽出された複数のシワについて、各シワが占めるシワ領域内の画素数を各シワの面積として算出し、算出した複数のシワの面積の平均値、又は最大値であることが好ましい。
シワの深さに基づいて算出されるシワ指標は、凹凸画像から抽出された複数のシワの各々について、各シワが占めるシワ領域内の画素値の平均値を各シワの平均深さとして算出し、算出した各シワの平均深さを複数のシワで平均した平均値であることが好ましい。
シワの角度に基づいて算出されるシワ指標は、凹凸画像から抽出された複数のシワについて、各シワの周縁を楕円近似した場合における長軸が凹凸画像の水平方向と成す角度をシワの角度として算出し、算出した複数のシワの角度の平均値、又は標準偏差値であることが好ましい。
推定式は、複数のシワ指標から算出されたシワ総合指標に基づいて該シワ総合指標に対応する肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定するものであり、
肌の表面の凹凸画像から算出された複数のシワ指標に基づいて得られたシワ総合指標から、推定式を用いて肌の内部にある乳頭突起内に存在する毛細血管の数密度を算出することが好ましい。
推定式は、複数の異なる肌の表面の凹凸情報を含む凹凸画像を取得し、複数の異なる肌の表面の凹凸情報を含む凹凸画像の各々において、一定の深さまたは一定の面積以上の凹凸部分をシワとして算出し、抽出されたシワに基づいて、複数の異なる肌の表面の凹凸情報を含む画像の各々においてシワの特徴を示す複数のシワ指標を算出し、算出された複数のシワ指標に基づいて、複数の異なる肌の表面の凹凸情報を含む画像の各々においてシワ総合指標を算出し、複数のシワ総合指標の各々に対応する複数の異なる肌の内部の乳頭突起内に存在する毛細血管の数密度を算出し、複数のシワ総合指標と複数のシワ総合指標の各々に対応する毛細血管の数密度とを用いて回帰分析することによって得られるものであるが好ましい。
シワ総合指標は、複数のシワ指標の線形和で算出されるものであることが好ましい。
凹凸画像は、肌表面を所定の距離から撮像して取得したものであることが好ましい。
凹凸画像は、肌表面のレプリカを撮像して取得したものであることが好ましい。
凹凸画像は、共焦点顕微鏡、光切断法、又はグレイコードパターン光投影法を用いて取得することができる。
第1の画像は、肌の表面の画像であり、所定の性状は、くすみであり、肌指標は、くすみの特徴を示す複数のくすみ指標であって、肌の表面の画像を取得し、肌の表面の画像から、複数のくすみ指標を算出し、推定式を用いて、算出された複数のくすみ指標に基づいて、毛細血管の数密度を算出してもよい。
画像に解析領域を設定し、解析領域から明度、彩度、及び色相角度のうち少なくとも1つを算出し、算出された明度、彩度、及び色相角度の少なくとも1つに基づいて、くすみ指標を算出することが好ましい。
くすみ指標は、明度、彩度、及び色相角度の少なくとも1つの絶対値を含むことが好ましい。
くすみ指標は、さらに、解析領域を除く肌領域から明度、彩度、及び色相角度の少なくとも1つを算出し、明度、彩度、及び色相角度の少なくとも1つに基づいて取得した、解析領域と肌領域との差分を含むことが好ましい。
くすみ指標は、解析領域から算出した明度、彩度、及び色相角度の少なくとも1つに基づいて取得した標準偏差を含むことが好ましい。
くすみ指標は、解析領域から算出した明度、彩度、及び色相角度の少なくとも1つに基づいて取得した、シミの個数及びシミの面積率の少なくとも1つを含むことが好ましい。
解析領域は、目元領域であることが好ましい。
推定式は、複数のくすみ指標から算出されたくすみ総合指標に基づいてくすみ総合指標に対応する毛細血管の数密度を推定するものであり、肌の表面の画像から算出された複数のくすみ指標に基づいて得られたくすみ総合指標から、推定式を用いて毛細血管の数密度を算出することが好ましい。
推定式は、複数の異なる肌のくすみを含む画像を取得し、複数の異なる肌のくすみを含む画像から複数のくすみ指標を算出し、算出された複数のくすみ指標に基づいて、複数の異なる肌の表面のくすみ情報を含む画像の各々においてくすみ総合指標を算出し、複数のくすみ総合指標の各々に対応する複数の異なる肌の内部の乳頭突起内に存在する毛細血管の数密度を取得し、複数のくすみ総合指標と複数のくすみ総合指標の各々に対応する毛細血管の数密度とを用いて回帰分析することによって得られるものであることが好ましい。
くすみ総合指標は、複数のくすみ指標の線形和で算出されるものであることが好ましい。
本発明の肌の内部構造の推定プログラムは、肌の表面の第1の画像を取得するステップと、第1の画像から、肌の表面の所定の性状を示す複数の肌指標を算出するステップと、予め得られた、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出された複数の肌指標に基づいて、毛細血管の数密度を算出するステップと、をコンピュータに実行させるためのものである。
第1の画像は、肌の表面の凹凸の情報を含む凹凸画像であり、所定の性状は、シワであり、複数の肌指標は、シワの特徴を示す複数のシワ指標であって、肌の表面の凹凸画像を取得するステップと、凹凸画像において、一定の深さまたは一定の面積以上の肌の表面の凹凸部分をシワとして抽出し、抽出されたシワに基づいて、複数のシワ指標を算出するステップと、推定式を用いて、算出されたシワ指標に基づいて、毛細血管の数密度を算出するステップと、をコンピュータに実行させるためのものでもよい。
第1の画像は、肌の表面の画像であり、所定の症状は、くすみであり、複数の肌指標は、くすみの特徴を示す複数のくすみ指標であって、肌の表面の画像を取得するステップと、肌の表面の画像から複数のくすみ指標を算出するステップと、推定式を用いて、算出された複数のくすみ指標に基づいて、毛細血管の数密度を算出するステップと、をコンピュータに実行させるものでもよい。
本発明の肌の内部構造の推定装置は、肌の表面の第1の画像を取得する画像取得部と、第1の画像から、肌の表面の所定の性状を示す複数の肌指標を取得する肌指標算出部と、予め得られた、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出された複数の肌指標に基づいて、毛細血管の数密度を算出する毛細血管数密度推定部と、を備えるものである。
画像取得部は、第1の画像として、肌の表面の凹凸の情報を含む凹凸画像を取得する凹凸画像取得部であり、肌指標算出部は、凹凸画像から、所定の性状として、シワの特徴を示す複数のシワ指標を算出するシワ指標算出部であり、毛細血管数密度推定部は、推定式を用いて、算出された複数のシワ指標に基づいて、毛細血管の数密度を算出するものであり、シワ指標算出部は、凹凸画像において、一定の深さまたは一定の面積以上の肌の表面の凹凸部分をシワとして抽出し、抽出されたシワに基づいて、複数のシワ指標を算出するものでもよい。
画像取得部は、第1の画像として、肌の表面の画像を取得するものであり、肌指標算出部は、肌表面の画像から、所定の性状として、くすみの特徴を示す複数のくすみ指標を算出するくすみ指標算出部であり、毛細血管数密度推定部は、推定式を用いて、算出された複数のくすみ指標に基づいて、毛細血管の数密度を算出するものでもよい。
この発明によれば、肌の表面に生じる肌性状から、容易に、短時間で、且つ精度良く肌の内部構造を推定することができる。
肌表面に生じるシワから、容易に、短時間で、且つ精度良く肌の内部にある乳頭突起内に存在する毛細血管の数密度を取得することができる。
肌表面に生じるくすみから、容易に、短時間で、且つ精度良く肌の内部にある乳頭突起内に存在する毛細血管の数密度を取得することができる。
この発明の実施の形態1に係る肌の内部構造の推定装置の構成を示すブロック図である。 図1のシワ指標算出部の構成を示すブロック図である。 図1のシワ指標算出部によるシワ指標の算出方法を説明するための模式図である。 実施の形態1に係る装置により実行される肌の内部構造の推定方法のフローチャートを示す図である。 シワ指標(シワの長さ)と目視評価値(目元)との相関を示すグラフである。 シワ指標(シワの面積)と目視評価値(目元)との相関を示すグラフである。 シワ指標(シワの深さ)と目視評価値(目元)との相関を示すグラフである。 シワ指標(シワの角度)と目視評価値(目元)との相関を示すグラフである。 シワ定量値(シワ総合指標)と目視評価値(目元)との相関を示すグラフである。 シワ定量値(シワ総合指標)と乳頭構造(乳頭突起)内の毛細血管の数密度(目元)との相関を示すグラフである。 この発明の実施の形態2に係る肌の内部構造の推定装置の構成を示すブロック図である。 図11のくすみ指標算出部の構成を示すブロック図である。 被験者の顔に設定される領域を示す図である。 実施の形態2に係る装置により実行される肌の内部構造の推定方法のフローチャートを示す図である。 くすみ定量値(くすみ総合指標)と目視評価値(目元)との相関を示すグラフである。 くすみ定量値(くすみ総合指標)と乳頭構造(乳頭突起)内の毛細血管の数密度(目元)との相関を示すグラフである。 皮膚組織の構造を示す模式図である。
実施の形態1
以下、この発明の実施の形態を添付図面に基づいて説明する。
図1は、本発明の実施の形態1に係る肌の内部構造の推定装置の構成を示す。本装置は、肌表面に生じるシワから、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する。
本実施の形態1の肌の内部構造の推定装置は、被験者の肌表面の凹凸を撮影した撮影画像を用いて被験者の肌の内部構造(具体的には、乳頭構造内に存在する毛細血管の数密度)を推定するもので、被験者の肌のレプリカ(試料)1を撮影し、肌の表面の凹凸の情報を含む凹凸画像を取得する凹凸画像取得部2を備え、凹凸画像取得部2に、シワ指標算出部3、シワ総合指標算出部4、毛細血管数密度推定部5および表示部6が順次接続されている。また、シワ指標算出部3、シワ総合指標算出部4および毛細血管数密度推定部5にはデータベース7が接続されている。さらに、凹凸画像取得部2、シワ指標算出部3、シワ総合指標算出部4、毛細血管数密度推定部5および表示部6に制御部8が接続され、この制御部8に操作部9が接続されている。
ここで、毛細血管の数密度とは、観察領域で観察される毛細血管係蹄の単位面積あたりの個数である。
凹凸画像取得部2は、所定の距離から被験者の肌(目元:目の周りの皮膚が柔らかい部分)のレプリカ1を撮影したカメラから撮影画像を取得する(図示せず)。
撮影する被験者の肌のレプリカは、日本化粧品工業連合会において作成された「シワ評価法ガイダンス」に示される「レプリカの採取法」に従って作成するものであり、被験者の肌(目元)にレプリカ剤を塗布して固化させた後、固化したレプリカ剤をはがすことにより、肌表面の凹凸が転写した肌のレプリカを作製する。
なお、レプリカを作製する肌部分は、目元に限定されず、マイクロスコープ等の装置を用いて、乳頭突起内に存在する毛細血管が観察しやすい部分であればよい。
凹凸画像取得部2は、カメラから入力された撮影画像に対して、光量補正およびノイズ除去などの処理を行い、肌表面の凹凸が判断できる三次元的な画像を取得する。
凹凸画像取得部2は、カメラにより取得された撮影画像でなく、例えば、特開平9−61720号に示される共焦点顕微鏡を用いた方法により3次元画像を取得することもできる。この方法は、試料(肌レプリカ)1と顕微鏡の対物レンズとの間の相対的距離を変化させながら集束したレーザビームにより複数回試料表面を2次元走査し、試料表面からの反射光を光検出器で受光し、各画素の輝度が最大となる全焦点画像及び輝度が最大となるZ軸方向の位置情報を各画素で検出し、全焦点画像とZ方向の位置情報とに基づいて試料表面の3次元画像を形成する。
また、光切断法により3次元画像を取得してもよい。この方法は、1本のスリット光を測定対象物(肌レプリカ)に照射し、その反射光をイメージングセンサで受光し、三角測距することで、スリット光1ライン分の3次元距離データを取得することができる。従って、スリット光を測定対象物全体に走査させることにより、測定対象物全体の3次元画像を取得することができる。
また、グレイコードパターン光投影法に3次元画像を取得することもできる。この方法は、プロジェクタをカメラの上に配置して当該プロジェクタからグレイコードパターン光を対象物に投影し、この状態で対象物をカメラにより撮像してその撮像画像をもとに観測対象の3次元画像を取得するものである。
シワ指標算出部3は、凹凸画像取得部2から凹凸画像が入力され、凹凸画像に基づいて、一定の深さ、又は一定の面積以上の凹凸部分をシワとして抽出し、抽出されたシワに基づいて、シワの特徴を示す複数のシワ指標を算出するものである。
シワ指標算出部3は、図2に示すように、シワ抽出部10と、シワ抽出部10にそれぞれ接続された数算出部11と、長さ算出部12と、面積算出部13と、深さ算出部14と、角度算出部15を有し、シワ指標(数、長さ、面積、深さ、及び角度)を算出する。
シワ抽出部10は、図3に示すように、凹凸画像取得部2から入力された凹凸画像を多重解像度分解した後、得られた複数の解像度画像に対し、それぞれ、二値化処理を行い、シワを抽出する。具体的には、肌レプリカに光を照射した際に生じる様々な陰影のうち、一定の深さ、又は一定の面積以上の凹凸部分を抽出するために、閾値となる輝度を設定し、例えば、閾値以上の輝度を255(白色)、未満を0(黒色)として、輝度を二値に変換することにより、閾値以上の濃さをもつ陰影のみをシワとして抽出する。
閾値の設定は、対象となる肌レプリカに応じて決定することができる。
シワ抽出部10により二値化処理された画像は、シワ指標を算出するのに最適な解像度を有する画像が選択され(図3では、27.68[μm/px]の画像)、シワ抽出部10にそれぞれ接続された数算出部11、長さ算出部12、面積算出部13、深さ算出部14、角度算出部15にそれぞれ出力される。
なお、ここで選択される画像(即ち、シワ指標(数、長さ、面積、深さ、及び角度)を算出するために用いられる画像)は、各シワ指標によって異なる解像度の画像であってもよい。
また、ここで選択される画像の解像度は、後述の線形モデル(シワ総合指標モデル)の作成に用いた各シワ指標を算出する際に選択された各画像の解像度と同じであることが好ましい。
各シワ指標の算出に使用される最適な画像は、所定の条件を満たす画像が自動的に選択されるが、これに限定されず、操作部9を介して、操作者が最適な画像を選択することもできる。
数算出部11は、凹凸画像を閾値により二値化処理した画像をラベリング処理し、ラベルの数をカウントすることでシワの数を算出する。
長さ算出部12は、凹凸画像から抽出された複数のシワについて、まず、各シワの周縁を楕円近似した場合における長軸を各シワの長さとして算出し、次いで、算出した複数のシワの長さの平均値、又は複数のシワの長さの最大値をシワ指標(長さ)として算出する。
面積算出部13は、凹凸画像から抽出された複数のシワについて、まず、各シワが占めるシワ領域内の画素数を各シワの面積として算出し、次いで、算出した複数のシワの面積の平均値、又は複数のシワの面積の最大値をシワ指標(面積)として算出する。
深さ算出部14は、凹凸画像から抽出された複数のシワについて、まず、凹凸画像から抽出されたシワの各々について、各シワが占めるシワ領域内の画素値の平均値を各シワの平均深さとして算出し、次いで、算出した各シワの平均深さを複数のシワで平均した平均値をシワ指標(深さ)として算出する。
角度算出部15は、凹凸画像から抽出された複数のシワについて、各シワの周縁を楕円近似した場合における長軸が凹凸画像の水平方向と成す角度をシワの角度として算出し、次いで、算出した複数のシワの角度の平均値、又は複数のシワの角度の標準偏差値をシワ指標(角度)として算出する。
シワ指標算出部3は、数算出部11が算出したシワ指標(数)、長さ算出部12が算出したシワ指標(長さ)、面積算出部13が算出したシワ指標(面積)、深さ算出部14が算出したシワ指標(深さ)、及び角度算出部15が算出したシワ指標(角度)の少なくとも2以上のシワ指標を、シワ総合指標算出部5に出力する。
シワ総合指標算出部4は、データベース7に予め格納されている複数のシワ指標の線形和からなる線形モデルを使用して、数算出部11、長さ算出部12、面積算出部13、深さ算出部14、及び角度算出部15で算出された複数のシワ指標から、シワに対する総合指標(シワ総合指標)を算出する。算出されたシワ総合指標は、毛細血管数密度推定部5へ出力される。
毛細血管数密度推定部5は、データベース7に予め格納されている推定式と、シワ総合指標算出部4で算出されたシワ総合指標に基づいて、被験者の肌の内部構造(即ち、乳頭構造内の毛細血管の数密度)を推定する。
データベース7は、シワ総合指標算出部4で使用するための線形モデル、即ち、複数のシワ指標の線形和からなる線形モデルが格納されている。具体的には、シワ指標算出部3において、予め、肌性状の異なる複数のサンプル(肌)から作成した肌レプリカの各シワ指標、及び各シワ指標の和を算出し、重回帰分析により作成された、複数のシワ指標の線形和からなる線形モデル(シワ総合指標モデル)がデータベース7に格納されている。
なお、ここで、線形モデルの作成に使用される各シワ指標の算出に使用する画像は、各シワ指標によって異なる解像度の画像を使用することができる。図3に示すような複数の解像度の画像から、複数の各シワ指標を算出し、任意の組み合わせで複数のシワ指標の和を算出し、重回帰分析により作成された複数のモデルのうち、相関性の高いモデルを、肌の内部構造の推定に用いるモデルとして、データベース7に格納することが好ましい。
また、被験者の肌の内部構造を推定する際に、シワ指標算出部3において、各シワ指標の算出に用いられる画像の解像度は、このように、データベース7に格納した線形モデルの作成に用いた各シワ指標の算出に用いられた各画像の解像度と同じであることが好ましい。
また、データベース7は、毛細血管数密度推定部5で使用するための推定式、即ち、総合指標と乳頭突起内に存在する毛細血管の数密度との回帰分析から得られた推定式が格納されている。具体的には、予め、先述した線形モデルの作成に使用した肌性状の異なる複数のサンプル(目元)の乳頭突起内に存在する毛細血管の数密度を、マイクロスコープ、及び特願2017−051264号に示される装置を用いて撮像された撮像画像から、毛細血管係蹄の数を抽出し、特定領域の面積あたりの個数を算出することにより取得する。次いで、先述した複数のサンプル(目元)から作成した肌レプリカに基づくシワ総合指標値と、それに対応する毛細血管の数密度を回帰分析することにより作成された推定式がデータベース7に格納されている。
表示部6は、例えば、例えば、LCD(liquid crystal display)等のディスプレイ装置を含んでおり、毛細血管数密度推定部5で推定された肌の内部構造の推定結果である乳頭構造内に存在する毛細血管の数密度を表示する。
操作部9は、操作者が情報の入力操作を行うためのもので、キーボード、マウス、トラックボール、タッチパネル等から形成することができる。
制御部8は、操作者により操作部9から入力された各種の指令信号等に基づいて、肌の内部構造の推定装置内の各部の制御を行うものである。
なお、凹凸画像取得部2、シワ指標算出部3、シワ総合指標算出部4、毛細血管数密度推定部5および制御部8は、CPU(Central Processing Unit)と、CPUに各種の処理を行わせるための動作プログラムから構成されるが、それらをデジタル回路で構成してもよい。
また、CPUにバスなどの信号線を介してメモリを接続することができ、例えば、凹凸画像取得部2で生成された凹凸画像、シワ算出部3で算出されたシワ指標、シワ総合指標算出部4で算出されたシワ総合指標、毛細血管数密度推定部5で推定された結果などをメモリにそれぞれ格納し、このメモリに格納された画像及び指標、及び推定結果を制御部8の制御の下で表示部6に表示させることができる。
次に、図4を参照して、実施の形態1に係る肌の内部構造の推定装置の動作について説明する。
まず、被験者の目元から作成された肌のレプリカを撮像して得られた撮像画像が、凹凸画像取得部2に入力され、処理されることにより、凹凸画像が取得され(ステップS1)シワ指標算出部3に入力される。シワ指標入力部3は、一定の深さ、または一定の面積以上の凹凸部分を抽出し(ステップS2)、抽出されたシワについて、シワの特徴を示す複数のシワ指標を算出し(ステップS3)、シワ総合指標算出部4に入力される。シワ総合指標算出部4は、予め、データベース7に格納されているシワ総合指標モデルを用いて、シワ指標算出部3で算出された複数のシワ指標に基づくシワ総合指標を算出し(ステップS4)、毛細血管数密度推定部5へ出力する。毛細血管数密度推定部5は、予め、データベース7に格納されている、シワ総合指標と乳頭突起内に存在する毛細血管の数密度との回帰分析から得られた推定式を使用して、シワ総合指標算出部4で算出されたシワ総合指標に基づく乳頭突起内に存在する毛細血管の数密度を推定する(ステップS5)。
実施の形態2
図11は、本発明の実施の形態2に係る肌の内部構造の推定装置の構成を示す。本装置は、肌表面に生じるくすみから、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する。
本実施の形態2の肌の内部構造の推定装置は、被験者の肌表面を撮影した撮影画像を用いて被験者の肌の内部構造(具体的には、乳頭構造内に存在する毛細血管の数密度)を推定するものである。本装置は、画像取得部42と、くすみ指標算出部43と、くすみ総合指標算出部44と、毛細血管数密度推定部45と、表示部46と、データベース47と、制御部48と、操作部49と、を備える。
画像取得部42は、くすみ指標算出部43、くすみ総合指標算出部44、毛細血管数密度推定部45および表示部46が順次接続されている。また、くすみ指標算出部43、くすみ総合指標算出部44および毛細血管数密度推定部45にはデータベース47が接続されている。さらに、画像取得部42、くすみ指標算出部43、くすみ総合指標算出部44、毛細血管数密度推定部45および表示部46には制御部48が接続され、この制御部48に操作部49が接続されている。
ここで、毛細血管の数密度とは、肌の性状(くすみ)を画像解析により分析する領域において観察される毛細血管係蹄の単位面積あたりの個数である。
画像取得部42は、被験者の顔Fを撮影したカメラCから被験者の肌表面の撮影画像を取得する。ここで取得される画像は、RGB色空間を有するものである。カメラCは、被験者の顔Fを撮影できるものであればよく、例えば、デジタルカメラおよびCCDカメラなどを用いることができ、スマートフォンなどの携帯電話で撮影した撮影画像を用いることもできる。
くすみ指標算出部43は、くすみの特徴を示すくすみ指標を算出するものであり、図12に示すように、色空間変換部51、絶対値算出部52、色差算出部53、ばらつき算出部54、及びシミ算出部55を有する。
色空間変換部51には、絶対値算出部52、色差算出部53、ばらつき算出部54、及びシミ算出部55が接続されている。
色空間変換部51は、画像取得部42から入力される撮影画像(RGB画像)に対して、光量補正およびノイズ除去などの前処理を施した後、L色空間に変換して色空間変換画像を生成する。また、色空間変換部53は、色空間変換画像から明るさを示すL成分(明度)及び、色を示すa成分、b成分、C成分(彩度)、H成分(色相角度)を抽出し、各成分画像(すなわち、L成分画像、a成分画像、b成分画像、C成分画像、及びH成分画像)を生成する。生成された各成分画像は、絶対値算出部52、色差算出部53、ばらつき算出部54、及びシミ算出部55に入力される。
絶対値算出部52は、図13に示すように、色空間変換部51から入力された成分画像(被験者の顔Fの画像)から、色むら及びシミが生じやすい目元を解析領域Rとして設定する。続いて、解析領域Rから各色成分(L成分、a成分、b成分、C成分及びh成分)の強度の平均値(色成分値)を算出する。さらに、算出された平均値の絶対値を算出し、これら値の少なくとも1つをくすみ指標とする。
色差算出部53は、図13に示すように、色空間変換部51から入力された各成分画像(被験者の顔Fの画像)から、色むら及びシミが生じやすい目元を解析領域Rとして設定し、解析領域Rを除く被験者の顔Fの肌全体を解析領域Rとして設定する。各解析領域R及びRの各色成分(L成分、a成分、b成分、C成分及びh成分)の強度の平均値を算出する。さらに、解析領域Rと解析領域Rとの色差ΔL、Δa、Δb、ΔC及びΔHの値を算出し、これら値の少なくとも1つをくすみ指標とする。
ばらつき算出部54は、図13に示すように、色空間変換部51から入力された各成分画像画像(被験者の顔Fの画像)から、色むら及びシミが生じやすい目元を解析領域Rとして設定する。解析領域Rの各色成分(L成分、a成分、b成分、C成分及びh成分)を算出し、これら値の標準偏差stdL、stdA、stdB、stdC及びstdHの値を算出し、これら値の少なくとも1つをくすみ指標とする。ここで算出される標準偏差は、色のばらつきを示すものである。
シミ算出部55は、図13に示すように、色空間変換部51から入力された色空間変換画像(被験者の顔Fの画像)から、シミが生じやすい目元を解析領域Rとして設定し、評価領域Rからシミ部分を検出する。ここで、シミ部分とは、明るさを示すL成分(明度)及び、色を示すa成分、b成分、C成分(彩度)、H成分(色相角度)の値が局所的に変化するものであり、例えば、大きさ(最大値または直径)が2mmより大きく50mmより小さいものを示す。
シミ算出部55は、これら値が局所的に変化するシミ部分を大きさに基づいて解析領域Rから検出し、解析領域Rにおけるシミ部分の面積率、解析領域Rにおけるシミ部分の個数を算出する。シミの個数及びシミの面積率の少なくとも1つをくすみ指標とする。
例えば、L成分画像に対して解析領域Rを設定した場合、シミ部分は、例えば、Dog画像(Difference of Gaussian画像)を生成することにより検出することができる。具体的には、L成分画像からガウシアンの大きさが異なるDog画像を生成する。一般的には、シミは2mm〜10mmの大きさで且つ0.05cycle/mm〜0.25cycle/mmの周波数を有する。そこで、シミ算出部55は、シミの周波数帯域を有する成分が抽出されるようにDog画像処理を行う。さらに、このDog画像処理の際に、閾値処理した2値化画像から各成分の形状を算出し、丸い形状で且つその円形度(4π×面積)/周囲長が2mm〜10mmの成分をシミ成分として検出することができる。
また、シミ部分は、上述したDog画像処理を行った後に、さらに、赤みの値(a成分値)及び黄みの値(b成分値)が所定の閾値(Δa成分値及びΔb成分値が2.5以下)より小さい成分を抽出することで検出することもできる。
なお、シミ算出部55は、色空間変換部51からL成分画像だけでなく、a成分画像及びb成分画像などの色成分画像を用いてDog画像を生成し、上記と同様にして、シミ部分を検出することもできる。
また、シミ算出部55は、Dog画像を生成することなく、例えば、L成分画像から所定の閾値以下の強度を有する成分を抽出し、抽出された成分について主成分分析および独立成分分析等を実施することによりシミ部分を検出することもできる。
シミ算出部55は、このように検出されたシミ部分の少なくとも1つの総面積をくすみ指標として算出する。
くすみ総合指標算出部44は、データベース47に予め格納されている複数のくすみ指標の線形和からなる線形モデルを使用して、絶対値算出52、色差算出部53、ばらつき算出部54及びシミ算出部55で算出された複数のくすみ指標から、くすみに対する総合指標(くすみ総合指標)を算出する。算出されたくすみ総合指標は、毛細血管数密度推定部45へ出力される。
くすみ総合指標値を算出するために用いられるくすみ指標は、少なくとも2以上であれば特に限定されないが、(1)赤み成分のばらつき(stdA)及びシミの面積率、(2)明るさのばらつき(stdL)及びシミの面積率、または、(3)彩度のばらつき(stdC)及びシミの面積率を用いることが好ましい。これら2つのくすみ指標を用いて算出されたくすみ総合指標値は、目視評価値と相関性の高いモデルを作成することができるからである。
上記(1)赤み成分のばらつき(stdA)及びシミの面積率の組み合わせが好ましい理由としては、目元領域にくすみが生じているほど、色むら及びシミがあり、また、くすみがある部分では肌の赤みが小さくなり、くすみの無い部分では肌の赤みが強くなる。そのため、くすみがある部分とくすみが無い部分を含む目元領域全体では赤みのばらつきが大きくなる。また、くすみが存在するほど、目元領域にシミがあるため、シミの面積率が大きくなる。そのため、このような2つのくすみ指標を用いると、目元領域にくすみが存在すればするほど、くすみ総合指標値が大きくなる傾向がモデル化されるからである。
上記(2)明るさのばらつき(stdL)及びシミの面積率の組み合わせが好ましい理由としては、肌の赤み成分のばらつきと同様に、くすみがある部分では肌の明るさが暗くなり、くすみの無い部分では肌の明るさが明るくなる。そのため、くすみがある部分とくすみが無い部分を含む目元領域全体では明るさのばらつきが大きくなるためである。
また、上記(3)彩度のばらつき(stdC)及びシミの面積率の組み合わせが好ましい理由も、肌の赤み成分のばらつきと同様に、くすみがある部分では肌の彩度が小さくなり、くすみの無い部分では肌の彩度が大きくなる。そのため、くすみがある部分とくすみが無い部分を含む目元領域全体では彩度のばらつきが大きくなるためである。
毛細血管数密度推定部45は、データベース47に予め格納されている推定式と、くすみ総合指標算出部44で算出されたくすみ総合指標に基づいて、被験者の肌の内部に存在する乳頭構造内の毛細血管の数密度を推定する。
データベース47は、くすみ総合指標算出部44で使用するための線形モデル、即ち、複数のくすみ指標の線形和からなる線形モデルが格納されている。具体的には、くすみ指標算出部43において、予め、肌性状の異なる複数のサンプル(肌)の画像から各くすみ指標、及び各くすみ指標の和を算出し、重回帰分析により作成された、複数のくすみ指標の線形和からなる線形モデル(くすみ総合指標モデル)がデータベース47に格納されている。
なお、各画像から、複数の各くすみ指標を算出し、任意の組み合わせで複数のくすみ指標の和を算出し、重回帰分析により作成された複数のモデルのうち、相関性の高いモデルを、肌の内部構造の推定に用いるモデルとして、データベース47に格納することが好ましい。
また、データベース47は、毛細血管数密度推定部45で使用するための推定式、即ち、くすみ総合指標と乳頭突起内に存在する毛細血管の数密度との回帰分析から得られた推定式が格納されている。具体的には、予め、先述した線形モデルの作成に使用した肌性状の異なる複数のサンプル(目元)の乳頭突起内に存在する毛細血管の数密度を、マイクロスコープ、及び特願2017−051264号に示される装置を用いて撮像された撮像画像から、毛細血管係蹄の数を抽出し、特定領域の面積あたりの個数を算出することにより取得する。次いで、先述した複数のサンプル(目元)の画像に基づくくすみ総合指標値と、それに対応する毛細血管の数密度を回帰分析することにより作成された推定式がデータベース47に格納されている。
表示部46は、例えば、例えば、LCD(liquid crystal display)等のディスプレイ装置を含んでおり、毛細血管数密度推定部45で推定された肌の内部構造の推定結果である乳頭構造内に存在する毛細血管の数密度を表示する。
操作部49は、操作者が情報の入力操作を行うためのもので、キーボード、マウス、トラックボール、タッチパネル等から形成することができる。
制御部48は、操作者により操作部49から入力された各種の指令信号等に基づいて、肌の内部構造の推定装置内の各部の制御を行うものである。
なお、画像取得部42、くすみ指標算出部43、くすみ総合指標算出部44、毛細血管数密度推定部45、表示部46および制御部48は、CPU(Central Processing Unit)と、CPUに各種の処理を行わせるための動作プログラムから構成されるが、それらをデジタル回路で構成してもよい。
また、CPUにバスなどの信号線を介してメモリを接続することができ、例えば、画像取得部42で生成された肌画像、くすみ指標算出部43で算出されたくすみ指標、くすみ総合指標算出部44で算出されたくすみ総合指標、毛細血管数密度推定部45で推定された結果などをメモリにそれぞれ格納し、このメモリに格納された画像及び指標、及び推定結果を制御部48の制御の下で表示部46に表示させることができる。
次に、図14を参照して、実施の形態2に係る肌の内部構造の推定装置の動作について説明する。
まず、被験者の顔FをカメラCで撮影して顔の撮影画像(RGB画像)を取得し(ステップS11)、図11に示すように、カメラCから画像取得部42に入力される。入力された撮影画像は、くすみ指標算出部43の色空間変換部51に出力される。
色空間変換部51に入力された撮影画像(RGB画像)は、光源補正およびノイズ除去などの前処理が施された後、その撮影画像の色空間がLa色空間に変換されて色空間変換画像が生成される。そして、色空間変換部51は、色空間変換画像から明るさ及び色を示す各成分を抽出し、各成分画像(すなわち、L成分画像、a成分画像、b成分画像、C成分画像、及び、H成分画像)を生成する。色空間変換部51は、生成した各成分画像を絶対値算出部52、色差算出部53、ばらつき算出部54及びシミ算出部55にそれぞれ出力し、各算出部は、所定の解析領域Rにおけるくすみ指標を算出する。(ステップS12)。
このように算出された複数のくすみ指標は、くすみ指標算出部43からくすみ総合指標算出部44に入力される。くすみ総合指標算出部44は、予め、データベース47に格納されているくすみ総合指標モデルを用いて、くすみ指標算出部43で算出された複数のくすみ指標に基づいてくすみ総合指標を算出し(ステップS13)、毛細血管数密度推定部45へ出力する。毛細血管数密度推定部45は、予め、データベース47に格納されている、くすみ総合指標と乳頭突起内に存在する毛細血管の数密度との回帰分析から得られた推定式を使用して、くすみ総合指標算出部44で算出されたくすみ総合指標に基づく乳頭突起内に存在する毛細血管の数密度を推定する(ステップS14)。
肌の内部構造の推定装置を用いて、被験者の肌の毛細血管密度を推定した実施例を示す。
実施例1
(1)シワ指標
日本香粧品学会により作成された抗シワ機能評価試験ガイドライン(日本香粧品学会誌 Vol.30, No.4,pp.316-332, 2006)の基準に沿って、20人の被験者を無作為に選びだし、目元を対象部分とした。
まず、20人の被験者に対して、本願の実施の形態1の肌の内部構造の推定装置を用いて、各シワ指標(長さ、面積、深さ、及び角度)を算出するとともに、上述の抗シワ機能評価試験ガイドラインによる8段階のシワグレード分類で目視評価を行った。
<8段階のシワグレード分類>
0 シワは無い
1 不明瞭な浅いシワが僅かに認められる
2 明瞭な浅いシワが僅かに認められる
3 明瞭な浅いシワが認められる
4 明瞭な浅いシワの中に、やや不快シワが僅かに認められる
5 やや深いシワが認められる
6 明瞭な深いシワが認められる
7 著しく不快シワが認められる
図5〜8に、各シワ指標(長さ、面積、深さ、及び角度)の値を、目視評価値に対して「◆」でプロットした。各シワ指標と目視評価値との相関関係は、図5に示すシワ指標(長さ)と目視評価値との相関関係は、R(相関係数)=0.7292、図6に示すシワ指標(面積)と目視評価値との相関関係はR=0.4683、図7に示すシワ指標(深さ)と目視評価値との相関関係R=0.209、図8に示すシワ指標(角度)と目視評価値との相関関係はR=0.5123であった。これにより、各シワ指標は目視評価値と相関があることが分かる。
(2)シワ総合指標モデル
また、上述の目視評価値を行った被験者20人の被験者を、無作為に、(A)シワ総合指標モデル(複数のシワ指標の線形和)を作成するための11人と、(B)作成されたシワ総合指標モデルの信頼性を確認するための9人に分け、(A)グループの11人から取得された複数のシワ指標(長さ及び角度)及びそれらの和から、重回帰分析により、複数のシワ指標の線形和からなるシワ総合指標モデル(線形モデル)を作成し、(B)グループの9人から取得された複数のシワ指標(長さ及び角度)を(A)グループから求めたシワ総合指標モデルに代入してシワ総合指標を求めた。
図9に、(A)グループ11人から取得されたシワ指標の和を、目視評価値に対して「■」でプロットし、(B)グループ9人から求めたシワ総合指標を、目視評価値に対して「◇」でプロットした。
シワ総合指標モデルは、yをシワ総合指標、x1をシワ指標(長さ)、x2をシワ指標(角度)とすると、y=0.002906746×x1+0.011803113×x2−1.076706106の式で得られた。
シワ総合指標の値と目視評価値との間の相関を求めた結果、相関係数Rは、0.832であった。これより、複数のシワ指標に基づいて算出されたシワ総合指標と目視評価値とは、高い相関が得られることが分かる。
(3)推定式
上述の抗シワ機能評価試験ガイドラインに従って、目元を対象部分とし、先述したシワ総合指標モデルの作成及びその信頼性を確認するために選出した20人に加えて、さらに、先述した抗シワ機能評価試験ガイドラインの基準に従って、無作為に、14人の被験者を選び、本願の肌の内部構造の推定装置を用いて、複数のシワ指標(長さ及び角度)を算出した。また、取得された複数のシワ指標から、先述した11人から肌(目元)画像が取得され作成されたシワ総合指標モデルを使って、シワ総合指標を算出した。
また、34人の被験者の肌(目元)を特願2017−051264号に記載の装置で撮影した画像から、乳頭構造内に存在する毛細血管の数を抽出し、所定領域10mm四方における数密度を算出した。
算出されたシワ総合指標と毛細血管の数密度を回帰分析することにより推定式y=−6.658x+22.703が得られた。
図10は、34人の被験者から算出されたシワ総合指標を、算出された毛細血管の数密度に対してプロットしたものである。シワ総合指標と、毛細血管の数密度を比較したところ、相関関数Rは、0.2216であり、p値が0.004957であった。
本技術分野において、p値が0.05未満であるとき、有意差があると認められるため、上記結果は、相関が十分に取れていることが分かった。
実施例2
(1)くすみ指標
肌の性状(特にくすみ)が異なる18人の被験者を無作為に選びだし、目元を対象部分とした。18人の被験者に対して、実施の形態2の肌の内部構造の推定装置を用いて、くすみ指標(赤み成分aのばらつき:stdA、及びシミの面積率)を算出するとともに、下記に示す5段階のカテゴリ分類で目視評価を行った。
<5段階のカテゴリ分類>
1 全くくすみを感じない
2 くすみを感じるが気にならない
3 わずかにくすみを感じる
4 くすみを感じる
5 かなりくすみを感じる
(2)くすみ総合指標モデル
また、上述で取得された複数のくすみ指標の和から、重回帰分析により、複数のくすみ指標の線形和からなるくすみ総合指標モデル(線形モデル)を作成した。
くすみ総合指標モデルは、yをくすみ総合指標、x1をくすみ指標1(赤み成分aのばらつき:stdA)、x2をくすみ指標2(シミの面積率)とすると、y=0.479556966×x1+0.176530059×x2+1.493311663の式で得られた。
また、図15に示すように、求められたくすみ指標の和を、目視評価値に対してプロットした。くすみ総合指標の値と目視評価値との間の相関を求めた結果、相関係数Rは、0.500であった。これより、くすみ総合指標と目視評価値とは、高い相関が得られることが分かる。
また、図15から、シミ指標として、赤み成分のばらつきとシミの面積率を用いて作成されたくすみ総合指標モデルが、目元領域にくすみが存在すればするほど、くすみ総合指標値が大きい傾向がモデル化されていると言える。
(3)推定式
上述の18人に加えて、さらに、無作為に16人の被験者を選び、本願の肌の内部構造の推定装置を用いて、複数のくすみ指標(赤み成分のばらつき及びシミの面積率)の算出、及び、上述の方法で目視評価を行った。また、取得された34人の複数のくすみ指標から、先述した18人から肌(目元)画像が取得され作成されたくすみ総合指標モデルを使って、くすみ総合指標を算出した。
また、34人の被験者の目元を特願2017−051264号に記載の装置で撮影した画像から、乳頭構造内に存在する毛細血管の数を抽出し、所定領域10mm四方における数密度を算出した。
算出されたくすみ総合指標と毛細血管の数密度を回帰分析することにより推定式y=-0.027x+3.799が得られた。
図16は、34人の被験者から算出されたくすみ総合指標を、算出された毛細血管の数密度に対してプロットしたものである。くすみ総合指標と、毛細血管の数密度を比較したところ、相関関数Rは、0.141であり、p値が0.029であった。
本技術分野において、p値が0.05未満であるとき、有意差があると認められるため、上記結果は、相関が十分に取れていることが分かった。
1 肌レプリカ(試料)
2 凹凸画像取得部
3 シワ指標算出部
4 シワ総合指標算出部
5、45 毛細血管数密度推定部
6、46 表示部
7、47 データベース
8、48 制御部
9、49 操作部
10 シワ抽出部
11 数算出部
12 長さ算出部
13 面積算出部
14 深さ算出部
15 角度算出部
20 角層
22 表皮
24 真皮
26 基底層
27 表皮突起
28 乳頭層
29 乳頭突起
30 網状層
32 網状層内の血管(網状層血管)
34 乳頭突起内の毛細血管(係蹄)
41 試料(被写体の顔表面)
42 画像取得部
43 くすみ指標算出部
44 くすみ総合指標算出部
51 色空間変換部
52 絶対値算出部
53 色差算出部
54 ばらつき算出部
55 シミ算出部
F 被写体の顔
解析領域
S 皮膚組織(皮膚)

Claims (31)

  1. 肌の表面の第1の画像を取得し、
    前記第1の画像から、前記肌の表面の所定の性状を示す複数の肌指標を算出し、
    予め得られた、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出した前記複数の肌指標に基づいて、前記毛細血管の数密度を算出する肌の内部構造の推定方法。
  2. さらに、前記複数の肌指標から肌総合指標を算出し、
    前記推定式を用いて、前記肌総合指標から前記毛細血管の数密度を算出する請求項1に記載の肌の内部構造の推定方法。
  3. 前記推定式は、
    複数の異なる肌の第2の画像及び前記第2の画像に対応する前記毛細血管の数密度を予め取得し、
    前記複数の第2の画像の各々から、複数の前記肌指標を算出し、算出された前記複数の肌指標に基づいて、複数の前記肌総合指標を算出し、
    前記複数の肌総合指標と前記複数の肌総合指標の各々に対応する、算出された前記毛細血管の数密度とを用いて回帰分析することによって得られる請求項2に記載の肌の内部構造の推定方法。
  4. 前記第1の画像は、前記肌の表面の凹凸の情報を含む凹凸画像であり、
    前記所定の性状は、シワであり、
    前記肌指標は、前記シワの特徴を示すシワ指標であって、
    前記肌の表面の前記凹凸画像を取得し、
    前記凹凸画像において、一定の深さまたは一定の面積以上の前記肌の表面の凹凸部分を前記シワとして抽出し、抽出された前記シワに基づいて、複数の前記シワ指標を算出し、
    前記推定式を用いて、算出された前記シワ指標に基づいて、前記毛細血管の数密度を算出する請求項1に記載の肌の内部構造の推定方法。
  5. 前記シワ指標は、シワの数、シワの長さ、シワの面積、シワの深さ、及びシワの角度の少なくとも2つに基づいて算出される請求項4に記載の肌の内部構造の推定方法。
  6. 前記シワの長さに基づいて算出される前記シワ指標は、前記凹凸画像から抽出された複数のシワについて、各シワの周縁を楕円近似した場合における長軸を各シワの長さとして算出し、算出した前記複数のシワの長さの平均値、又は最大値である請求項5に記載の肌の内部構造の推定方法。
  7. 前記シワの面積に基づいて算出される前記シワ指標は、前記凹凸画像から抽出された複数のシワについて、各シワが占めるシワ領域内の画素数を各シワの面積として算出し、算出した前記複数のシワの面積の平均値、又は最大値である請求項5または6に記載の肌の内部構造の推定方法。
  8. 前記シワの深さに基づいて算出される前記シワ指標は、前記凹凸画像から抽出された複数のシワの各々について、各シワが占めるシワ領域内の画素値の平均値を各シワの平均深さとして算出し、算出した前記各シワの平均深さを前記複数のシワで平均した平均値である請求項5〜7のいずれか1項に記載の肌の内部構造の推定方法。
  9. 前記シワの角度に基づいて算出される前記シワ指標は、前記凹凸画像から抽出された複数のシワについて、各シワの周縁を楕円近似した場合における長軸が前記凹凸画像の水平方向と成す角度を前記シワの角度として算出し、算出した前記複数のシワの角度の平均値、又は標準偏差値である請求項5〜8のいずれか1項に記載の肌の内部構造の推定方法。
  10. 前記推定式は、前記複数の前記シワ指標から算出されたシワ総合指標に基づいて該シワ総合指標に対応する肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定するものであり、
    前記肌の表面の凹凸画像から算出された前記複数のシワ指標に基づいて得られたシワ総合指標から、前記推定式を用いて前記肌の内部にある乳頭突起内に存在する毛細血管の数密度を算出する請求項4〜9のいずれか1項に記載の肌の内部構造の推定方法。
  11. 前記推定式は、
    複数の異なる肌の表面の凹凸情報を含む凹凸画像を取得し、
    前記複数の異なる肌の表面の凹凸情報を含む凹凸画像の各々において、前記一定の深さまたは一定の面積以上の前記凹凸部分をシワとして算出し、
    抽出された前記シワに基づいて、前記複数の異なる肌の表面の凹凸情報を含む画像の各々において前記シワの特徴を示す複数のシワ指標を算出し、
    算出された前記複数のシワ指標に基づいて、前記複数の異なる肌の表面の凹凸情報を含む画像の各々においてシワ総合指標を算出し、
    複数の前記シワ総合指標の各々に対応する前記複数の異なる肌の内部の乳頭突起内に存在する毛細血管の数密度を取得し、
    複数の前記シワ総合指標と該複数の前記シワ総合指標の各々に対応する前記毛細血管の数密度とを用いて回帰分析することによって得られるものである請求項4〜10のいずれか1項に記載の肌の内部構造の推定方法。
  12. 前記シワ総合指標は、
    前記複数のシワ指標の線形和で算出されるものである請求項4〜11のいずれか1項に記載の肌の内部構造の推定方法。
  13. 前記凹凸画像は、前記肌表面を所定の距離から撮像して取得したものである請求項4〜12のいずれか1項に記載の肌の内部構造の推定方法。
  14. 前記凹凸画像は、前記肌表面のレプリカを撮像して取得したものである請求項4〜13のいずれか1項に記載の肌の内部構造の推定方法。
  15. 前記凹凸画像は、共焦点顕微鏡、光切断法、又はグレイコードパターン光投影法を用いて取得する請求項4〜14のいずれか1項に記載の肌の内部構造の推定方法。
  16. 前記第1の画像は、前記肌の表面の画像であり、
    前記所定の性状は、くすみであり、
    前記肌指標は、前記くすみの特徴を示す複数のくすみ指標であって、
    前記肌の表面の画像を取得し、
    前記肌の表面の画像から、複数の前記くすみ指標を算出し、
    前記推定式を用いて、算出された前記くすみ指標に基づいて、前記毛細血管の数密度を算出する、
    請求項1に記載の肌の内部構造の推定方法。
  17. 前記画像に解析領域を設定し、前記解析領域から明度、彩度、及び色相角度のうち少なくとも1つを算出し、
    前記算出された前記明度、前記彩度、及び前記色相角度の少なくとも1つに基づいて、前記くすみ指標を算出する請求項16に記載の肌の内部構造の推定方法。
  18. 前記くすみ指標は、前記明度、前記彩度、及び前記色相角度の少なくとも1つの絶対値を含む請求項17に記載の肌の内部構造の推定方法。
  19. 前記くすみ指標は、
    さらに、前記解析領域を除く肌領域から前記明度、前記彩度、及び前記色相角度の少なくとも1つを算出し、
    前記明度、前記彩度、及び前記色相角度の少なくとも1つに基づいて取得した、前記解析領域と前記肌領域との差分を含む請求項17または18に記載の肌の内部構造の推定方法。
  20. 前記くすみ指標は、前記解析領域から算出した前記明度、前記彩度、及び前記色相角度の少なくとも1つに基づいて取得した標準偏差を含む請求項17〜19のいずれか1項に記載の肌の内部構造の推定方法。
  21. 前記くすみ指標は、
    前記解析領域から算出した前記明度、前記彩度、及び前記色相角度の少なくとも1つに基づいて取得した、シミの個数及びシミの面積率の少なくとも1つを含む請求項17〜20のいずれか1項に記載の肌の内部構造の推定方法。
  22. 前記解析領域は、目元領域である請求項17〜21のいずれか1項に記載の肌の内部構造の推定方法。
  23. 前記推定式は、前記複数のくすみ指標から算出されたくすみ総合指標に基づいて該くすみ総合指標に対応する前記毛細血管の数密度を推定するものであり、
    前記肌の表面の画像から算出された前記複数のくすみ指標に基づいて得られたくすみ総合指標から、前記推定式を用いて前記毛細血管の数密度を算出する請求項17〜22のいずれか1項に記載の肌の内部構造の推定方法。
  24. 前記推定式は、
    複数の異なる肌の前記くすみを含む画像を取得し、
    前記複数の異なる肌の前記くすみを含む画像から複数の前記くすみ指標を算出し、
    算出された前記複数のくすみ指標に基づいて、前記複数の異なる肌の表面のくすみ情報を含む画像の各々においてくすみ総合指標を算出し、
    複数の前記くすみ総合指標の各々に対応する前記複数の異なる肌の内部の乳頭突起内に存在する毛細血管の数密度を取得し、
    前記複数のくすみ総合指標と前記複数のくすみ総合指標の各々に対応する前記毛細血管の数密度とを用いて回帰分析することによって得られるものである請求項23に記載の肌の内部構造の推定方法。
  25. 前記くすみ総合指標は、
    前記複数のくすみ指標の線形和で算出されるものである請求項23または24に記載の肌の内部構造の推定方法。
  26. 肌の表面の第1の画像を取得するステップと、
    前記第1の画像から、前記肌の表面の所定の性状を示す複数の肌指標を算出するステップと、
    予め得られた、肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出された前記複数の肌指標に基づいて、前記毛細血管の数密度を算出するステップと、
    をコンピュータに実行させるための肌の内部構造の推定プログラム。
  27. 前記第1の画像は、前記肌の表面の凹凸の情報を含む凹凸画像であり、
    前記所定の性状は、シワであり、
    前記複数の肌指標は、前記シワの特徴を示す複数のシワ指標であって、
    前記肌の表面の前記凹凸画像を取得するステップと、
    前記凹凸画像において、一定の深さまたは一定の面積以上の前記肌の表面の凹凸部分を前記シワとして抽出し、抽出された前記シワに基づいて、前記複数のシワ指標を算出するステップと、
    前記推定式を用いて、算出された前記複数のシワ指標に基づいて、前記毛細血管の数密度を算出するステップと、
    をコンピュータに実行させるための請求項26に記載の肌の内部構造の推定プログラム。
  28. 前記第1の画像は、前記肌の表面の画像であり、
    前記所定の症状は、くすみであり、
    前記複数の肌指標は、前記くすみの特徴を示す複数のくすみ指標であって、
    前記肌の表面の画像を取得するステップと、
    前記肌の表面の画像から複数の前記くすみ指標を算出するステップと、
    前記推定式を用いて、算出された前記複数のくすみ指標に基づいて、前記毛細血管の数密度を算出するステップと、
    をコンピュータに実行させるための請求項26に記載の肌の内部構造の推定プログラム。
  29. 肌の表面の第1の画像を取得する画像取得部と、
    前記第1の画像から、前記肌の表面の所定の性状を示す複数の肌指標を取得する肌指標算出部と、
    予め得られた、前記肌の内部にある乳頭突起内に存在する毛細血管の数密度を推定する推定式を用いて、算出された前記複数の肌指標に基づいて、前記毛細血管の数密度を算出する毛細血管数密度推定部と、
    を備える肌の内部構造の推定装置。
  30. 前記画像取得部は、前記第1の画像として、前記肌の表面の凹凸の情報を含む凹凸画像を取得する凹凸画像取得部であり、
    前記肌指標算出部は、前記凹凸画像から、前記所定の性状として、シワの特徴を示す複数のシワ指標を算出するシワ指標算出部であり、
    前記毛細血管数密度推定部は、前記推定式を用いて、算出された前記複数のシワ指標に基づいて、前記毛細血管の数密度を算出するものであり、
    前記シワ指標算出部は、前記凹凸画像において、一定の深さまたは一定の面積以上の前記肌の表面の凹凸部分を前記シワとして抽出し、抽出された前記シワに基づいて、前記複数のシワ指標を算出する請求項29に記載の肌の内部構造の推定装置。
  31. 前記画像取得部は、前記第1の画像として、前記肌の表面の画像を取得するものであり、
    前記肌指標算出部は、前記肌表面の画像から、前記所定の性状として、くすみの特徴を示す複数のくすみ指標を算出するくすみ指標算出部であり、
    前記毛細血管数密度推定部は、前記推定式を用いて、算出された前記複数のくすみ指標に基づいて、前記毛細血管の数密度を算出するものである請求項29に記載の肌の内部構造の推定装置。
JP2018061929A 2017-09-22 2018-03-28 肌の内部構造の推定方法、肌の内部構造の推定プログラム、および肌の内部構造の推定装置 Active JP6814172B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017182122 2017-09-22
JP2017182122 2017-09-22

Publications (2)

Publication Number Publication Date
JP2019058641A true JP2019058641A (ja) 2019-04-18
JP6814172B2 JP6814172B2 (ja) 2021-01-13

Family

ID=66176805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018061929A Active JP6814172B2 (ja) 2017-09-22 2018-03-28 肌の内部構造の推定方法、肌の内部構造の推定プログラム、および肌の内部構造の推定装置

Country Status (1)

Country Link
JP (1) JP6814172B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090513A1 (ja) * 2019-11-08 2021-05-14 株式会社資生堂 シミ属性判定方法、及びシミ属性判定システム
KR20220067818A (ko) * 2020-11-18 2022-05-25 주식회사 베이바이오텍 비접촉식 rgb 카메라를 이용한 피부 진단 시스템 및 그 방법
KR20220078231A (ko) * 2020-12-03 2022-06-10 주식회사 베이바이오텍 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법
WO2024085120A1 (ja) * 2022-10-18 2024-04-25 株式会社資生堂 血管推定装置、血管推定方法、およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007175487A (ja) * 2005-11-30 2007-07-12 Keio Gijuku 経爪無侵襲血中物質測定装置及び爪甲蒸散装置
JP2008061892A (ja) * 2006-09-08 2008-03-21 Tokyo Univ Of Science 表皮組織定量化装置及びプログラム
JP2011101738A (ja) * 2009-11-11 2011-05-26 Pola Chemical Industries Inc 皮膚内部構造の鑑別方法
JP2015047422A (ja) * 2013-09-04 2015-03-16 ポーラ化成工業株式会社 肌状態モデルの生成方法
JP2015062569A (ja) * 2013-09-25 2015-04-09 花王株式会社 シワ状態分析方法及びシワ状態分析装置
JP2016002120A (ja) * 2014-06-13 2016-01-12 花王株式会社 表皮厚の推定方法
JP2016096931A (ja) * 2014-11-19 2016-05-30 株式会社 資生堂 シミ評価装置、シミ評価方法、及びシミ評価プログラム
WO2018168071A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像装置、画像表示システム及び画像表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007175487A (ja) * 2005-11-30 2007-07-12 Keio Gijuku 経爪無侵襲血中物質測定装置及び爪甲蒸散装置
JP2008061892A (ja) * 2006-09-08 2008-03-21 Tokyo Univ Of Science 表皮組織定量化装置及びプログラム
JP2011101738A (ja) * 2009-11-11 2011-05-26 Pola Chemical Industries Inc 皮膚内部構造の鑑別方法
JP2015047422A (ja) * 2013-09-04 2015-03-16 ポーラ化成工業株式会社 肌状態モデルの生成方法
JP2015062569A (ja) * 2013-09-25 2015-04-09 花王株式会社 シワ状態分析方法及びシワ状態分析装置
JP2016002120A (ja) * 2014-06-13 2016-01-12 花王株式会社 表皮厚の推定方法
JP2016096931A (ja) * 2014-11-19 2016-05-30 株式会社 資生堂 シミ評価装置、シミ評価方法、及びシミ評価プログラム
WO2018168071A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像装置、画像表示システム及び画像表示方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090513A1 (ja) * 2019-11-08 2021-05-14 株式会社資生堂 シミ属性判定方法、及びシミ属性判定システム
WO2021090917A1 (ja) * 2019-11-08 2021-05-14 株式会社資生堂 シミ属性判定方法、シミ属性判定システム、血管密集度推定方法、及び血管密集度推定システム
KR20220067818A (ko) * 2020-11-18 2022-05-25 주식회사 베이바이오텍 비접촉식 rgb 카메라를 이용한 피부 진단 시스템 및 그 방법
KR102458614B1 (ko) * 2020-11-18 2022-10-28 주식회사 베이바이오텍 비접촉식 rgb 카메라를 이용한 피부 진단 시스템 및 그 방법
KR20220078231A (ko) * 2020-12-03 2022-06-10 주식회사 베이바이오텍 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법
KR102458615B1 (ko) * 2020-12-03 2022-10-28 주식회사 베이바이오텍 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법
WO2024085120A1 (ja) * 2022-10-18 2024-04-25 株式会社資生堂 血管推定装置、血管推定方法、およびプログラム

Also Published As

Publication number Publication date
JP6814172B2 (ja) 2021-01-13

Similar Documents

Publication Publication Date Title
JP6814172B2 (ja) 肌の内部構造の推定方法、肌の内部構造の推定プログラム、および肌の内部構造の推定装置
JP6086573B2 (ja) 色素斑を特性化する方法及び装置、並びに化粧製品、皮膚製品又は薬剤製品の着色効果又は脱色効果を評価する方法におけるその応用
JP4485837B2 (ja) 皮膚画像のコンピュータ解析のための方法およびシステム
TWI544898B (zh) 決定皮膚發炎分數之裝置及方法
Garnavi et al. Automatic segmentation of dermoscopy images using histogram thresholding on optimal color channels
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
JP2012245356A (ja) 皮膚又は外皮の色調を特徴付けるための方法
JP2007252891A (ja) 肌の美しさの目視評価値の推定方法
JP5405994B2 (ja) 画像処理装置、画像処理方法、画像処理システム、肌評価方法
CN108135477A (zh) 处理光学相干断层扫描
JP2009082338A (ja) エントロピーを用いた肌の鑑別方法
JP2017009598A (ja) 美容施術効果の解析方法
JP5635762B2 (ja) 乳頭形状又はコラーゲン様構造の算出方法
CN110603566B (zh) 图像解析评价方法、计算机程序、图像解析评价装置
WO2017171643A1 (en) Three-dimensional representation of skin structure
JP6471559B2 (ja) 診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラム
JP2007252892A (ja) 皮膚表面の立体形状の目視評価値の推定方法
JP2006061170A (ja) 皮膚の鑑別法
JP2017113140A (ja) 肌状態評価方法
Niemeijer et al. Automated localization of the optic disc and the fovea
JP4619112B2 (ja) 毛形状の測定方法
JP2018171516A (ja) 画像処理方法、診断装置、並びにプログラム
JP6189808B2 (ja) 毛穴評価指標の作成方法、毛穴評価指標作成システムおよび性能評価方法
JP2021121328A (ja) 肌状態の鑑別方法、化粧料の評価方法、化粧料の設計方法
Bazant-Hegemark et al. Optical coherence tomography: a potential tool for unsupervised prediction of treatment response for port-wine stains

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200626

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201218

R150 Certificate of patent or registration of utility model

Ref document number: 6814172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250