JP2021026355A - アイメーキャップ商品推奨プログラム、方法、装置、およびシステム - Google Patents

アイメーキャップ商品推奨プログラム、方法、装置、およびシステム Download PDF

Info

Publication number
JP2021026355A
JP2021026355A JP2019141792A JP2019141792A JP2021026355A JP 2021026355 A JP2021026355 A JP 2021026355A JP 2019141792 A JP2019141792 A JP 2019141792A JP 2019141792 A JP2019141792 A JP 2019141792A JP 2021026355 A JP2021026355 A JP 2021026355A
Authority
JP
Japan
Prior art keywords
user
eyes
eye
product
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019141792A
Other languages
English (en)
Other versions
JP7335110B2 (ja
Inventor
成人 豊田
Naruhito Toyoda
成人 豊田
佳奈子 金子
Kanako Kaneko
佳奈子 金子
奈緒子 谷
Naoko Tani
奈緒子 谷
春奈 関根
Haruna Sekine
春奈 関根
愛 森田
Ai Morita
愛 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to JP2019141792A priority Critical patent/JP7335110B2/ja
Priority to CN202010742735.7A priority patent/CN112308654A/zh
Publication of JP2021026355A publication Critical patent/JP2021026355A/ja
Application granted granted Critical
Publication of JP7335110B2 publication Critical patent/JP7335110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ユーザに合ったアイメーキャップ商品を推奨する情報処理装置を提供する。【解決手段】アイメーキャップ商品を推奨する情報処理装置(ユーザ端末10)は、ユーザの目を含む目の周辺が撮影された画像を取得する画像取得部101と、目を含む目の周辺から特徴を抽出する特徴抽出部102と、特徴に基づいて、アイメーキャップのための商品を推奨する商品推奨部103と、推奨された商品を表示する表示部104と、を備える。【選択図】図2

Description

本発明は、アイメーキャップ商品推奨プログラム、方法、装置、およびシステムに関する。
従来、メーキャップアーティストやビューティーコンサルタント等の美容の専門家は、長年にわたり見出してきた経験則(例えば、ある種の化粧で目が大きく見えるなどの錯視による効果。非特許文献1参照)に基づいて、化粧を施される者に合った化粧品を選んでいる。
フレグランスジャーナル2013年3月号,55−61ページ
しかしながら、化粧品を購入しようとするユーザは、美容の専門家に化粧品を選んでもらう機会が必ずあるとは限らず、ユーザ自身で化粧品を選択しなければならないとき(例えば、ユーザがECサイトで化粧品を購入する場合など)もある。アイメーキャップのための商品は、さまざまな色や機能があり、ユーザが自分に合った商品をユーザ自身で選ぶことは特に困難であった。
そこで、本発明の一実施形態では、ユーザに合ったアイメーキャップ商品を推奨することを目的とする。
本発明の一態様は、情報処理装置を、ユーザの目を含む目の周辺が撮影された画像を取得する画像取得部、前記目を含む目の周辺から特徴を抽出する特徴抽出部、前記特徴に基づいて、アイメーキャップのための商品を推奨する商品推奨部、前記推奨された商品を表示する表示部、として機能させる。
本発明によれば、ユーザに合ったアイメーキャップ商品を推奨することができる。
本発明の一実施形態に係る全体の構成図の一例(実施形態1)である。 本発明の一実施形態に係るユーザ端末の機能ブロック図の一例(実施形態1)である。 本発明の一実施形態に係る特徴の抽出(アイシャドウ、目開きの場合)を説明するための図である。 本発明の一実施形態に係る特徴の抽出(アイシャドウ、目閉じの場合)を説明するための図である。 本発明の一実施形態に係る特徴の抽出(マスカラおよびアイライナーの場合)を説明するための図である。 本発明の一実施形態に係る商品推奨処理の一例を示すフローチャートである。 本発明の一実施形態に係る特徴抽出処理(アイシャドウの場合)の一例を示すフローチャートである。 本発明の一実施形態に係る特徴抽出処理(マスカラおよびアイライナーの場合)の一例を示すフローチャートである。 本発明の一実施形態に係る全体の構成図の一例(実施形態2)である。 本発明の一実施形態に係るアイメーキャップ商品推奨システムの機能ブロック図の一例(実施形態2)である。 本発明の一実施形態に係るユーザ端末およびサーバのハードウェア構成の一例を示すブロック図である。
以下、図面に基づいて本発明の実施の形態を説明する。ユーザ11が、ユーザ11に合ったアイメーキャップのための商品(以下、アイメーキャップ商品ともいう)の推奨を受けるものとする。ユーザ11がユーザ端末10をサーバ20に接続させることなく商品の推奨を受ける場合(実施形態1)と、ユーザ11がユーザ端末10をサーバ20に接続させて商品の推奨を受ける場合(実施形態2)とに分けて説明する。
<実施形態1>
以下、実施形態1について説明する。
<全体の構成図>
図1は、本発明の一実施形態に係る全体の構成図の一例(実施形態1)である。<実施形態1>では、ユーザ11は、ユーザ端末10を用いて(ユーザ端末10をサーバ20に接続させることなく)、ユーザ11に合ったアイメーキャップ商品の推奨を受ける。
ユーザ端末10は、アイメーキャップ商品の推奨を受けるユーザ11が利用する端末である。例えば、ユーザ11は、ユーザ端末10にインストールされたスマートフォン用のアプリケーションを用いて、アイメーキャップ商品の推奨を受けることができる。ユーザ端末10は、例えば、スマートフォン、タブレット、パーソナルコンピュータ等の任意のコンピュータ(情報処理装置ともいう)である。
<機能構成>
図2は、本発明の一実施形態に係るユーザ端末10の機能ブロック図の一例(実施形態1)である。ユーザ端末10は、画像取得部101、特徴抽出部102、商品推奨部103、表示部104、特徴・商品対応関係格納部105を含む。ユーザ端末10は、プログラム(例えば、スマートフォン用のアプリケーション)を実行することで、画像取得部101、特徴抽出部102、商品推奨部103、表示部104として機能する。以下、それぞれについて説明する。
画像取得部101は、ユーザ11の目を含む目の周辺が撮影された画像を取得する。例えば、画像取得部101は、ユーザ端末10に内蔵されたカメラが撮影した画像を取得する。なお、ユーザ11の目を含む目の周辺が撮影された画像は、ユーザ11の目を含む目の周辺を含む顔が撮影された画像であってもよいし、ユーザ11の目を含む目の周辺のみが撮影された画像であってもよい。
ここで、ユーザ11の目を含む目の周辺が撮影された画像について説明する。本明細書において、ユーザ11の目を含む目の周辺とは、ユーザ11の目とその目のまわりの部分のこという。ユーザ11の目を含む目の周辺が撮影された画像は、ユーザ11が目を開いている状態が撮影された画像と、ユーザ11が目を閉じている状態が撮影された画像と、の2つの画像を含みうる。
特徴抽出部102は、ユーザ11の目を含む目の周辺から特徴を抽出する。以下、推奨されるアイメーキャップ商品がアイシャドウである場合と、マスカラおよびアイライナーである場合とに分けて説明する。なお、下記の特徴点は一例であり、他の特徴点を用いるようにしてもよい。
<アイシャドウの場合>
図3(ユーザ11が目を開いている状態)および図4(ユーザ11が目を閉じている状態)を参照しながら、ユーザ11の目を含む目の周辺から特徴を抽出する手法を説明する。
図3は、本発明の一実施形態に係る特徴の抽出(アイシャドウ、目開きの場合)を説明するための図である。特徴抽出部102は、ユーザ11の瞳内の黒目の明度を算出する。
特徴抽出部102は、例えば、図3のようなユーザ11が目を開いている状態が撮影された画像において、左目の特徴点(図3の(6)〜(11))および右目の特徴点(図3の(17)〜(22))を抽出する。(6)および(17)は、目頭(鼻に近い方の端)を示す。(7)、(8)、(10)、(11)および(18)、(19)、(21)、(22)は、黒目と白目と目のまわりの部分との境界を示す。(9)および(20)は、目尻(耳に近い方の端)を示す。
例えば、特徴抽出部102は、左目について、(7)と(8)とを結ぶ線と、(8)と(10)とを結ぶ線と、(10)と(11)とを結ぶ線と、(11)と(7)とを結ぶ線とからなる四角形に内接する矩形を生成する。特徴抽出部102は、生成した矩形の領域内の各画素のRGB値をL*a*b*値へ変換する。特徴抽出部102は、変換したL*値(明度)の最小値を求めておく。
右目についても同様に、特徴抽出部102は、(18)と(19)とを結ぶ線と、(19)と(21)とを結ぶ線と、(21)と(22)とを結ぶ線と、(22)と(18)とを結ぶ線とからなる四角形に内接する矩形を生成する。特徴抽出部102は、生成した矩形の領域内の各画素のRGB値をL*a*b*値へ変換する。特徴抽出部102は、変換したL*値(明度)の最小値を求めておく。左目のL*(明度)の最小値と右目のL*(明度)の最小値とを比較し、それらの最小値を"L_PPLGND"とする。
図4は、本発明の一実施形態に係る特徴の抽出(アイシャドウ、目閉じの場合)を説明するための図である。特徴抽出部102は、ユーザ11の瞼(目頭部分と中央部分)の明度を算出する。
特徴抽出部102は、例えば、図4のようなユーザ11が目を閉じている状態が撮影された画像において、左目の特徴点(図4の(6)〜(11))および右目の特徴点(図4の(17)〜(22))を抽出する。図4の(6)〜(11)および(17)〜(22)は、図3の(6)〜(11)および(17)〜(22)対応する特徴点である。
さらに、特徴抽出部102は、例えば、図4のようなユーザ11が目を閉じている状態が撮影された画像において、左眉毛の特徴点(図4の(1)〜(5))および右眉毛の特徴点(図4の(12)〜(16))を抽出する。(1)および(12)は目頭側の端、(5)および(16)は目尻側の端を示す。(2)と(3)、そして(4)は、(1)と(5)とを結ぶ曲線を4等分する点である。(13)と(14)、そして(15)は、(12)と(16)とを結ぶ曲線を4等分する点である。
<目頭部分の明度>
例えば、特徴抽出部102は、左目について、眉毛の(1)と目の(6)とを線で結び、二点間の距離および中点を求める。特徴抽出部102は、求めた中点を中心とし、辺の長さが二点間の距離(つまり、(1)と(6)との距離)の1/3になるような矩形を生成する。特徴抽出部102は、生成した矩形の領域内の各画素のRGB値をL*a*b*値へ変換する。特徴抽出部102は、変換したL*値(明度)の平均値を求め、L*値の平均値を"L_EYEIN"とする。
右目についても同様に、特徴抽出部102は、眉毛の(12)と目の(17)とを線で結び、二点間の距離および中点を求める。特徴抽出部102は、求めた中点を中心とし、辺の長さが二点間の距離(つまり、(12)と(17)との距離)の1/3になるような矩形を生成する。特徴抽出部102は、生成した矩形の領域内の各画素のRGB値をL*a*b*値へ変換する。特徴抽出部102は、変換したL*値(明度)の平均値を求め、L*値の平均値を"L_EYEIN"とする。
<中央部分の明度>
例えば、特徴抽出部102は、左目について、眉毛の(4)と目の(7)とを線で結び、二点間の距離および中点を求める。特徴抽出部102は、求めた中点を中心とし、辺の長さが二点間の距離(つまり、(4)と(7)との距離)の1/3になるような矩形を生成する。特徴抽出部102は、生成した矩形の領域内の各画素のRGB値をL*a*b*値へ変換する。特徴抽出部102は、変換したL*値(明度)の平均値を求め、L*値の平均値を"L_EYECNT"とする。
右目についても同様に、特徴抽出部102は、眉毛の(15)と目の(18)とを線で結び、二点間の距離および中点を求める。特徴抽出部102は、求めた中点を中心とし、辺の長さが二点間の距離(つまり、(15)と(18)との距離)の1/3になるような矩形を生成する。特徴抽出部102は、生成した矩形の領域内の各画素のRGB値をL*a*b*値へ変換する。特徴抽出部102は、変換したL*値(明度)の平均値を求め、L*値の平均値を"L_EYECNT"とする。
上記のように、特徴抽出部102は、右目と左目について、ユーザ11の瞼(中央部分と目頭部分)の明度、および、ユーザ11の瞳内の黒目の明度を算出する。特徴抽出部102は、算出した明度を(式1)に代入して、右の瞼の明るさと左の瞼の明るさとを算出する。なお、(式1)のように分母に定数((式1)では"100")を用いるのではなく、変数(例えば、"100"の代わりに"L_EYECNT")を用いるようにしてもよい。
Figure 2021026355
・・・(式1)
このように、ユーザ11の瞼の中央部分(つまり、瞼で最も明るいと仮定されうる部分)の明度と目頭部分(つまり、瞼で最も暗いと仮定されうる部分)の明度との平均値に基づいて、各瞼の明るさが算出される。
特徴抽出部102は、上記の(式1)により算出された右の瞼の明るさと左の瞼の明るさとの平均値を算出する。右の瞼の明るさと左の瞼の明るさとの平均値が、ユーザ11に推奨する商品を選択するために用いられる。
ここで、瞼の明るさについて説明する。瞼の明るさを算出する手法は、上記の手法に限られない。例えば、特徴抽出部102は、瞳内の黒目の矩形の領域内の各画素のHSV値のV値の最小値を求め、HSV値のV値の最小値を"L_PPLGND"とすることができる。また、特徴抽出部102は、瞼の目頭部分の矩形の領域内の各画素のHSV値のV値の平均値を求め、HSV値のV値の平均値を"L_EYEIN"とすることができる。また、特徴抽出部102は、瞼の中央部分の矩形の領域内の各画素のHSV値のV値の平均値を求め、HSV値のV値を"L_EYECNT"とすることができる。その他、RGB値のうちのいずれかの値の輝度値(例えば、Gフレーム上のG値、あるいは、Bフレーム上のB値の平均値)を用いることもできる。
なお、特徴抽出部102は、上記の瞼の明るさに加えて、あるいは、上記の瞼の明るさに代えて、HSV値のS値などの瞼の彩度(鮮やかさ)を、ユーザ11に推奨する商品を選択するために用いられる特徴として抽出してもよい。
<マスカラおよびアイライナーの場合>
図5を参照しながら、ユーザ11の目を含む目の周辺から特徴を抽出する手法を説明する。
図5は、本発明の一実施形態に係る特徴の抽出(マスカラおよびアイライナーの場合)を説明するための図である。特徴抽出部102は、ユーザ11の目の縦幅と横幅との比を算出する。
特徴抽出部102は、例えば、図5のようなユーザ11が目を開いている状態が撮影された画像において、左目の特徴点(図5の(6)〜(11))および右目の特徴点(図5の(17)〜(22))を抽出する。(6)および(17)は、目頭(鼻に近い方の端)を示す。(7)、(8)、(10)、(11)および(18)、(19)、(21)、(22)は、黒目と白目と目のまわりの部分との境界を示す。(9)および(20)は、目尻(耳に近い方の端)を示す。
例えば、特徴抽出部102は、左目について、正中線に垂直に交わる(7)または(8)を通過する線(線1)を生成する。また、特徴抽出部102は、正中線に垂直に交わる(10)または(11)を通過する線(線2)を生成する。特徴抽出部102は、線1と線2との最短距離をユーザ11の左目の縦幅とし、(6)と(9)の二点間の距離をユーザ11の左目の横幅とする。
右目についても同様に、特徴抽出部102は、正中線に垂直に交わる(18)または(19)を通過する線(線1)を生成する。また、特徴抽出部102は、正中線に垂直に交わる(21)または(22)を通過する線(線2)を生成する。特徴抽出部102は、線1と線2との最短距離をユーザ11の右目の縦幅とし、(17)と(20)の二点間の距離をユーザ11の右目の横幅とする。
上記のように、特徴抽出部102は、右目と左目について、ユーザ11の目の縦幅および横幅を算出して、縦幅と横幅との比を算出する。例えば、目の縦横比に基づいて、ユーザ11の目が丸目であるか切れ目であるかが判定される。
特徴抽出部102は、算出された右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値を算出する。右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が、ユーザ11に推奨する商品を選択するために用いられる。
特徴・商品対応関係格納部105には、ユーザの目を含む目の周辺から抽出された特徴の情報と、その特徴を有するユーザに合うとメーキャップアーティストやビューティーコンサルタント等の美容の専門家によって判断された一つ以上の商品の情報と、が紐付けられて格納されている。
なお、複数のメーキャップアーティストやビューティーコンサルタント等の美容の専門家が商品を推奨するようにしてもよい。この場合、ユーザ11が所望のメーキャップアーティスト等をユーザ端末10上で指定できるようにして、商品推奨部103は、指定されたメーキャップアーティスト等による対応関係を参照するようにする。
例えば、特徴・商品対応関係格納部105には、瞼の明るさが明るい(例えば、右の瞼の明るさと左の瞼の明るさとの平均値が閾値以上である)ユーザ11に合う複数の色のアイシャドウの情報と、瞼の明るさが暗い(例えば、右の瞼の明るさと左の瞼の明るさとの平均値が閾値より小さい)ユーザ11に合う複数の色のアイシャドウの情報とが格納されている。
例えば、特徴・商品対応関係格納部105には、丸目である(例えば、右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が閾値より小さい)ユーザ11に合う複数のタイプのマスカラやアイライナーの情報と、切れ目である(例えば、右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が閾値以上である)ユーザ11に合う複数のタイプのマスカラやアイライナーの情報とが格納されている。
なお、予め複数のユーザの特徴の情報を収集して、それらのユーザを四等分(つまり、瞼の明るさが明るい丸目、瞼の明るさが明るい切れ目、瞼の明るさが暗い丸目、瞼の明るさが暗い切れ目)することができる値を閾値(つまり、瞼の明るさが明るいか暗いかを判別するための閾値、丸目か切れ目かを判別するための閾値)として用いてもよい。
商品推奨部103は、特徴抽出部102が抽出した特徴に基づいて、アイメーキャップのための商品を推奨する。具体的には、商品推奨部103は、特徴・商品対応関係格納部105に格納されている対応関係を参照して、特徴抽出部102が抽出した特徴に対応する商品(例えば、ユーザ11に合った色のアイシャドウやユーザ11に合ったタイプのマスカラ(例えば、睫毛を長く見せるマスカラ、睫毛を太く見せるマスカラ、睫毛を多く見せるマスカラなど))を選択する。
<ユーザの嗜好>
本発明の一実施形態では、ユーザ11によって指定された嗜好に基づいて、ユーザに適した商品を推奨することができる。具体的には、画像取得部101が、画像とともに、ユーザによって指定された嗜好(例えば、化粧後の印象を想起させる画像の選択、アンケートに対する回答)を取得する。商品推奨部103は、特徴・商品対応関係格納部105に格納されている対応関係を参照して、ユーザの嗜好および特徴抽出部102が抽出した特徴に対応する商品を選択する。この場合、特徴・商品対応関係格納部105には、ユーザの嗜好と、ユーザの目を含む目の周辺から抽出される特徴と、その特徴を有するユーザに合うとメーキャップアーティストやビューティーコンサルタント等の美容の専門家によって判断された商品と、が紐付けられて格納されているものとする。
<アイシャドウとマスカラの組み合わせ>
本発明の一実施形態では、アイシャドウとマスカラの組み合わせ考慮した商品を推奨することができる。具体的には、瞼の明るさが明るいユーザ11に合う複数の色のアイシャドウと、丸目であるユーザ11に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ11に推奨する商品とする。また、瞼の明るさが明るいユーザ11に合う複数の色のアイシャドウと、切れ目であるユーザ11に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ11に推奨する商品とする。また、瞼の明るさが暗いユーザ11に合う複数の色のアイシャドウと、丸目であるユーザ11に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ11に推奨する商品とする。また、瞼の明るさが暗いユーザ11に合う複数の色のアイシャドウと、切れ目であるユーザ11に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ11に推奨する商品とする。なお、アイシャドウとマスカラとアイライナーとを組み合わせてもよい。
表示部104は、商品推奨部103が推奨した商品をユーザ11に対して提示する。具体的には、表示部104は、商品推奨部103が推奨した商品の、商品名、説明、価格、商品の画像といった情報をユーザ端末10の画面上に表示する。なお、本発明の一実施形態では、ユーザ11が表示された商品をインターネット上で購入できるようにしてもよい。
図6は、本発明の一実施形態に係る商品推奨処理の一例を示すフローチャートである。
ステップ11(S11)において、画像取得部101は、ユーザ11の目を含む目の周辺が撮影された画像を取得する。
ステップ12(S12)において、特徴抽出部102は、S11で取得された画像の目を含む目の周辺から特徴を抽出する。
ステップ13(S13)において、商品推奨部103は、S12で抽出された特徴に基づいて、アイメーキャップのための商品を推奨する。
ステップ14(S14)において、表示部104は、S13で推奨された商品を表示する。
図7は、本発明の一実施形態に係る特徴抽出処理(アイシャドウの場合)の一例を示すフローチャートである。
ステップ21(S21)において、特徴抽出部102は、ユーザ11が目を開いている状態が撮影された画像、および、ユーザ11が目を閉じている状態が撮影された画像において、特徴点(左目の(6)〜(11)、右目の(17)〜(22)、左眉毛の(1)〜(5)、右眉毛の(12)〜(16))を抽出する。
ステップ22(S22)において、特徴抽出部102は、S21で抽出した特徴点をもとに、ユーザ11の瞼の中央部分の明度、ユーザ11の瞼の目頭部分の明度、ユーザ11の瞳内の黒目の明度を算出する。
ステップ23(S23)において、特徴抽出部102は、S22で算出した明度を上記の式(1)に代入して、右の瞼の明るさと左の瞼の明るさとを算出する。
ステップ24(S24)において、特徴抽出部102は、S23で算出した右の瞼の明るさと左の瞼の明るさとの平均値を算出する。右の瞼の明るさと左の瞼の明るさとの平均値が、ユーザ11に推奨する商品を選択するために用いられる。
図8は、本発明の一実施形態に係る特徴抽出処理(マスカラおよびアイライナーの場合)の一例を示すフローチャートである。
ステップ31(S31)において、特徴抽出部102は、ユーザ11が目を開いている状態が撮影された画像において、特徴点(左目の(6)〜(11)、右目の(17)〜(22))を抽出する。
ステップ32(S32)において、特徴抽出部102は、S31で抽出した特徴点をもとに、目の縦幅および横幅を算出する。
ステップ33(S33)において、特徴抽出部102は、S32で算出した目の縦幅と横幅との比を算出する。
ステップ34(S34)において、特徴抽出部102は、S33で算出した右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値を算出する。右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が、ユーザ11に推奨する商品を選択するために用いられる。
<実施形態2>
以下、実施形態2について説明する。
<全体の構成図>
図9は、本発明の一実施形態に係る全体の構成図の一例(実施形態2)である。<実施形態2>では、ユーザ11は、ユーザ端末10をサーバ20に接続させて、ユーザ11に合ったアイメーキャップ商品の推奨を受ける。
図9に示されるように、アイメーキャップ商品推奨システム(情報処理システムともいう)1は、ユーザ端末10およびサーバ20を含む。ユーザ端末10とサーバ20は、任意のネットワーク30を介して通信可能に接続されている。以下、それぞれについて説明する。
ユーザ端末10は、アイメーキャップ商品の推奨を受けるユーザ11が利用する端末である。例えば、ユーザ11は、ユーザ端末10にインストールされたスマートフォン用のアプリケーションを用いてサーバ20に接続して、アイメーキャップ商品の推奨を受けることができる。ユーザ端末10は、例えば、スマートフォン、タブレット、パーソナルコンピュータ等の任意のコンピュータ(情報処理装置ともいう)である。
サーバ20は、ユーザ端末10からの要求に応じて、ユーザ11に合ったアイメーキャップ商品を推奨するための処理を実行する。サーバ20は、1または複数のコンピュータ(情報処理装置ともいう)からなる。
<機能構成>
図10は、本発明の一実施形態に係るアイメーキャップ商品推奨システムの機能ブロック図の一例(実施形態2)である。本発明の一実施形態では、<実施形態1>で説明した画像取得部101、特徴抽出部102、商品推奨部103、表示部104、特徴・商品対応関係格納部105のうちの少なくとも1つをサーバ20が備えることができる。<実施形態2>では、ユーザ端末10が画像取得部101と表示部104とを備え、サーバ20が特徴抽出部102と商品推奨部103と特徴・商品対応関係格納部105とを備える。以下、詳細に説明する。
ユーザ端末10は、画像取得部101、画像送信部106、商品情報受信部109、表示部104を備える。以下、それぞれについて説明する。
画像取得部101は、<実施形態1>と同様であるので説明を省略する。
画像送信部106は、画像取得部101が取得した画像をサーバ20へ送信する。
商品情報受信部109は、サーバ20によって推奨された商品の情報をサーバ20から受信する。
表示部104は、商品情報受信部109が受信した商品の情報をユーザ端末10の画面上に表示する。
サーバ20は、画像受信部107、特徴抽出部102、商品推奨部103、商品情報送信部108、特徴・商品対応関係格納部105を備える。以下、それぞれについて説明する。
画像受信部107は、ユーザ端末10の画像取得部101が取得した画像をユーザ端末10から受信する。
特徴抽出部102は、<実施形態1>と同様であるので説明を省略する。
商品推奨部103は、<実施形態1>と同様であるので説明を省略する。
特徴・商品対応関係格納部105は、<実施形態1>と同様であるので説明を省略する。
商品情報送信部108は、商品推奨部103が推奨する商品の情報をユーザ端末10へ送信する。
このように、本発明の一実施形態では、<実施形態1>で説明した画像取得部101、特徴抽出部102、商品推奨部103、表示部104、特徴・商品対応関係格納部105のうちの少なくとも1つをサーバ20が備えることができる。
<効果>
このように、本発明の一実施形態では、ユーザの目を含む目の周辺から抽出された特徴に基づいて、そのような特徴を有するユーザに合うとメーキャップアーティストやビューティーコンサルタント等の美容の専門家によって判断された、アイメーキャップのための商品を推奨することができる。例えば、瞼の明るさ(具体的には、瞼の中央部分の明度と目頭部分の明度との平均値および瞳内の黒目の最も暗い部分の明度より算出される値)に基づいて適切な色のアイシャドウを推奨したり、丸目か切れ目か(具体的には、目の縦横比)によって適切なタイプのマスカラやアイライナーおよびその塗布方法を推奨したりすることができる。
<ハードウェア構成>
図11は、本発明の一実施形態に係る情報処理装置(つまり、ユーザ端末10およびサーバ20)のハードウェア構成の一例を示すブロック図である。ユーザ端末10およびサーバ20は、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003を有する。CPU1001、ROM1002、RAM1003は、いわゆるコンピュータを形成する。
また、ユーザ端末10およびサーバ20は、補助記憶装置1004、表示装置1005、操作装置1006、I/F(Interface)装置1007、ドライブ装置1008を有する。なお、ユーザ端末10およびサーバ20の各ハードウェアは、バスBを介して相互に接続されている。
CPU1001は、補助記憶装置1004にインストールされている各種プログラムを実行する演算デバイスである。
ROM1002は、不揮発性メモリである。ROM1002は、補助記憶装置1004にインストールされている各種プログラムをCPU1001が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ROM1002はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する、主記憶デバイスとして機能する。
RAM1003は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM1003は、補助記憶装置1004にインストールされている各種プログラムがCPU1001によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置1004は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
表示装置1005は、ユーザ端末10およびサーバ20の内部状態等を表示する表示デバイスである。
操作装置1006は、ユーザ端末10およびサーバ20の管理者がユーザ端末10およびサーバ20に対して各種指示を入力する入力デバイスである。
I/F装置1007は、ネットワーク30に接続し、ユーザ端末10およびサーバ20と通信を行うための通信デバイスである。
ドライブ装置1008は記憶媒体1009をセットするためのデバイスである。ここでいう記憶媒体1009には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体1009には、EPROM (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置1004にインストールされる各種プログラムは、例えば、配布された記憶媒体1009がドライブ装置1008にセットされ、該記憶媒体1009に記録された各種プログラムがドライブ装置1008により読み出されることでインストールされる。あるいは、補助記憶装置1004にインストールされる各種プログラムは、I/F装置1007を介して、ネットワーク30とは異なる他のネットワークよりダウンロードされることでインストールされてもよい。
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
1 アイメーキャップ商品推奨システム
10 ユーザ端末
11 ユーザ
20 サーバ
30 ネットワーク
101 画像取得部
102 特徴抽出部
103 商品推奨部
104 表示部
105 特徴・商品対応関係格納部
106 画像送信部
107 画像受信部
108 商品情報送信部
109 商品情報受信部

Claims (9)

  1. 情報処理装置を、
    ユーザの目を含む目の周辺が撮影された画像を取得する画像取得部、
    前記目を含む目の周辺から特徴を抽出する特徴抽出部、
    前記特徴に基づいて、アイメーキャップのための商品を推奨する商品推奨部、
    前記推奨された商品を表示する表示部、として機能させるためのプログラム。
  2. 前記画像は、前記ユーザが目を開いている状態が撮影された画像、および、前記ユーザが目を閉じている状態が撮影された画像であり、
    前記特徴は、前記ユーザの瞼の明度、および、前記ユーザの瞳内の黒目の明度を含み、
    前記商品推奨部は、前記瞼の中央部分の明度と前記瞼の目頭部分の明度との平均値、および、前記黒目の明度に基づいて、前記ユーザに適したアイシャドウを推奨する、請求項1に記載のプログラム。
  3. 前記画像は、前記ユーザが目を開いている状態が撮影された画像であり、
    前記特徴は、前記ユーザの前記目の縦幅と横幅との比を含み、
    前記商品推奨部は、前記目の前記縦幅と横幅との比に基づいて、前記ユーザに適したマスカラおよびアイライナーを推奨する、請求項1に記載のプログラム。
  4. 前記特徴は、前記ユーザの瞼の彩度をさらに含み、
    前記商品推奨部は、前記瞼の明度および前記瞼の彩度に基づいて、前記ユーザに適したアイシャドウを推奨する、請求項2に記載のプログラム。
  5. 前記商品推奨部は、前記特徴と前記特徴を有するユーザに適した商品との対応関係に基づいて、前記ユーザに適した商品を推奨する、請求項1から4のいずれか一項に記載のプログラム。
  6. 前記商品推奨部は、前記特徴、および、前記ユーザによって指定された嗜好に基づいて、前記ユーザに適した商品を推奨する、請求項1から5のいずれか一項に記載のプログラム。
  7. 情報処理装置が実行する方法であって、
    ユーザの目を含む目の周辺が撮影された画像を取得するステップと、
    前記目を含む目の周辺から特徴を抽出するステップと、
    前記特徴に基づいて、アイメーキャップのための商品を推奨するステップと、
    前記推奨された商品を表示するステップと
    を含む方法。
  8. ユーザの目を含む目の周辺が撮影された画像を取得する画像取得部と、
    前記目を含む目の周辺から特徴を抽出する特徴抽出部と、
    前記特徴に基づいて、アイメーキャップのための商品を推奨する商品推奨部と、
    前記推奨された商品を表示する表示部と
    を備えた情報処理装置。
  9. ユーザの端末とサーバとを含む情報処理システムであって、
    前記ユーザの目を含む目の周辺が撮影された画像を取得する画像取得部と、
    前記目を含む目の周辺から特徴を抽出する特徴抽出部と、
    前記特徴に基づいて、アイメーキャップのための商品を推奨する商品推奨部と、
    前記推奨された商品を表示する表示部と
    を備えた情報処理システム。
JP2019141792A 2019-07-31 2019-07-31 アイメーキャップ商品推奨プログラム、方法、装置、およびシステム Active JP7335110B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019141792A JP7335110B2 (ja) 2019-07-31 2019-07-31 アイメーキャップ商品推奨プログラム、方法、装置、およびシステム
CN202010742735.7A CN112308654A (zh) 2019-07-31 2020-07-29 眼妆商品推荐程序、方法、装置以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019141792A JP7335110B2 (ja) 2019-07-31 2019-07-31 アイメーキャップ商品推奨プログラム、方法、装置、およびシステム

Publications (2)

Publication Number Publication Date
JP2021026355A true JP2021026355A (ja) 2021-02-22
JP7335110B2 JP7335110B2 (ja) 2023-08-29

Family

ID=74483616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141792A Active JP7335110B2 (ja) 2019-07-31 2019-07-31 アイメーキャップ商品推奨プログラム、方法、装置、およびシステム

Country Status (2)

Country Link
JP (1) JP7335110B2 (ja)
CN (1) CN112308654A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503933B (zh) * 2023-05-24 2023-12-12 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211308A (ja) * 2009-03-06 2010-09-24 Fujifilm Corp メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム
JP2014002651A (ja) * 2012-06-20 2014-01-09 Panasonic Corp 情報提供システム及び情報提供方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211308A (ja) * 2009-03-06 2010-09-24 Fujifilm Corp メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム
JP2014002651A (ja) * 2012-06-20 2014-01-09 Panasonic Corp 情報提供システム及び情報提供方法

Also Published As

Publication number Publication date
CN112308654A (zh) 2021-02-02
JP7335110B2 (ja) 2023-08-29

Similar Documents

Publication Publication Date Title
US10956009B2 (en) Method and system for interactive cosmetic enhancements interface
US8498456B2 (en) Method and system for applying cosmetic and/or accessorial enhancements to digital images
US10799010B2 (en) Makeup application assist device and makeup application assist method
WO2014119242A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2015122195A1 (ja) 印象分析装置、ゲーム装置、健康管理装置、広告支援装置、印象分析システム、印象分析方法、プログラム、及びプログラム記録媒体
US11178956B1 (en) System, method and mobile application for cosmetic and skin analysis
CN110738620B (zh) 智能美妆方法、化妆镜和存储介质
KR20180130778A (ko) 화장품 추천 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 및 화장품 추천 시스템
US20220414958A1 (en) Digital makeup artist
JPWO2018029963A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
KR102325829B1 (ko) 안면착용 제품 추천 방법 및 그 장치
KR102289824B1 (ko) 인플루언서와의 정보 공유를 통해 화장품 색상을 추천하는 시스템 및 방법
JP7335110B2 (ja) アイメーキャップ商品推奨プログラム、方法、装置、およびシステム
US11657553B2 (en) Digital makeup artist
KR102149431B1 (ko) 커스터마이징된 화장품 세트 제공 방법 및 장치
JP2013178789A (ja) 美容シミュレーションシステム
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2014149841A (ja) 美容カウンセリング方法
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
US20220122354A1 (en) Skin tone determination and filtering
Øvervoll et al. Filtered beauty in Oslo and Tokyo: A spatial frequency analysis of facial attractiveness
KR102532561B1 (ko) 개인 스타일에 대한 컨설팅 데이터를 제공하는 방법
WO2023194466A1 (en) Method for recommending cosmetic products using a knn algorithm
KR20200008484A (ko) 피부 진단을 통한 화장품 추천 시스템
Kamble Foundation Makeup Shade Recommendation using Computer Vision Based on Skin Tone Recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230817

R150 Certificate of patent or registration of utility model

Ref document number: 7335110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150