JP2023040896A - Makeup motion assistance system - Google Patents

Makeup motion assistance system Download PDF

Info

Publication number
JP2023040896A
JP2023040896A JP2021148087A JP2021148087A JP2023040896A JP 2023040896 A JP2023040896 A JP 2023040896A JP 2021148087 A JP2021148087 A JP 2021148087A JP 2021148087 A JP2021148087 A JP 2021148087A JP 2023040896 A JP2023040896 A JP 2023040896A
Authority
JP
Japan
Prior art keywords
speed
makeup
speed range
subject
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021148087A
Other languages
Japanese (ja)
Other versions
JP7426362B2 (en
Inventor
進吾 酒井
Shingo Sakai
美佳 野村
Mika Nomura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Original Assignee
Kao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp filed Critical Kao Corp
Priority to JP2021148087A priority Critical patent/JP7426362B2/en
Publication of JP2023040896A publication Critical patent/JP2023040896A/en
Application granted granted Critical
Publication of JP7426362B2 publication Critical patent/JP7426362B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

To provide a technique for measuring the speed of a hand of a subject putting on makeup and judging the makeup motion based on the measured speed.SOLUTION: A makeup motion assistance system provided herein involves measuring the speed of a hand of a subject putting on makeup and determining whether or not the measured speed is within a predetermined target speed range.SELECTED DRAWING: Figure 2

Description

特許法第30条第2項適用申請有り [公開の事実1] 集会名:第38回日本美容皮膚科学会総会・学術大会 開催日:令和2年9月13日There is an application for application of Article 30, Paragraph 2 of the Patent Act [Disclosure 1] Meeting name: The 38th Annual General Meeting and Scientific Meeting of the Japanese Society of Aesthetic Dermatology Date: September 13, 2020

本発明は、化粧動作中の手の速度を測定し、測定された速度が予め定められた目標速度範囲に入っているか否かを判定する化粧動作支援システムに関する。 The present invention relates to a makeup operation support system that measures the speed of a hand during a makeup operation and determines whether or not the measured speed is within a predetermined target speed range.

化粧料を肌に塗布する動作をトレーニングするための塗布動作トレーニング装置に関する技術がある(例えば、特許文献1)。
また、被験者の化粧動作を撮影し、撮影画像に基づき何れの化粧段階まで行ったか否かを判定する技術がある(例えば、特許文献2)。
There is a technique related to an application motion training device for training the motion of applying cosmetics to the skin (for example, Patent Literature 1).
In addition, there is a technique of photographing a subject's makeup action and determining to which stage of makeup has been performed based on the photographed image (for example, Patent Document 2).

特開2012-037626号公報JP 2012-037626 A 特開2019-103772号公報Japanese Patent Application Laid-Open No. 2019-103772

特許文献1の場合、アクリル板の下にセンサを設け、アクリル板の上の化粧料に対して擬似的に塗布動作を行うことで化粧料塗布動作を計測するため、実際の肌に行う塗布動作を計測していなかった。
また、特許文献2の場合、撮影画像から何れの化粧段階まで行ったか否かを判定するが、どのような化粧動作(例えば、手の動き方)であるかは判定していなかったため、適切な化粧動作であるかは判定できなかった。
In the case of Patent Literature 1, a sensor is provided under the acrylic plate, and a pseudo application operation is performed on the cosmetic on the acrylic plate to measure the cosmetic application operation. was not measured.
In addition, in the case of Patent Document 2, it is determined from the photographed image whether or not the stage of makeup has been performed. It could not be determined whether it was a make-up motion.

本発明は上記の課題に鑑みてなされたものであり、被験者の化粧動作中の手の速度を測定し、測定された速度に基づき化粧動作を判定する技術に関する。 The present invention has been made in view of the above problems, and relates to a technique for measuring the speed of a subject's hand during a make-up action and determining the make-up action based on the measured speed.

本発明は、被験者の化粧動作中の手の速度を測定し、測定された速度が、予め定められた目標速度範囲に入っているか否かを判定する、化粧動作支援システムに関する。 TECHNICAL FIELD The present invention relates to a makeup operation support system that measures the speed of a subject's hand during the makeup operation and determines whether or not the measured speed is within a predetermined target speed range.

本発明により提供されるシステムによれば、測定した被験者の化粧動作中の手の速度が予め定められた目標速度範囲に入っているか否かを判定することで、化粧動作が適切な化粧動作であるかを把握することが可能となる。 According to the system provided by the present invention, by determining whether or not the measured speed of the hand of the subject during the makeup action is within a predetermined target speed range, the makeup action is an appropriate makeup action. It is possible to grasp whether there is

化粧動作判定システムの概念図である。1 is a conceptual diagram of a makeup action determination system; FIG. 化粧動作中の手の速度の測定方法の概念図である。FIG. 4 is a conceptual diagram of a method for measuring hand speed during makeup action; 被験者の化粧動作中の手の速度と状態の測定方法の概念図である。FIG. 4 is a conceptual diagram of a method for measuring the speed and state of a subject's hand during makeup action. 化粧動作中の手の速度と自律神経・皮膚弾力性との相関を示すグラフである。It is a graph which shows the correlation between the speed of a hand during makeup operation, and an autonomic nerve and skin elasticity. 表示部160に表示する表示結果の一例である。It is an example of a display result displayed on the display unit 160 . 楽しい人/楽しくない人の化粧動作中の手の速度傾向を示したグラフである。FIG. 10 is a graph showing hand speed tendencies during the makeup action of a person who enjoys/does not enjoy.

以下、本発明の実施形態について説明する。
はじめに、図1を用いて、化粧動作支援システム10の概要を説明する。
本実施形態の化粧動作支援システム10(以下、本システムと表示する場合がある)は、被験者の化粧動作中の手の速度を測定し、測定した速度が予め定められた目標速度範囲に入っているか否かを判定するシステムである。本システムは、被験者の化粧動作中の手の速度が予め定められた目標速度範囲に入っているか否かを判定することで、被験者が所定の目的を達成するために化粧動作中の手の動き(速度)が適切であるかを把握することが可能となり、また、被験者が化粧動作中の手の速度を目標速度で動作できるよう支援することが可能となる。
Embodiments of the present invention will be described below.
First, an outline of the makeup operation support system 10 will be described with reference to FIG.
The make-up operation support system 10 (hereinafter, sometimes referred to as the present system) of the present embodiment measures the speed of the subject's hand during the make-up operation, and when the measured speed enters a predetermined target speed range. It is a system that determines whether or not there is By determining whether or not the speed of the subject's hand during makeup is within a predetermined target speed range, the system determines whether the subject's hand movement during makeup is within a predetermined target speed range. It is possible to grasp whether the (speed) is appropriate, and it is also possible to support the subject so that he or she can operate the hand at the target speed during the makeup operation.

本実施形態の化粧動作支援システム10は、情報処理端末100を備える。情報処理端末100は、撮影装置110、データ取得部120、記憶部130、判定部140、音声出力部150、および表示部160を備える。また、図示はしていないが、キーボード(タッチキーボードを含む)、ポインティングデバイスなどの入力装置、演算処理装置等を備えている。情報処理端末100は、撮影装置(カメラ)110を備えていれば、一般的に携帯端末と称される携帯電話、タブレット端末、PDA、モバイルパーソナルコンピュータやウェラブルデバイス、パーソナルコンピュータなどの何れでもよい。なお、情報処理端末100に撮影装置110を設けず、他の装置(図示しない)で撮影した動画像を取得してもよい。本実施形態では、被験者が化粧動作中の手の速度を日常的に測定(把握)できるように、情報処理端末100は携帯電話(スマートフォン)とする。 A makeup operation support system 10 of the present embodiment includes an information processing terminal 100 . The information processing terminal 100 includes an imaging device 110 , a data acquisition section 120 , a storage section 130 , a determination section 140 , an audio output section 150 and a display section 160 . Although not shown, it also includes a keyboard (including a touch keyboard), an input device such as a pointing device, an arithmetic processing device, and the like. The information processing terminal 100 may be any of a mobile phone, a tablet terminal, a PDA, a mobile personal computer, a wearable device, a personal computer, etc., which are generally referred to as mobile terminals, as long as they have a photographing device (camera) 110. . It should be noted that the information processing terminal 100 may not be provided with the photographing device 110, and a moving image photographed by another device (not shown) may be obtained. In this embodiment, the information processing terminal 100 is a mobile phone (smartphone) so that the subject can routinely measure (grasp) the speed of the hand during makeup.

撮影装置110は、被験者の化粧動作中の手の動きおよび顔を撮影する装置である。化粧動作とは、皮膚に塗布する皮膚外用剤、化粧料、シート状のスキンケア化粧料を皮膚に貼付する動作であり、一般的にスキンケアと言われる動作であり、被験者の手に皮膚に塗布する剤をのせて、皮膚に直接塗布する動作、シート状のスキンケア化粧料を手に持って貼付する動作、皮膚に塗布する剤をコットンなどにのせて、被験者は当該コットンを手に持って塗布する動作などが含まれる。皮膚に塗布する皮膚外用剤、化粧料、シート状のスキンケア化粧料としては、例えば、ローション、乳液、クリーム、美容液、マッサージ、パック、リップクリーム、アイケアシート、口元シート、パックマスク、シート状ローション、シート状メイク落とし等のスキンケア化粧料;石鹸、クレンジングなどの洗浄料;ファンデーション、化粧下地、液状ファンデーション、油性ファンデーション、パウダーファンデーション、コンシーラー、コントロールカラー、アイシャドウ、頬紅、口紅、リップグロス、リップライナー、ボディのデコルテ用等のメイクアップ化粧料;日やけ止め乳液、日やけ止めジェル、日焼け止めクリームなどの紫外線防御化粧料が挙げられ、特にこれらに限定されるものではない。本実施形態では、乳液を被験者が手にのせて、顔の皮膚に塗布する場合の手の動きを撮影することとする。 The photographing device 110 is a device for photographing the movement of the subject's hand and face during the makeup operation. Cosmetic action refers to the action of applying skin external preparations, cosmetics, and sheet-like skin care cosmetics to the skin, and is generally referred to as skin care. The action of putting the agent on the skin and applying it directly to the skin, the action of holding the sheet-shaped skin care cosmetic in the hand and applying it, the action of putting the agent to be applied to the skin on a cotton pad, etc., and the subject holding the cotton in the hand and applying it. including actions. Examples of external skin preparations, cosmetics, and sheet-like skin care cosmetics that are applied to the skin include lotions, milky lotions, creams, beauty essences, massages, packs, lip balms, eye care sheets, mouth sheets, pack masks, and sheet-like lotions. , Skin care cosmetics such as sheet makeup remover; Washing agents such as soaps and cleansers; Foundations, makeup bases, liquid foundations, oily foundations, powder foundations, concealers, control colors, eye shadows, blushers, lipsticks, lip glosses, lip liners , make-up cosmetics for decollete of the body; UV protection cosmetics such as sunscreen lotions, sunscreen gels, and sunscreen creams, but are not particularly limited thereto. In the present embodiment, the movement of the subject's hand when applying milky lotion to the skin of the face is photographed.

データ取得部120は、本システムでの処理に必要なデータを取得する機能を備えており、情報処理端末100の入出力システムが相当する。本システムでの処理に必要なデータとは、予め定められた目標速度に係るデータ、手の速度を測定するのに必要なデータなどが挙げられる。また、情報処理端末100に設けられた撮影装置110以外で撮影された動画像を用いる場合は、他の装置で撮影された動画像が処理に必要なデータに含まれる。データ取得部120は、所定の媒体を用いて取得すること、所定の回線を用いて取得することの何れも含まれる。 The data acquisition unit 120 has a function of acquiring data necessary for processing in this system, and corresponds to an input/output system of the information processing terminal 100 . The data necessary for processing in this system includes data related to a predetermined target speed, data necessary for measuring hand speed, and the like. Further, when using a moving image shot by a device other than the shooting device 110 provided in the information processing terminal 100, the data required for processing includes the moving image shot by the other device. The data acquisition unit 120 includes both acquisition using a predetermined medium and acquisition using a predetermined line.

記憶部130は、本システムでの処理に必要なデータを記憶する機能を備えており、情報処理端末100の記憶装置が相当する。本システムでの処理に必要なデータとは、予め定められた目標速度に係るデータ、手の速度を測定するのに必要なデータ、撮影した動画像、本システムを実行するためのプログラムなどが挙げられる。 The storage unit 130 has a function of storing data necessary for processing in this system, and corresponds to the storage device of the information processing terminal 100 . The data necessary for processing in this system includes data related to a predetermined target speed, data necessary for measuring hand speed, captured moving images, programs for executing this system, etc. be done.

判定部140は、撮影された動画像から被験者の化粧動作中の手の速度を測定する機能を備えており、情報処理端末100の演算処理装置が相当する。判定部140では、撮影された動画像に含まれる被験者の手の特徴点の座標値を算出し、動きが変わった際の変化量を算出する画像処理技術、いわゆるモーションキャプチャーを用いて行う。
図2に、モーションキャプチャーを用いた手の速度の測定方法の概念図を示す。図2は、情報処理端末100で撮影する際に情報処理端末100の表示部に写される被写体である被験者を示した図である。図2に示すように、本実施形態では、被験者の顔および手に特徴点20を設け、特徴点20の座標値を算出する。ここで、図2には、特徴点20を破線丸印で記載したが、実際には、特徴点20としては物理的には何も設けず、手であれば手の所定部位として中指の関節、顔であれば頭頂のように、画像解析で特徴点として処理できる部位を特徴点20として設定している。
複数設定した特徴点20のうち、中指の第1、第2関節の特徴点20の座標値と顔に設定した特徴点20の座標値から塗布している状態か否かを判定する。例えば、顔に設定した特徴点20の座標値と第1、第2関節の特徴点20の座標値とが所定値以内であれば、顔に手が接触している(化粧剤を塗布している)状態と判定する。塗布している状態と判定される期間における中指の第1、第2関節の特徴点20の座標値から変化量を算出し、手の速度を測定する。したがって、化粧剤を取り出すために被験者の手が動いているときなどは速度の測定対象外となる。本実施形態では、中指の第1、第二関節の特徴点20の座標値から手の速度を測定するが、他の指、他の関節、他の部位等に特徴点20を設け、その座標値から速度を測定してもよい。
そして、測定した速度が予め定められた目標速度範囲に入っているか否かを判定する。予め定められた目標速度範囲とは、詳細は後述するが、例えば、肌の弾力性と高い相関がある目標速度範囲、また、自律神経と高い相関がある別の目標速度範囲、などがある。目標速度範囲に入っているか否かとは、対象の化粧動作中の終始において入っているか否かだけでなく、対象の化粧動作中に対し所定割合の期間入っていれば目標速度範囲に入っていると判定してもよい。
The determination unit 140 has a function of measuring the speed of the subject's hand during the makeup operation from the captured moving image, and corresponds to the processing unit of the information processing terminal 100 . The determination unit 140 calculates the coordinate values of the feature points of the subject's hand included in the captured moving image, and uses an image processing technique, so-called motion capture, to calculate the amount of change when the movement changes.
FIG. 2 shows a conceptual diagram of a method for measuring hand speed using motion capture. FIG. 2 is a diagram showing a subject, who is a subject, displayed on the display unit of information processing terminal 100 when an image is taken with information processing terminal 100. As shown in FIG. As shown in FIG. 2, in this embodiment, feature points 20 are provided on the subject's face and hands, and the coordinate values of the feature points 20 are calculated. Here, in FIG. 2, the feature point 20 is indicated by a dashed circle, but in reality, nothing is physically provided as the feature point 20, and in the case of a hand, the joint of the middle finger is a predetermined part of the hand. , and the top of the head in the case of a face, are set as feature points 20 that can be processed as feature points in image analysis.
Among the set feature points 20, the coordinate values of the feature points 20 of the first and second joints of the middle finger and the coordinate values of the feature points 20 set on the face are used to determine whether or not the skin is being applied. For example, if the coordinate values of the feature points 20 set on the face and the coordinate values of the feature points 20 of the first and second joints are within a predetermined value, the hand is in contact with the face (cosmetic is applied). is present). The amount of change is calculated from the coordinate values of the feature points 20 of the first and second joints of the middle finger during the period determined to be in the applied state, and the speed of the hand is measured. Therefore, when the subject's hand is moving to take out the cosmetics, the speed is not measured. In this embodiment, the hand speed is measured from the coordinate values of the feature points 20 of the first and second joints of the middle finger. You may measure the velocity from the value.
Then, it is determined whether or not the measured speed is within a predetermined target speed range. The predetermined target speed range, which will be described later in detail, includes, for example, a target speed range highly correlated with skin elasticity and another target speed range highly correlated with autonomic nerves. Whether or not it is within the target speed range means not only whether it is within the target speed range from beginning to end of the target's makeup operation, but also whether it is within the target speed range for a predetermined percentage of the target's makeup operation. can be determined.

音声出力部150は、測定した速度に応じて異なる態様の音声を出力する機能を備えており、情報処理端末100の演算処理装置、スピーカなどが相当する。 The audio output unit 150 has a function of outputting different forms of audio according to the measured speed, and corresponds to the arithmetic processing unit, speaker, etc. of the information processing terminal 100 .

表示部160は、測定した速度に応じて異なる表示態様で表示する機能を備えており、情報処理端末100の演算処理装置、表示装置などが相当する。 The display unit 160 has a function of displaying in different display modes according to the measured speed, and corresponds to an arithmetic processing unit, a display device, or the like of the information processing terminal 100 .

次に、目標速度範囲について説明する。
化粧動作中の手の速度と心身状態(自律神経活動、皮膚弾力性)とについて、以下の試験内容に基づき試験を行った。自律神経活動とは、内蔵や血管などの意識とは無関係に働いている器官を制御している神経である自律神経の活動状態のことである。自律神経には、交感神経と副交感神経があるため、本実施形態では各々の自律神経活動と化粧動作中の手の速度との相関関係を解析する。また、皮膚弾力性とは、どの程度、皮膚粘弾性があるかであり、いわゆるハリのことである。皮膚粘弾性は市販のCutometer (例えばCourage & Khazaka Electronic社製)を用いて計測することができる。
<試験内容>
被験者:30代または40代の女性39名(スキンケアすることが楽しく感じる人:19名、スキンケアすることが楽しく感じない人:20名)
1)皮膚弾力性の計測を行った。左頬(目鼻交点)部位を5回計測し、平均値を代表値とした。
2)身体計測(心拍計測)を行った。安静した状態で心拍を3分間、右足首と左手前腕をクリップ型電極で挟み、心電を計測した。
3)被験者が所定の化粧剤(本実施形態では、乳液)を所定量(何れの被験者も同一の量)塗布する化粧動作を日常の夜の化粧動作で行い、その化粧動作をモーションキャプチャーにより計測を行った(図3参照)
4)安静した状態で身体計測(心拍計測)を行った。心拍を3分間、右足首と左手前腕をクリップ型電極で挟み、心電を計測した。
Next, the target speed range will be explained.
The hand speed and psychosomatic state (autonomic nerve activity, skin elasticity) during makeup action were tested based on the following test contents. Autonomic nerve activity is the state of activity of autonomic nerves, which are nerves that control organs such as internal organs and blood vessels that work independently of consciousness. Since autonomic nerves include sympathetic nerves and parasympathetic nerves, the present embodiment analyzes the correlation between the activity of each autonomic nerve and the hand speed during makeup. In addition, skin elasticity refers to the degree of skin viscoelasticity, and is so-called firmness. Skin viscoelasticity can be measured using a commercially available Cutometer (eg, manufactured by Courage & Khazaka Electronic).
<Test contents>
Subjects: 39 women in their 30s or 40s (19 people who enjoy skin care, 20 people who do not enjoy skin care)
1) Skin elasticity was measured. The left cheek (intersection of the eyes and nose) was measured five times, and the average value was taken as the representative value.
2) Physical measurement (heartbeat measurement) was performed. The heart rate was recorded for 3 minutes in a resting state, and the electrocardiogram was measured by clamping the right ankle and the left forearm with clip-type electrodes.
3) Subjects apply a predetermined amount (same amount for all subjects) of a predetermined cosmetic agent (emulsion in this embodiment) as a routine nighttime makeup action, and the makeup action is measured by motion capture. was performed (see Figure 3)
4) Physical measurement (heartbeat measurement) was performed in a resting state. The heart rate was measured for 3 minutes by clamping the right ankle and the left forearm with clip-type electrodes to measure the electrocardiogram.

試験内容1)の結果と3)の結果に基づき、皮膚弾力性と化粧動作中の手の速度との相関関係を解析することで、皮膚弾力性の高い被験者は、日常、どのような化粧動作(化粧動作中の手の速度)を行っているか推測することが可能となる。
試験内容2)の結果と4)の結果による変化内容と、3)の結果に基づき自律神経活動と化粧動作中の手の速度との相関関係を解析することで、どのような化粧動作(化粧動作中の手の速度)により、自律神経活動がどのように変化するのか推測することが可能となる。
Based on the results of test contents 1) and 3), by analyzing the correlation between skin elasticity and the speed of the hand during makeup, it was found that subjects with high skin elasticity could perform various makeup activities on a daily basis. It is possible to guess whether the user is performing (hand speed during makeup operation).
By analyzing the correlation between autonomic nerve activity and hand speed during makeup based on the results of test contents 2) and 4), and the results of 3), what kind of makeup action (makeup Hand speed during movement) makes it possible to infer how autonomic nerve activity changes.

試験内容3)のモーションキャプチャーについて、図3を用いて説明する。本試験では、光学式のモーションキャプチャーで行った。
図3に示すように、被験者のカチューシャ(頭部)に3つの赤外線反射マーカ50、右手中指に装着した指輪に赤外線反射マーカ50を設け、鏡30の内部に設置されている6台のカメラ40(破線丸印で示す)でそれぞれの赤外線反射マーカ50の空間座標を追跡、記録した。解析時、カチューシャの赤外線反射マーカ50によって空間を固定し、右手中指の赤外線反射マーカ50の相対的な空間座標変化を算出した。50msec毎の空間移動距離から手の速度の時系列データを算出した。また、カチューシャの赤外線反射マーカ50と右手中指の赤外線反射マーカ50との相対的な空間座標変化により、所定の化粧剤を取り出す行為のデータは除外し、所定の化粧剤を顔面に塗布する際の動作データのみを手の速度の測定対象とした。
The motion capture of test content 3) will be explained using FIG. In this test, optical motion capture was used.
As shown in FIG. 3, three infrared reflective markers 50 are provided on the subject's headband (head), an infrared reflective marker 50 is provided on the ring worn on the middle finger of the right hand, and six cameras 40 are installed inside the mirror 30. (indicated by dashed circles) tracked and recorded the spatial coordinates of each infrared reflective marker 50 . At the time of analysis, the space was fixed by the infrared reflective marker 50 of the headband, and the relative spatial coordinate change of the infrared reflective marker 50 of the right middle finger was calculated. Time-series data of hand speed was calculated from the spatial movement distance of every 50 msec. In addition, the data of the act of taking out the predetermined cosmetic is excluded by the relative spatial coordinate change between the infrared reflective marker 50 of the headband and the infrared reflective marker 50 of the right middle finger, and the data of the act of applying the predetermined cosmetic to the face is excluded. Only movement data were used to measure hand speed.

図4に、上述した試験により得られた結果を示す。
図4の棒グラフは、被験者全員の手の速度分布を示し、横軸は速度[cm/sec]、縦軸は速度成分比率[%]を示している。
図4の一点鎖線で示された折れ線グラフは、試験内容1)で計測した皮膚弾力性と手の速度成分との相関関係を示している。グラフ上の黒塗り四角で示した座標は、有意な相関関係(p<0.05)が認められた箇所である。
図4の実線で示された折れ線グラフは、試験内容2)、4)で計測した身体計測(心拍計測)に基づき副交感神経活動と手の速度成分との相関関係を示している。グラフ上の黒塗り丸で示した座標は、有意な相関関係(p<0.05)が認められた箇所である。
図4の破線で示された折れ線グラフは、試験内容2)、4)で計測した身体計測(心拍計測)に基づき交感神経活動と手の速度成分との相関関係を示している。グラフ上の黒塗り三角で示した座標は、有意な相関関係(p<0.05)が認められた箇所である。
FIG. 4 shows the results obtained from the tests described above.
The bar graph in FIG. 4 shows the velocity distribution of the hands of all the subjects, with the horizontal axis representing the velocity [cm/sec] and the vertical axis representing the velocity component ratio [%].
The line graph indicated by the dashed-dotted line in FIG. 4 shows the correlation between the skin elasticity measured in test content 1) and the hand velocity component. The coordinates indicated by black squares on the graph are locations where a significant correlation (p<0.05) was observed.
The line graph indicated by the solid line in FIG. 4 shows the correlation between the parasympathetic nerve activity and the hand velocity component based on the physical measurements (heart rate measurement) measured in test contents 2) and 4). The coordinates indicated by black circles on the graph are locations where a significant correlation (p<0.05) was observed.
The broken line graph in FIG. 4 shows the correlation between the sympathetic nerve activity and the hand velocity component based on the physical measurements (heart rate measurement) measured in test contents 2) and 4). The coordinates indicated by black triangles on the graph are locations where a significant correlation (p<0.05) was observed.

図4から、速度成分と皮膚弾力性とは、速度成分が10[cm/sec]以上22[cm/sec]未満の範囲で有意かつ高い正相関を有することが明らかである。すなわち、速度成分が10[cm/sec]以上22[cm/sec]未満の範囲が、皮膚弾力性の高さと相関する速度範囲である第三速度範囲である。そして、図4より、化粧動作中の手の速度を第三速度範囲で行うようにすることで、皮膚弾力性を改善できる可能性があると推定できるため、皮膚弾力性を求める被験者は、第三速度範囲を目標速度とすることが好ましい。 From FIG. 4, it is clear that the velocity component and skin elasticity have a significant and highly positive correlation within the velocity component range of 10 [cm/sec] or more and less than 22 [cm/sec]. That is, the range in which the velocity component is 10 [cm/sec] or more and less than 22 [cm/sec] is the third velocity range, which is a velocity range that correlates with the level of skin elasticity. Then, from FIG. 4, it can be estimated that there is a possibility that skin elasticity can be improved by setting the speed of the hand during the makeup operation to the third speed range. Preferably, three speed ranges are used as target speeds.

図4から、速度成分と副交感神経の活動量とは、化粧動作の前後において、速度成分が1[cm/sec]以上7[cm/sec]未満の範囲で有意かつ高い正相関を有することが明らかである。すなわち、速度成分が1[cm/sec]以上7[cm/sec]未満の範囲が、副交感神経の活動量と正相関を有する第一速度範囲である。副交感神経の活動量が高い状態では、一般的に、心身共に、休息状態、鎮静状態である。そこで、心身の休息状態や鎮静状態、いわゆるリラックスした状態を求める被験者は、第一速度範囲を目標速度とすることが好ましい。 From FIG. 4, it can be seen that the velocity component and the amount of parasympathetic nerve activity have a significant and high positive correlation before and after the makeup action when the velocity component is in the range of 1 [cm/sec] or more and less than 7 [cm/sec]. it is obvious. That is, the range in which the velocity component is 1 [cm/sec] or more and less than 7 [cm/sec] is the first velocity range having a positive correlation with the amount of activity of the parasympathetic nerves. In a state of high parasympathetic nerve activity, the body and mind are generally in a state of rest and sedation. Therefore, it is preferable that the first speed range be set as the target speed for a subject who seeks a mentally and physically rested state, a sedated state, a so-called relaxed state.

図4から、速度成分と交感神経活動の活動量とは、化粧動作の前後において、速度成分が0[cm/sec]以上1[cm/sec]未満の範囲で有意な負相関を有することが明らかであり、また、速度成分が25[cm/sec]以上43[cm/sec]未満の範囲で有意かつ高い正相関を有することが明らかである。すなわち、速度成分が25[cm/sec]以上43[cm/sec]未満の範囲が、交感神経の活動量と正相関を有する第二速度範囲である。
交感神経の活動量が低い状態では、一般的に、交感神経活動を抑制する状態である。速度成分が0[cm/sec]以上1[cm/sec]未満の範囲である場合、被験者は手の平にとった(のせた)化粧剤を皮膚表面に押しつけるように塗布、いわゆるハンドプレスによる塗布を行っていることが想定される。そこで、交感神経の活動量を抑制したい状態、すなわち、心身共に、活動的、活発な状態を抑えたい状態、高ぶる気持ちを抑えた状態を求める被験者は、0[cm/sec]以上1[cm/sec]未満、いわゆるハンドプレスによる化粧剤の塗布を目標とすることが好ましい。また、交感神経の活動量が低い状態である速度成分が0[cm/sec]以上1[cm/sec]未満の範囲は、副交感神経の活動量が高い状態である速度成分が1[cm/sec]以上7[cm/sec]未満の範囲である第一速度範囲と同様に、心身共に、休息状態、鎮静状態である。
一方、交感神経の活動量が高い状態では、一般的に、心身共に、活動的、活発な状態である。交感神経の活動量が高い状態である速度成分が25[cm/sec]以上43[cm/sec]未満の範囲、すなわち、第二速度範囲は自律神経活動を活動モードへ傾ける。そこで、心身の活動的、活発な状態を求める被験者は、第二速度範囲を目標速度とすることが好ましい。
From FIG. 4, the velocity component and the amount of sympathetic nerve activity have a significant negative correlation before and after the makeup action in the range of the velocity component of 0 [cm/sec] or more and less than 1 [cm/sec]. It is clear that the velocity component has a significant and high positive correlation in the range of 25 [cm/sec] or more and less than 43 [cm/sec]. That is, the range in which the velocity component is equal to or greater than 25 [cm/sec] and less than 43 [cm/sec] is the second velocity range having a positive correlation with the amount of sympathetic nerve activity.
A state in which the amount of sympathetic nerve activity is low is generally a state in which sympathetic nerve activity is suppressed. When the velocity component is in the range of 0 [cm/sec] or more and less than 1 [cm/sec], the subject applies the cosmetic agent taken (placed) on the palm so as to press it against the skin surface, ie, application by hand press. It is assumed that you are doing Therefore, the subject who wants to suppress the activity of the sympathetic nerve, that is, to suppress the state of being active and active both physically and mentally, and to suppress the feeling of being overwhelmed, is 0 [cm / sec] or more and 1 [cm / sec], i.e., application of the cosmetic by a so-called hand press. In addition, in the range of 0 [cm/sec] or more and less than 1 [cm/sec], the velocity component in which the activity of the sympathetic nerve is low is 1 [cm/sec], in which the activity of the parasympathetic nerve is high. sec] or more and less than 7 [cm/sec].
On the other hand, when the activity of the sympathetic nerves is high, the body and mind are generally in an active state. The speed component in which the sympathetic nerve activity is high is in the range of 25 [cm/sec] or more and less than 43 [cm/sec], that is, the second speed range tilts the autonomic nerve activity to the active mode. Therefore, it is preferable that the second speed range be set as the target speed for a subject who seeks to be physically and mentally active.

上述したように、本実施形態では、目標速度範囲として、副交感神経の活動量と正の相関を有する第一速度範囲と、交感神経の活動量と正の相関を有する第二速度範囲と、皮膚弾力性と相関する速度範囲である第三速度範囲を設ける。そして、これらの速度範囲は、第一速度範囲は第三速度範囲よりも低い速度範囲であり、第二速度範囲は第三速度範囲よりも高い速度範囲の関係である。第一速度範囲と第三速度範囲の一部同士が重複し、また、第三速度範囲と第二速度範囲の一部同士が重複してもよい。
第一速度範囲が第三速度範囲よりも低い速度範囲であるとは、第三速度範囲の最小値より第一速度範囲の最小値の方が小さい値であり、かつ、第三速度範囲の最大値より第一速度範囲の最大値の方が小さい値であることをいう。すなわち、第一速度範囲または第三速度範囲の一方が他方に包含されて完全に重複する場合は、第一速度範囲が第三速度範囲よりも低い速度範囲である態様に含まないものとする。従って、第一速度範囲と第三速度範囲とのそれぞれ一部同士が重複する場合において、重複していない範囲のうち最も小さい値を含む範囲が第一速度範囲である場合には、第一速度範囲は第三速度範囲よりも低い速度範囲である。
同様に、第二速度範囲が第三速度範囲よりも高い速度範囲であるとは、第三速度範囲の最大値より第二速度範囲の最大値の方が大きい値であり、かつ、第三速度範囲の最小値より第二速度範囲の最小値の方が大きい値であることをいう。すなわち、第三速度範囲または第二速度範囲の一方が他方に包含されて完全に重複する場合は、第二速度範囲が第三速度範囲よりも高い速度範囲である態様に含まないものとする。従って、第二速度範囲と第三速度範囲とのそれぞれ一部同士が重複する場合において、重複していない範囲のうち最も大きい値を含む範囲が第二速度範囲である場合には、第二速度範囲は第三速度範囲よりも高い速度範囲である。
本実施形態のように、第一速度範囲、第二速度範囲、および第三速度範囲は、完全に非重複な速度範囲であることが好ましい。これにより、どのような速度で化粧動作を行うと所定の目的に対し効果的であるかが明確になる。
As described above, in this embodiment, as the target speed range, the first speed range having a positive correlation with the amount of activity of the parasympathetic nerves, the second speed range having a positive correlation with the amount of activity of the sympathetic nerves, and the skin A third speed range is provided which is a speed range that correlates with resilience. These speed ranges are related such that the first speed range is lower than the third speed range, and the second speed range is higher than the third speed range. Parts of the first speed range and the third speed range may overlap, and parts of the third speed range and the second speed range may overlap.
That the first speed range is a speed range lower than the third speed range means that the minimum value of the first speed range is smaller than the minimum value of the third speed range, and the maximum value of the third speed range It means that the maximum value of the first speed range is smaller than the value. That is, if one of the first speed range or the third speed range is subsumed by the other and completely overlaps, it shall not be included in the embodiment in which the first speed range is a lower speed range than the third speed range. Therefore, when the first speed range and the third speed range partially overlap each other, if the range containing the smallest value among the non-overlapping ranges is the first speed range, the first speed range The range is a speed range lower than the third speed range.
Similarly, when the second speed range is a higher speed range than the third speed range, the maximum value of the second speed range is greater than the maximum value of the third speed range, and the third speed range It means that the minimum value of the second speed range is larger than the minimum value of the range. That is, if one of the third speed range or the second speed range is subsumed by the other and completely overlaps, it shall not be included in the embodiment in which the second speed range is a higher speed range than the third speed range. Therefore, when the second speed range and the third speed range partially overlap each other, if the second speed range includes the largest value among the non-overlapping ranges, the second speed range The range is a higher speed range than the third speed range.
As in this embodiment, the first speed range, the second speed range, and the third speed range are preferably completely non-overlapping speed ranges. This clarifies at what speed the make-up operation is effective for a given purpose.

次に、被験者が情報処理端末100によって化粧動作中の手の速度を測定した際の結果の音声による報知方法について説明する。
情報処理端末100は、音声出力部150を備えており、測定した速度に応じて異なる態様の音声を出力する機能を備えている。日常的に行われる化粧動作は無意識に行われていることが多いため、どのような速度で行っているかを報知することで、被験者にどのような化粧動作を行っているか意識させることができ、結果的に被験者が目標速度達成することをサポートできる。そこで、本システムでは、測定した速度に応じて異なる態様の音声を出力するようにする。以下に、出力方法の例を示す。
Next, a description will be given of a method of notifying the result of measurement of the speed of the hand of the subject during the makeup operation by voice using the information processing terminal 100 .
The information processing terminal 100 includes an audio output unit 150 and has a function of outputting different forms of audio according to the measured speed. Since the make-up actions that are performed on a daily basis are often performed unconsciously, it is possible to make the subjects aware of what kind of make-up actions are being performed by notifying them of the speed at which they are performing the make-up actions. As a result, it is possible to support the subject to achieve the target speed. Therefore, in this system, different forms of sound are output according to the measured speed. An example of the output method is shown below.

複数ある目標速度範囲のうち予め特定の目標速度範囲を設定しておき、被験者が化粧動作を行っているときの手の速度が、設定した目標速度範囲に入っているときといないときとで異なる態様の音声を出力する。このように報知することで、被験者が報知される音声に応じて目標速度範囲に入っているか否かを把握しやすいため、目標速度達成を効果的にサポートできる。
また、別の音声報知パターンとして、手の速度に応じて、異なる態様の音声を出力する。例えば、低速から高速に段階的に高音になるように出力する、低速から高速に段階的にリズムが速くなるように出力する、低速から高速に段階的に音声のボリュームが大きくなるように出力する、などである。このように報知することで、被験者は報知されている音声に基づき、どのような速度で手を動かしているかを把握しやすいため、目標速度達成を効果的にサポートできる。
A specific target speed range is set in advance from among multiple target speed ranges, and the speed of the hand of the subject when applying makeup differs depending on whether it is within the set target speed range or not. Outputs the audio of the mode. By notifying in this way, it is easy for the subject to grasp whether or not he or she is within the target speed range according to the sound that is notified, so it is possible to effectively support achievement of the target speed.
Also, as another voice notification pattern, different forms of voice are output according to the speed of the hand. For example, output so that the sound gradually increases in treble from low speed to high speed, output so that the rhythm gradually becomes faster from low speed to high speed, or output so that the volume of sound increases in steps from low speed to high speed. , etc. By notifying in this way, the subject can easily grasp what speed the hand is moving based on the sound that is being notified, so it is possible to effectively support achievement of the target speed.

次に、被験者の化粧動作中の手の速度を情報処理端末100によって測定した結果の表示態様に関する報知方法について説明する。
情報処理端末100は、表示部160を備えており、測定した速度に応じて異なる表示態様を表示する機能を備えている。通常、日常的な化粧動作は無意識に行われていることが多いため、どのような速度で行っているかを報知することで、被験者にどのような化粧動作を行っているか意識させることができ、結果的に被験者が目標速度達成することをサポートできる。また、表示部160の表示態様によりどのような速度で、顔のどのような位置を化粧したかを報知することで、被験者が視覚的に把握できるため、目標速度達成を効果的にサポートできる。
図5に、化粧動作中の手の速度を測定した際の結果の表示態様による報知方法の一例を示す。図5は、被験者の顔画像と、顔画像に測定結果を表示した図である。
例えば、測定した手の速度に基づき、顔座標ごとに平均速度を算出し、平均速度に応じて表示態様を異ならせる。平均速度が遅い座標は濃い色で平均速度が速い座標は薄い色で表示することで、被験者はどのような速度で顔のどの位置を化粧しているか視覚的に把握することができる。なお、本表示態様は、一連の化粧動作が終了した後に、一連の化粧動作における平均速度を算出し、表示態様を異ならせても良いし、一連の化粧動作中に逐次、平均速度を算出し、算出結果に応じて、逐次表示態様を更新してもよい。
また、別の例として、顔座標ごとに手の通過頻度(顔座標ごとに手が存在した時間)を算出し、通過した頻度が高い座標は濃い色で、通過した頻度が低い座標は薄い色で表示する。このようにすることで、被験者は化粧剤の塗布むらを視覚的に把握することができる。
このように、化粧動作中の手の速度を測定した結果を被験者の顔に平均速度や通過頻度に応じて異なる表示態様で表示することで、被験者が目標速度達成やむらのない化粧剤の塗布を実現するためのサポートを行うことができる。なお、本表示態様も、一連の化粧動作が終了した後に、一連の化粧動作における通過頻度を算出し、表示態様を異ならせても良いし、一連の化粧動作中に逐次、通過頻度を算出し、算出結果に応じて、逐次表示態様を更新してもよい。
Next, a method of notifying the display mode of the result of measuring the speed of the hand of the subject during the makeup operation by the information processing terminal 100 will be described.
The information processing terminal 100 includes a display unit 160 and has a function of displaying different display modes according to the measured speed. Usually, people perform their daily make-up actions unconsciously, so by informing them of the speed at which they are doing it, it is possible to make them aware of what kind of make-up actions they are doing. As a result, it is possible to support the subject to achieve the target speed. In addition, the display mode of the display unit 160 informs the subject of what speed and what position of the face the makeup was applied on so that the subject can visually grasp it, so that the achievement of the target speed can be effectively supported.
FIG. 5 shows an example of a notification method by a display mode of the result of measuring the speed of the hand during the makeup operation. FIG. 5 shows a face image of a subject and a measurement result displayed on the face image.
For example, based on the measured hand velocities, the average velocity is calculated for each face coordinate, and the display mode is changed according to the average velocity. By displaying the coordinates with a slow average speed in a dark color and the coordinates with a fast average speed in a light color, the subject can visually grasp at what speed and where on the face the make-up is applied. In this display mode, after the series of makeup actions is completed, the average speed in the series of makeup actions may be calculated and the display mode may be changed, or the average speed may be calculated sequentially during the series of makeup actions. , the display mode may be updated sequentially according to the calculation result.
As another example, the hand passing frequency (the time during which the hand was present for each face coordinate) is calculated for each face coordinate. to display. By doing so, the subject can visually grasp the uneven application of the cosmetic agent.
In this way, by displaying the results of measuring the speed of the hand during the makeup action on the subject's face in different display modes according to the average speed and the passing frequency, the subject can achieve the target speed and evenly apply the makeup. We can provide support for realizing In this display mode, after the series of makeup actions is completed, the passing frequency in the series of makeup actions may be calculated and the display mode may be changed. , the display mode may be updated sequentially according to the calculation result.

<変形例>
本実施形態では、複数の被験者の化粧動作中の手の速度と心身状態(自律神経活動、皮膚弾力性)を測定し、相関関係を求める際に、光学式のモーションキャプチャーを用いたが、これに限らない。被験者が化粧動作の手の速度を測定するときと同様に、ビデオ式(画像式)で測定してもよい。
本実施形態では、被験者が化粧動作の手の速度を測定するときに、ビデオ式(画像式).を用いたが、これに限らない。光学式のモーションキャプチャーを用いてもよいし、被験者自身がどのような場所で測定するかを考慮し、どのようなモーションキャプチャーで測定するかを決定すればよい。
<Modification>
In this embodiment, optical motion capture was used to measure the hand speed and psychosomatic state (autonomic nerve activity, skin elasticity) during the makeup action of a plurality of subjects and determine the correlation. is not limited to A video method (image method) may be used for measurement in the same manner as when measuring the hand speed of the subject's makeup action.
In this embodiment, when measuring the hand speed of the subject's make-up action, video type (image type). was used, but is not limited to this. Optical motion capture may be used, or the subject himself/herself may decide what kind of motion capture to use in consideration of the place to be measured.

本実施形態では、複数の被験者の化粧動作中の手の速度と心身状態(自律神経活動、皮膚弾力性)を測定する際の被験者は、化粧動作(スキンケア)することが楽しく感じる被験者(19名)と化粧動作(スキンケア)することが楽しくないと感じる被験者(20名)とで行った。化粧動作中の手の速度と化粧動作が楽しく感じる被験者/楽しくないと感じる被験者との関係を図6に示す。図6から明らかなように、楽しく感じる被験者と楽しくないと感じる被験者とでは、楽しくないと感じる被験者の方が化粧動作中の手の速度が速い傾向である。本実施形態では、被験者に化粧動作の目的を選択させ、それに合った目標速度範囲を設定するようにしたがこれに限らず、例えば、被験者に化粧動作を楽しく感じるか/楽しくないと感じるかを選択させ、楽しくないと感じる被験者には、目標速度範囲として低速な値が設定されるようにしてもよい。また、楽しくないと感じる被験者が第一速度範囲を目標速度範囲とするような場合は、予め、低速な動作をうながすようにスローなテンポの音声を出力するようにしてもよい。なお、被験者が化粧動作を楽しく感じるか/楽しくないと感じるかを客観的な指標で決めても良い。例えば、化粧動作前と化粧動作後とに、気分変化を把握するアンケートを行い、その結果により、被験者自身が化粧動作を楽しく感じるか/楽しくないと感じるかを把握するようにしてもよい。気分変化を把握するアンケートとしては、様々な方法があるが、複数項目(例えば8項目)の質問に対して、複数段階(例えば6段階)の回答の何れに当てはまるか答えることで、測定時の心理状態を数量化することができる。8項目の質問の例としては、例えば、落ち着いた、イライラした、無気力な、活気にあふれた、リラックスした、ピリピリした、だらけた、イキイキした、など交感神経の活動量と正相関する項目と、副交感神経の活動量と正相関する項目の双方を含むことが好ましい。また、回答としては、全くそうでない、少しはそう、ややそう、ある程度そう、かなりそう、非常にそう、など3段階以上が好ましく、また偶数段階とすることで、どちらでもない、などの中間的な回答を排除することができる。そして、興奮と沈静とを対極に持つ第1軸と、快適と不快とを対極に持つ第2軸との2軸を備えた二次元グラフに質問に対する回答を図示することで心理状態(気分)を知ることができる二次元気分尺度アンケートによって行うことが好ましい。 In this embodiment, when measuring the hand speed and psychosomatic state (autonomic nerve activity, skin elasticity) during the makeup action of a plurality of subjects, the subjects (19 people) who feel that makeup action (skin care) is fun ) and subjects (20 people) who felt that they did not enjoy applying makeup (skin care). FIG. 6 shows the relationship between the hand speed during the make-up action and the subject who felt the make-up action was enjoyable/not enjoyable. As is clear from FIG. 6, there is a tendency that the hand speed during the make-up motion is faster in the subjects who feel that they are not happy, compared to the subjects who feel that they are not happy. In this embodiment, the subject is asked to select the purpose of the makeup action, and the target speed range is set accordingly. A low value may be set as the target speed range for subjects who feel that they are not happy. In addition, if the subject feels that the subject does not enjoy the exercise, the target speed range may be set to the first speed range. It should be noted that an objective index may be used to determine whether the subject enjoys/does not enjoy the makeup action. For example, a questionnaire may be conducted before and after applying makeup to grasp changes in mood, and based on the results, it may be possible to ascertain whether the subject himself/herself enjoys applying makeup/does not enjoy applying makeup. There are various methods of questionnaires for grasping mood changes. Mental states can be quantified. Examples of eight-item questions include, for example, calm, irritated, lethargic, full of energy, relaxed, tense, lazy, lively, etc., items that are positively correlated with the amount of sympathetic nerve activity, It is preferable to include both items that are positively correlated with the amount of activity of the parasympathetic nerves. In addition, it is preferable to give three or more grades such as not at all, a little yes, a little yes, a certain amount of yes, a lot of yes, and a lot of yes. answers can be eliminated. Then, by plotting the responses to the questions on a two-dimensional graph with two axes, the first axis having opposite poles of excitement and calmness and the second axis having opposite poles of comfort and discomfort, the psychological state (mood) can be visualized. It is preferable to conduct a secondary mood scale questionnaire that can know the

本実施形態では、化粧動作中の手の速度が目標速度範囲となるように、測定結果に基づく報知を行うようにした。目標速度範囲に入っているか否かとは、対象の化粧動作中の終始において入っているか否かだけでなく、対象の化粧動作中の所定割合の期間入っていれば目標速度範囲に入っていると判定してもよいため、測定結果に基づく報知(アドバイス)も所定割合の期間、目標速度範囲に入るように報知してもよい。また、対象の化粧動作中に複数の目的、例えば、心身の休息状態や鎮静状態、いわゆるリラックスした状態を求めることと皮膚弾性力の2つを求める場合には、第一速度範囲と第三速度範囲とをそれぞれ所定割合ずつ達成するように報知(アドバイス)してもよい。 In the present embodiment, the notification is made based on the measurement result so that the speed of the hand during the makeup operation falls within the target speed range. Whether or not it is within the target speed range means not only whether it is within the target speed range from beginning to end of the target's makeup operation, but also whether it is within the target speed range during a predetermined ratio of the target's makeup operation. Since the judgment may be made, the notification (advice) based on the measurement result may also be notified so that the vehicle speed is within the target speed range for a period of a predetermined ratio. In addition, when seeking two purposes, for example, seeking a state of rest and sedation of the mind and body, a so-called relaxed state, and skin elasticity during the target makeup operation, the first speed range and the third speed It may be notified (advised) to achieve each of the ranges by a predetermined ratio.

本実施形態では、測定結果を音声出力部150で報知する際に、被験者が化粧動作を行い、その測定結果に応じた音声を逐次出力するようにしたがこれに限らない。例えば、被験者が過去に測定した結果を記憶しておき、記憶しておいた結果と、今回、設定する目標速度範囲とに基づき、例えば、過去に測定した結果の速度の方が設定する目標速度範囲より速ければ、ゆっくりとした速度で手を動作することを意識できるような音声(例えば、スローテンポな音声)を予め出力するようにしてもよい。 In the present embodiment, when the voice output unit 150 notifies the measurement result, the subject performs a make-up action and the voice corresponding to the measurement result is sequentially output, but the present invention is not limited to this. For example, the subject memorizes the results of past measurements, and based on the memorized results and the target speed range to be set this time, for example, the speed of the past measurement result is the target speed to be set. If it is faster than the range, a sound (for example, a slow tempo sound) may be output in advance so that the user can be conscious of moving the hand at a slow speed.

本実施形態では、測定結果を表示部160に報知する際に、被験者の顔画像に測定結果に応じて異なる表示態様を表示するようにしたが、これに限らない。例えば、表示部160に測定速度を数値で表示してもよく、また、測定速度の変化をヒストグラムで表示してもよい。このようにすることで、被験者は視覚的に測定結果を把握できるため、被験者の目標速度達成を効果的にサポートできる。 In this embodiment, when notifying the measurement result on the display unit 160, the face image of the subject is displayed in a different display mode according to the measurement result, but the present invention is not limited to this. For example, the measurement speed may be displayed numerically on the display unit 160, and changes in the measurement speed may be displayed as a histogram. By doing so, the subject can visually grasp the measurement result, so that the subject's achievement of the target speed can be effectively supported.

本実施形態では、測定結果を音声や表示態様で報知したがこれに限らない。例えば、情報処理端末100に設けられた発光装置(図示しない)を用いて、測定された化粧動作中の手の速度に応じて、異なる発光態様で発光装置を発光させることで報知してもよい。このようにすることで、音声や表示態様と同様に被験者の目標速度達成を効果的にサポートできる。また、複数の表示態様を同時に、または、組み合わせてもよい。 In the present embodiment, the measurement result is notified by voice or display mode, but the present invention is not limited to this. For example, using a light-emitting device (not shown) provided in the information processing terminal 100, the light-emitting device may emit light in different light-emitting modes according to the measured speed of the hand during the makeup action. . By doing so, it is possible to effectively support the subject's achievement of the target speed in the same manner as the voice and display mode. Also, a plurality of display modes may be used simultaneously or in combination.

10 化粧動作支援システム
20 特徴点
30 鏡
40 カメラ
50 赤外線反射マーカ
100 情報処理端末(携帯端末)
110 撮影装置
120 データ取得部
130 記憶部
140 判定部
150 音声出力部
160 表示部
10 makeup operation support system 20 feature point 30 mirror 40 camera 50 infrared reflection marker 100 information processing terminal (portable terminal)
110 imaging device 120 data acquisition unit 130 storage unit 140 determination unit 150 audio output unit 160 display unit

Claims (10)

被験者の化粧動作中の手の速度を測定し、測定された前記速度が、予め定められた目標速度範囲に入っているか否かを判定する、化粧動作支援システム。 A makeup operation support system that measures the speed of a subject's hand during the makeup operation and determines whether or not the measured speed falls within a predetermined target speed range. 前記目標速度範囲は、自律神経の活動量と相関する速度範囲と、皮膚弾力性と相関する速度範囲との少なくとも1つを含むことを特徴とする請求項1に記載の化粧動作支援システム。 2. The makeup operation support system according to claim 1, wherein the target speed range includes at least one of a speed range correlated with the amount of autonomic nerve activity and a speed range correlated with skin elasticity. 前記自律神経の活動量と相関する速度範囲は、副交感神経の活動量と正の相関を有する第一速度範囲と、交感神経の活動量と正の相関を有する第二速度範囲との少なくとも1つを含むことを特徴とする請求項2に記載の化粧動作支援システム。 The speed range correlated with the autonomic nerve activity is at least one of a first speed range having a positive correlation with the parasympathetic nerve activity and a second speed range having a positive correlation with the sympathetic nerve activity. The makeup operation support system according to claim 2, characterized by comprising: 前記第一速度範囲は、前記皮膚弾力性と相関する速度範囲である第三速度範囲よりも低い速度範囲であり、前記第二速度範囲は、前記第三速度範囲よりも高い速度範囲である請求項3に記載の化粧動作支援システム。 wherein the first speed range is a speed range lower than a third speed range that is a speed range correlated with skin elasticity, and the second speed range is a speed range higher than the third speed range. Item 4. The makeup operation support system according to item 3. 前記第三速度範囲の少なくとも一部は、10cm/sec以上22cm/sec未満である請求項4に記載の化粧動作支援システム。 The makeup operation support system according to claim 4, wherein at least part of the third speed range is 10 cm/sec or more and less than 22 cm/sec. 前記第一速度範囲の少なくとも一部は1cm/sec以上7cm/sec未満であり、
前記第二速度範囲の少なくとも一部は25cm/sec以上43cm/sec未満であり、ハンドプレスの少なくとも一部は0cm/sec以上1cm/sec未満である請求項3から5のいずれか一項に記載の化粧動作支援システム。
at least a portion of the first velocity range is greater than or equal to 1 cm/sec and less than 7 cm/sec;
6. A hand press according to any one of claims 3 to 5, wherein at least part of said second velocity range is greater than or equal to 25 cm/sec and less than 43 cm/sec and at least part of the hand press is greater than or equal to 0 cm/sec and less than 1 cm/sec. makeup operation support system.
前記被験者の化粧動作中の手を撮影した動画像データを取得し、
前記取得した動画像データの手の所定部位の動きを解析することにより、前記被験者の化粧動作中の手の速度を測定することを特徴とする請求項1から6何れか一項に記載の化粧動作支援システム。
Acquiring video image data of the subject's hand during makeup action,
7. The makeup according to any one of claims 1 to 6, wherein the movement of a predetermined part of the hand of the acquired moving image data is analyzed to measure the speed of the hand during the makeup operation of the subject. motion support system.
前記測定された前記被験者の化粧動作中の手の速度に応じて、態様の異なる音声を出力することを特徴とする請求項1から7何れか一項に記載の化粧動作支援システム。 8. The makeup operation support system according to any one of claims 1 to 7, wherein voices having different modes are output according to the measured hand speed during the makeup operation of the subject. 前記測定された前記被験者の化粧動作中の手の速度が前記予め定められた目標速度範囲に入っていると判定されたときと判定されなかったときとで、態様の異なる音声を出力することを特徴とする請求項1から8何れか一項に記載の化粧動作支援システム。 Outputting different voices depending on whether it is determined that the measured speed of the subject's hand during makeup is within the predetermined target speed range and when it is not determined. The makeup operation support system according to any one of claims 1 to 8. 前記動画像データは、前記被験者の化粧動作中の顔を含み、
前記取得した動画像データを解析することにより、前記被験者の化粧動作中の手の位置をさらに測定し、
前記測定された前記被験者の化粧動作中の手が通過した位置を前記被験者の顔画像に表示し、かつ当該被験者の手の速度に応じて異なる表示態様で前記位置を表示することを特徴とする請求項7から9何れか一項に記載の化粧動作支援システム。
The moving image data includes the subject's face during makeup operation,
further measuring the position of the subject's hand during makeup action by analyzing the acquired moving image data;
The measured position passed by the subject's hand during makeup is displayed on the face image of the subject, and the position is displayed in a different display mode according to the speed of the subject's hand. The makeup operation support system according to any one of claims 7 to 9.
JP2021148087A 2021-09-10 2021-09-10 Makeup motion support system Active JP7426362B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021148087A JP7426362B2 (en) 2021-09-10 2021-09-10 Makeup motion support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021148087A JP7426362B2 (en) 2021-09-10 2021-09-10 Makeup motion support system

Publications (2)

Publication Number Publication Date
JP2023040896A true JP2023040896A (en) 2023-03-23
JP7426362B2 JP7426362B2 (en) 2024-02-01

Family

ID=85632168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021148087A Active JP7426362B2 (en) 2021-09-10 2021-09-10 Makeup motion support system

Country Status (1)

Country Link
JP (1) JP7426362B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125801A (en) 2006-11-21 2008-06-05 Toyota Motor Corp Biofeedback apparatus and biofeedback method
JP4516623B1 (en) 2009-07-09 2010-08-04 株式会社クロスウェル Autonomic nerve function diagnosis apparatus and program
JP2012037626A (en) 2010-08-04 2012-02-23 Shiseido Co Ltd Applying action training device
WO2016158729A1 (en) 2015-03-27 2016-10-06 株式会社メガチップス Makeup assistance system, measurement device, portable terminal device, and program
JP2016192151A (en) 2015-03-31 2016-11-10 株式会社ニコン Image processing apparatus and program
JP7457013B2 (en) 2019-05-31 2024-03-27 株式会社 資生堂 Human skin tactile presentation device and method for setting the source signal of vibration in the human skin tactile presentation device
JP7290553B2 (en) 2019-11-20 2023-06-13 花王株式会社 Evaluating the Comfortability of Sensory Stimulation to the Skin
WO2021131852A1 (en) 2019-12-26 2021-07-01 株式会社資生堂 Makeup assistance device, makeup assistance method, makeup assistance program, and makeup assistance system

Also Published As

Publication number Publication date
JP7426362B2 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
Giannakakis et al. Review on psychological stress detection using biosignals
Abdelrahman et al. Cognitive heat: exploring the usage of thermal imaging to unobtrusively estimate cognitive load
Blascovich et al. Social psychophysiology for social and personality psychology
Anttonen et al. Emotions and heart rate while sitting on a chair
Chittaro et al. Affective computing vs. affective placebo: Study of a biofeedback-controlled game for relaxation training
Kuriakose et al. Understanding the psycho-physiological implications of interaction with a virtual reality-based system in adolescents with autism: A feasibility study
Nacke An introduction to physiological player metrics for evaluating games
JP6166463B2 (en) A method for assessing product effectiveness using objective and non-invasive methods for quantifying itching
Gaskin et al. Using wearable devices for non-invasive, inexpensive physiological data collection
Welch Physiological signals of autistic children can be useful
Prendinger et al. A STUDY IN USERS'PHYSIOLOGICAL RESPONSE TO AN EMPATHIC INTERFACE AGENT
Handouzi et al. Objective model assessment for short-term anxiety recognition from blood volume pulse signal
Villar et al. Influence on the user's emotional state of the graphic complexity level in virtual therapies based on a robot-assisted neuro-rehabilitation platform
JP7311118B2 (en) Emotion estimation method and emotion estimation system
Arroyo-Palacios et al. Dancing with physio: a mobile game with physiologically aware virtual humans
Olk et al. Eye tracking as a tool for visual research
JP7426362B2 (en) Makeup motion support system
Lee et al. Decoding event-related potential from ear-EEG signals based on ensemble convolutional neural networks in ambulatory environment
de França et al. Methods and procedures to usability testing in virtual reality systems
JP2007307294A (en) Cosmetic evaluation system and cosmetic evaluation method
Wikström et al. Synkin: A game for intentionally synchronizing biosignals
Ito et al. Supportive voice-casting robots using bio-estimated emotion for rehabilitation
Batmaz et al. Effects of image size and structural complexity on time and precision of hand movements in head mounted virtual reality
Ciger et al. Evaluation of gaze tracking technology for social interaction in virtual environments
Mavridou Affective state recognition in Virtual Reality from electromyography and photoplethysmography using head-mounted wearable sensors.

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20211008

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R151 Written notification of patent or utility model registration

Ref document number: 7426362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151