JP2022516287A - アプリケータの使用をユーザに案内するための方法及びシステム - Google Patents

アプリケータの使用をユーザに案内するための方法及びシステム Download PDF

Info

Publication number
JP2022516287A
JP2022516287A JP2021538779A JP2021538779A JP2022516287A JP 2022516287 A JP2022516287 A JP 2022516287A JP 2021538779 A JP2021538779 A JP 2021538779A JP 2021538779 A JP2021538779 A JP 2021538779A JP 2022516287 A JP2022516287 A JP 2022516287A
Authority
JP
Japan
Prior art keywords
applicator
target area
unit
completion
progress
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021538779A
Other languages
English (en)
Other versions
JP7457027B2 (ja
Inventor
シー シュンション
ファン アン シアオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of JP2022516287A publication Critical patent/JP2022516287A/ja
Application granted granted Critical
Publication of JP7457027B2 publication Critical patent/JP7457027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

顔の皮膚用のアプリケータなどのアプリケータの使用をユーザに案内するための方法及びシステムが開示され、この方法及びシステムは、適用表面と対象表面を示すグラフィックとをリアルタイムでユーザに表示するステップ/ユニットと、アプリケータの位置を検出して、アプリケータの対象領域への位置合わせを確認するステップ/ユニットと、対象領域上のアプリケータの動作を検出するステップ/ユニットと、例えば、対象領域を示すグラフィックの色彩変化によって、アプリケータ動作の進捗及び/又は完了を通知するステップ/ユニットと、を含む。方法及びシステムは、使用指示書へのユーザのコンプライアンス及び/又はアプリケータの有効性を改善する。

Description

ユーザの顔及び皮膚に使用されるアプリケータを含むアプリケータの使用をユーザに案内するためのシステム及び方法。
多くの場合、アプリケータは消費者によく知られていないが、最良の又は宣伝された結果を得るための独自の説明書を有しており、これに従わないか、部分的にしか従わない(すなわち、「非コンプライアンス」)場合には、望ましくない結果をもたらす可能性がある。例えば、アプリケータの過小な若しくは過剰な使用、並びに/あるいはアプリケータの場所、アプリケータ動作、及び/又は適用時間に関する誤用、並びに/あるいはアプリケータの正しい使用方法に関する混乱は、消費者をいらだたせ、混乱させ、及び/又はアプリケータに対する不満を抱かせるおそれがある。また、宣伝された又は表示された利益又は結果と一致しない、アプリケータの有効性及び/又は性能の低減につながる可能性もある。
使用説明書へのユーザのコンプライアンスを改善するため、及び/又は、アプリケータの有効性、更には併用された場合の適用された消費者製品の有効性も改善するために、様々な方法及び技術が使用されてきた。しかしながら、このような方法及び技術は、多くの場合、以下の理由のうちの1つ以上のために、消費者の好みに合わないか、又は消費者に好まれない:消費者が、長々しい説明書を読むのに要する時間を費やすことを望んでいない;消費者が、手助けを求めて出向くことを望んでいない;消費者が、別の人に手助けを頼むことを望んでいない;与えられた説明書に基づいて使用指示を実施することが容易ではない;説明書が幅広い層のユーザ向けであり一般的すぎるために、消費者が自身で再現することが困難である;又は、消費者が、製品を適切に適用できるようにするための適切な手順を覚えることができない。印刷された、実物そっくりなグラフィック及び/又はビデオチュートリアルの使用が役立つ場合もあるが、これらはなお、必要な情報を消費者に即座に、かつ消費者がアプリケータの効果的な使用及び/又はカスタマイズされた使用のための適切な技術を迅速に理解し、実行し、覚えることができる方法で提供するには至らないことが多い。
したがって、アプリケータの使用目的、及び/又はアプリケータの効果的な使用方法についてのユーザの理解を改善するための、直感的でカスタマイズされたシステム及び/又は方法をユーザに提供することが望ましいであろう。
本発明は、アプリケータの使用をユーザに案内するための方法であって、
(a)適用表面を検出するステップと、
(b)適用表面内の対象領域を検出するステップと、
(c)対象領域を示すグラフィックを作成するステップと、
(d)適用表面と対象領域を示すグラフィックとを、リアルタイムでユーザに表示するステップと、
(e)アプリケータの位置を検出するステップと、
(f)対象領域上のアプリケータの動作を検出するステップと、
(g)アプリケータ動作の進捗及び/又は完了を通知するステップと、
を含む方法を目的とする。
本発明はまた、アプリケータの使用をユーザに案内するためのシステムであって、
(a)適用表面を検出するためのユニットと、
(b)適用表面内の対象領域を検出するための、以下のユニットに接続するユニットと、
(c)対象領域を示すグラフィックを作成するためのユニットと、
(d)適用表面と対象領域を示すグラフィックとをユーザにリアルタイムで表示するための、少なくとも適用表面検出ユニットに接続するユニットと、
(e)アプリケータの位置を検出するための、以下のユニットに接続するユニットと、
(f)対象領域上のアプリケータの動作を検出するための、以下のユニットに接続するユニットと、
(g)アプリケータ動作の進捗及び/又は完了を通知するためのユニットと、
を含むシステムを目的とする。
本発明は、拡張現実及び認識技術の使用を組み合わせて、直感的かつ効果的なリアルタイムの適用チュートリアルを作成する。この特有な組み合わせは、従来のシステム及び方法に勝る驚くべきかつ予想外の利益を提供することが示されている。
例えば、驚くべきことに、本発明のシステム及び方法を使用して、アプリケータの適用及び使用説明書に対する消費者のコンプライアンスが著しく改善され得ることが見出された。特に顔の皮膚表面に適用されるアプリケータに関しては、アプリケータが適用される対象表面を、アプリケータ動作の進捗及び/又は完了の通知と共に表示するためのリアルタイムの拡張現実の使用は、従来のシステム及び方法と比較して、ユーザコンプライアンスの大幅な改善、アプリケータに対する満足感、及び/又はアプリケータの有効性の改善をもたらすことが予想外に発見された。
本発明の方法及びシステムは、
アプリケータの使用目的、及び/又はアプリケータの効果的な使用方法についてのユーザの理解を改善するため、及び/又は使用説明書に対するユーザのコンプライアンスを改善するため、並びに/あるいは、
例えばアプリケータの対象領域に対するより良好な位置合わせ、及び/又はアプリケータ動作のより適切な持続時間、強度、及び/若しくは種類により、対象領域に対するアプリケータ動作の精度を改善することによって、アプリケータの有効性を改善するための、直感的でカスタマイズされたシステム及び/又は方法を提供する。
1A~1Iは、本発明の方法及びシステムの一例の簡略フローチャートである。 本発明の方法の特定のステップがユーザにどのように表示され得るかを示す例示的なグラフィック画像を示す。 本発明の方法の特定のステップがユーザにどのように表示され得るかを示す例示的なグラフィック画像を示す。 本発明の方法の特定のステップがユーザにどのように表示され得るかを示す例示的なグラフィック画像を示す。 本発明の方法の特定のステップがユーザにどのように表示され得るかを示す例示的なグラフィック画像を示す。
本明細書は、本発明を具体的に示しかつ明確に特許請求する特許請求の範囲で完結するが、本発明は以下の説明によってより深く理解されると考えられる。
本発明は、本明細書に記載される要素及び制限、並びに本明細書に具体的に記載されるか、ないしは別の方法で当業者に既知であるかに関わらず、本発明と共に使用するのに好適な追加又は任意のステップ/ユニット、構成要素、又は制限のいずれかを含んでもよい。
本明細書で使用するとき、用語「拡張現実」又は「AR」は、現実世界のユーザのビュー上にコンピュータ生成画像を重ね合わせることにより、現実世界とコンピュータ生成グラフィックとの複合ビューを提供する技術を指す。
本明細書で使用するとき、用語「コンプライアンス」は、消費者製品の有無に関わらず、アプリケータのユーザがアプリケータを使用するための指示に厳密に追従する状況を指す。
本明細書で使用するとき、用語「非コンプライアンス」は、アプリケータのユーザがアプリケータの使用説明書又は適用説明書のうちの1つ以上に従うことがない状況を指す。
本明細書で使用するとき、用語「リアルタイム」は、イベントが発生する時間に、イベントからのデータを入力及び処理しユーザにフィードバックを提供するのに必要な少量の追加時間を加えた実際の現在時間を指す。例えば、ユーザのリアルタイム画像は、デバイスが画像を処理し、それをデバイスのスクリーン上に表示するのに要し得る数ミリ秒を加えて、ユーザが、例えばデバイスのカメラを介して画像情報を入力するのと同時に、コンピュータ、又は携帯電話若しくはモバイルタブレットコンピュータなどのモバイルコンピュータなどのデバイスのスクリーン上に表示することができる。
本明細書で使用するとき、用語「アプリケータ」は、消費者製品の有無に関わらず、任意の表面に対して使用されるアプリケータを指す。これに限定されるものではないが、本発明のシステム及び方法によって特に恩恵を受ける種類のアプリケータは、例えば、顔の皮膚及び身体の皮膚を含む皮膚、毛髪、歯及び/又は爪などの身体の表面、好ましくは顔の皮膚に適用されるアプリケータである。そのようなアプリケータは、例えば、ヘアケア、ボディケア、フェイシャルスキンケア、シェービングケア、及び/又は口腔ケアに使用される。そのようなアプリケータは、身体のそのような表面に適用される消費者製品の有無に関わらず使用することができる。そのような消費者製品の非限定的な例は、例えば、ヘアケア製品、ボディケア製品、フェイシャルスキンケア製品、シェービングケア製品、ヘルスケア製品及び/又は口腔ケア製品などのパーソナルケア製品である。
本発明によるシステム及び方法の例が、以下に記載される。例は、顔の皮膚用のアプリケータの使用者を特に対象としているが、本発明は、そのようなアプリケータに限定されず、その特定の実施形態に限定されるものとして本明細書に明示的に記載されない限り、任意の及び全てのアプリケータに関連すると理解されるべきである。
特定の入力及び出力デバイス並びにアプリケータデバイスを有する、本発明のシステム及び方法が、本明細書で説明されている。そのような入力及び出力デバイスは、本方法を実行するために使用することができるデバイスの例に過ぎないことを理解されたい。他の好適な入力及び出力デバイスは、本発明の方法及びシステムと共に使用することができ、本明細書の開示は、任意のそのようなデバイスに関して限定するものとみなされるべきではないことが完全に想到される。加えて、本明細書に記載されるように、本発明の方法及び/又はシステムは、コンピューティングデバイスのための特定のソフトウェア及び実行可能な命令を含み得るか、又はそれを伴ってもよい。本発明の入力及び出力デバイスと同様に、任意の特定のソフトウェア又はコンピュータ命令の開示は、異なるソフトウェア及びコンピュータ命令が同じ又は著しく同じ結果をもたらすことができると完全に期待されるように、特定の言語又はフォーマットに関して限定されるべきではない。したがって、本発明は、必要な入力、計算、変換、及び出力を提供するための方法及びプロセスにおいて使用されるデバイスを有効にする、全ての好適なソフトウェア、コード、及びコンピュータ実行可能命令を包含すると考えられるべきである。最後に、図に示され本明細書に記載される特定のグラフィックは、特許請求される発明の方法及びプロセスに好適なグラフィックの単なる例である。任意の特定の使用のための特定のグラフィックが、所望の使用のために作成、選択、及び/又はカスタマイズされることが完全に想到される。
本発明では、方法のステップの一部又は全てが1つのデバイスによって行われても、又はアプリケータ以外の2つ以上のデバイスによって行われてもよい。同様に、システムのユニットの一部又は全てが1つのデバイス内に配置されても、又は必要な接続を有しながらアプリケータ以外に別個に配置されてもよい。また、いくつかのユニットを1つのユニットに統合してもよい。本発明では、1つのアプリケータ及び1つのデバイスを使用することが好ましい。
本明細書で使用されるそのようなデバイスは、例えば、コンピュータ;携帯電話又はモバイルタブレットコンピュータなどのモバイルコンピュータ;あるいは、カメラ;表示のための手段;及びアプリケータとの通信/接続のための手段、のうちの少なくとも1つ並びに欠けている機能のための他のデバイスとの接続を有する、任意の他のデバイスである。
図1A~図1Iは、本発明のシステム及び方法の簡略フローチャートを形成する。具体的には、フローチャートは、フェイシャルスキンケアアプリケータなどのスキンケアアプリケータの使用説明書とのコンプライアンスを改善する方法/システムに含まれるステップ/ユニットを示す。示されるステップ/ユニットは、本方法/システムのステップ/ユニットの一般的な流れを示すことを意図している。しかしながら、ステップ/ユニットの順序は重要ではなく、示されるステップ/ユニットのいずれかの前、それらの間、又は後に、追加のステップ/ユニットを本方法/システムにおいて含めることができることを理解されたい。加えて、図1A~図1Iに示されるステップ/ユニットは、一部又は全てが本発明の実施形態で使用され得ることを例示しているが、全ての実施形態において、示される特定のステップ/ユニットのいずれか又は全てが必要とされるものではなく、いくつかのステップ/ユニットが組み合わされ、2つ以上のステップ/ユニットに分離され、及び/又は変更されても、依然として本発明内であるとみなされ得ることが企図される。図1A~図1Iによって表されるステップ/ユニットの説明は、参照目的のために、図2A~図2Dに数値的に図示及びコールアウトされる特徴を指す。
図1Aは、適用表面を検出するステップ/ユニットを表す。本明細書で使用するとき、「適用表面」は、アプリケータが適用される表面又は表面の一部分を指す。例えば、図2Aに示すように、適用表面100は、顔、顔の一部分、又は身体の他の部分などの、ユーザの皮膚の一部分であり得る。適用表面100は、例えば、図2A~図2Dに示すカメラ120などの画像入力デバイス110(システムにおいては「適用表面検出ユニット」と呼ばれる)によって検出される。画像入力デバイス110は、ユーザの顔などの適用表面100のリアルタイム画像を検出し、更なる処理のために、例えば携帯電話などのコンピューティングデバイス130に接続する。コンピューティングデバイス130は、画像を検出、表示、及び/又は変換することを可能にするソフトウェア、コード、又はその他の命令を含むか、又はそれらを実行可能である。本発明のシステムでは、このユニットは、少なくとも、適用表面を表示するためのユニットに直接的又は間接的に接続することができる。
図1Bは、適用表面100の1つ以上の所定の特徴部特性140を検出するための任意のステップ/ユニットを表す。例えば、コンピューティングデバイス130は、適用表面100がユーザの顔である場合、ユーザの唇、鼻、目、及び眉を検出し得る。このステップ/ユニットにより、コンピューティングデバイス130は、適用表面100の位置、並びに特徴部を「追跡」するために、かつ/又は出力グラフィックがどのように表示され得るか及び/若しくはどこに表示され得るかを特定するために使用され得る異なる所定の特徴部140の相対位置を決定することが可能になる。本発明のシステムでは、このユニットは、少なくとも、適用表面を表示するためのユニットに直接的又は間接的に接続することができる。
図1Cは、適用表面100及び任意の所定の特徴部特性140のx座標、y座標及びz座標を生成するための任意のステップ/ユニットを表す。このステップ/ユニットにより、コンピューティングデバイス130は、異なる所定の特徴部140の相対位置を決定することが可能になり、並びに出力グラフィックがどのように表示されるべきか及び/又はどこに表示されるべきかを特定するために、適用表面100及び/又は所定の特徴部を「追跡」するために使用することができる。本発明のシステムでは、このユニットは、少なくとも、適用表面を表示するためのユニットに直接的又は間接的に接続することができる。
図1Dは、適用表面内の対象領域を検出するステップ/ユニットを表す。対象領域は、好ましくは顔の皮膚であり、より好ましくは、アプリケータ動作を必要とすると評価される顔の皮膚の特定の領域である。対象領域が顔の皮膚の特定の領域である場合、そのような対象領域には、典型的には、例えば、しわ、傷、小じわ、毛穴、斑点、くすみ、及び/又は落屑のうちの1つの状態が存在する。本発明のシステムでは、このユニットは、少なくとも、適用表面を表示するためのユニット、及び/又は対象領域を示すグラフィックを作成するためのユニットに、直接的又は間接的に接続することができる。
図1Eは、対象領域を示すグラフィックを作成するステップ/ユニットを表す。グラフィックは、例えば、対象領域上の色付きのグラフィックであり、並びに/あるいは、対象領域の外側又は適用表面の外側を示す表示によって対象領域を示すためのポインタである。グラフィックの作成は、1つ以上の種類のグラフィックの作成を含むことができ、1つ以上の種類のグラフィックはそれぞれ、対象領域の1つ以上の状態に関するものである。本発明のシステムでは、このユニットは、少なくとも、適用表面と対象領域を示すグラフィックとを表示するためのユニットに、直接的又は間接的に接続することができる。
任意選択的に、上記のグラフィックと一緒に、対象領域の状態を表示することができる。本発明の方法/システムは、任意選択的に、対象領域のこのような状態を表示するステップ/ユニットを含む。対象領域の状態の表示は、ある特定の状態のレベルの表示、特定の状態の種類の表示のうちの少なくとも1つを含む。状態の種類の表示は、グラフィックの特定の色(例えば、しわは赤、傷は黄色など)、グラフィック上の記述(例えば、しわ、傷など)又はグラフィックの外側からグラフィックを示す記述によって表現することができる。状態のレベルの表示は、例えば、グラフィックの色の濃さ(例えば、深いしわは深紅色、中程度のしわは中程度の赤色、わずかなしわは淡紅色など)、多数の星形、スコアバー、グラフィック上の記述、又はグラフィックの外側からグラフィックを示す記述によって表現することができる。本発明のシステムでは、このユニットは、少なくとも、適用表面と対象領域を示すグラフィックとを表示するためのユニット、及び/又は対象領域を検出するためのユニットに、直接的又は間接的に接続することができる。
図1Fは、適用表面と対象領域を示すグラフィックとをリアルタイムでユーザに表示するステップ/ユニットを表す。図2Aは、モバイルデバイス上に表示された適用表面100の例を示す。本発明の方法及びシステムは、適用表面100をリアルタイムで表示し、適用表面100は、アプリケータ動作全体にわたって連続的に、又はほぼ連続的に表示される。本発明の方法及びシステムは、対象領域160を示すグラフィック170も表示する。グラフィック170と対象領域160とのリアルタイムでの位置合わせ、及びアプリケータ動作の進捗及び完了の通知は、例えば、ユーザがアプリケータの正しい位置及びアプリケータ動作の正しい持続時間などの正しい方法でアプリケータを使用することを視覚的に理解し、及び/又は、ユーザがアプリケータの効果を視覚的に知覚する拡張現実体験をユーザに提供する。拡張現実を特に効果的とするためには、対象領域を示すグラフィック170は、対象領域がアプリケータ動作中に移動しても対象領域を追跡できる必要がある。
図2A~図2Dに示される人は、携帯電話又はタブレットコンピュータなどのモバイルデバイス上に表示され得る人を表す。そのようなモバイルデバイスは、任意の1つ以上の好適なディスプレイ、又は限定するものではないが、モニタ、モバイルコンピューティングデバイス、テレビスクリーン、投影画像、ホログラフィック画像、ミラー、スマートミラー、所望の用途のための任意の好適なサイズの任意の他の表示デバイス、及びこれらの組み合わせが挙げられる、ユーザによって見ることができる任意の好適な方法で置き換えることができる。
対象領域160は、アプリケータが適用される適用表面100の部分である。例えば、図2A~図2Dに示されるように、対象領域160は、ユーザの顔の頬部分である。対象領域を示すグラフィック170が、図2B及び図2Cに示されている。
図1Gは、アプリケータ150の位置を検出するステップ/ユニットを表す。これは、アプリケータ150の対象領域160への位置合わせを確認するため、アプリケータをどこに配置すべきかをユーザに案内するため、及び/又は任意の他の目的のためであり得る。アプリケータの位置は、例えば、アプリケータ内のジャイロスコープの使用、所定の/予め記録されたアプリケータ形状及び/又はアプリケータ上のマーカに基づく画像分析、並びに機械学習などの任意の手段によって検出することができる。任意選択的に、このステップ/ユニット又は別のステップ/ユニットは、図2B~図2Dに示されるように、アプリケータ150をリアルタイムで表示することができる。対象領域が顔の皮膚の特定の領域である場合、アプリケータは、典型的には、以下の目的及び/又は機構のうちの少なくとも1つに基づいて選択することができる:顔用マスク及び/又はアイマスク型アプリケータを含むがこれらに限定されない消費者製品の適用;消費者製品の塗布;マッサージ;ダーマブレージョン;超音波;加熱;冷却;光;紫外線;レーザ;赤外線;脱毛;剥離;除毛;及び振動。本発明のシステムでは、このユニットは、少なくとも、対象領域上のアプリケータの動作を検出するためのユニットに、直接的又は間接的に接続することができる。
図1Hは、対象領域160上のアプリケータ150の動作を検出するステップ/ユニットを表す。本明細書で説明されるアプリケータ動作は、ユーザがアプリケータを対象領域160に適切に適用するために従うべき所定の動作である。アプリケータ動作は、典型的には、本方法を開始する前に、コンピューティングデバイス130に事前にプログラムされ、かつ利用可能であり、及び/又は記憶されているであろう。しかしながら、アプリケータ動作は、コンピューティングデバイス130によってリアルタイムで生成され、かつ/又はその動作が実行される前又は実行中にコンピューティングデバイス130に提供され得ることが想到される。加えて、コンピューティングデバイス130は、対象領域の異なる種類の状態に使用することができる2つ以上の異なる適用動作を含むか、又は取得することができる。本発明のシステムでは、このユニットは、少なくとも、アプリケータ動作の進捗及び/又は完了を通知するためのユニットに、直接的又は間接的に接続することができる。
任意選択的に、この検出ステップ/ユニット又は別のステップ/ユニットは、対象領域の状態に応じてアプリケータの動作を自動的に変更するようにアプリケータを制御することができる。本発明の方法/システムは、対象領域の状態に応じてアプリケータの動作を自動的に変化させるようにアプリケータを制御するステップ/ユニットを任意選択的に含む。この制御は、所定のアプリケータ動作に基づいて行うことができ、所定のアプリケータ動作は、動作の種類(例えば、振動、加熱/冷却、及び/又は紫外線、レーザ、若しくは赤外線の放射など)、動作持続時間、動作強度、位置合わせ精度、アプリケータの移動速度のうちの1つ以上に関連する。本発明のシステムでは、このユニットは、少なくとも、アプリケータ動作の進捗及び/又は完了を通知するためのユニットに、直接的又は間接的に接続することができる。
図1Iは、アプリケータ動作の進捗及び/又は完了を通知するステップ/ユニットを表す。通知は、例えば、表示及び/又は告知、より詳細には、アプリケータ動作の進捗の視覚的表示、アプリケータ動作の完了の視覚的表示、アプリケータ動作の進捗の音声告知、アプリケータ動作の完了の音声告知のうちの少なくとも1つによって行うことができる。このような視覚的表示は、例えば、対象領域を示すためのグラフィックの色彩変化、星が飛ぶなどのダイナミックな動き、星の数の変化及びスコアバーの変化などの定量化された視覚的表示などを含むことができる。
本発明では、対象領域を示すグラフィックの色彩変化と一致したアプリケータ動作の進捗及び完了の視覚的表示が好ましい。例えば、グラフィックの色の濃さは、アプリケータ動作の進捗に従って薄くなり、やがてアプリケータ動作が完了すると透明になる(消失する)。図2Cは、対象領域160上の色付きのグラフィック170の約半分がアプリケータ動作の途中で消失することを示し、図2Dは、対象領域160上の色付きのグラフィック170が完全に消失し、アプリケータ動作の完了を通知することを示す。
図2A~図2Dは、ユーザがアプリケータ150の使用方法を指示される本発明の一例を示す。図2Aは、適用表面100、この場合はユーザの顔と対象領域160とが、携帯電話などのモバイルコンピューティングデバイス上にどのように表示され得るかを示す。図2Bは、アプリケータ150及び対象領域160を示すグラフィック170が、適用表面100の表示と組み合わせて、どのようにデバイス上に表示され得るかを示す。図2C及び図2Dは、グラフィック170がどのように変化してアプリケータ動作の進捗及び完了を表示するかを示す。
以下に示すように、どのようにアプリケータを使用するべきかを指示するための、適用表面100、対象領域160、アプリケータ150及びアプリケータ動作の進捗及び/又は完了の通知の表示の特有な組み合わせが、使用説明書との大幅に改善されたコンプライアンスを提供するのみならず、アプリケータの改善された有効性及びアプリケータに対する改善された総合的な満足度も提供することが驚くべきことに判明した。
本明細書に開示される寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「40mm」と開示された寸法は、「約40mm」を意味することが意図される。
相互参照される又は関連する任意の特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本明細書に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全体が本明細書に組み込まれる。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとはみなされず、あるいはそれを単独で又は他の任意の参考文献(単数又は複数)と組み合わせたときに、そのようないかなる発明も教示、示唆又は開示するとはみなされない。更に、本文書における用語の任意の意味又は定義が、参照により組み込まれた文書内の同じ用語の任意の意味又は定義と矛盾する場合、本文書においてその用語に与えられた意味又は定義が適用されるものとする。
本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な他の変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内にある全てのそのような変更及び修正を添付の特許請求の範囲に網羅することが意図されている。

Claims (26)

  1. アプリケータの使用をユーザに案内するための方法であって、
    (a)適用表面を検出するステップと、
    (b)前記適用表面内の対象領域を検出するステップと、
    (c)前記対象領域を示すグラフィックを作成するステップと、
    (d)前記適用表面と前記対象領域を示すグラフィックとを、リアルタイムでユーザに表示するステップと、
    (e)アプリケータの位置を検出するステップと、
    (f)前記対象領域上の前記アプリケータの動作を検出するステップと、
    (g)前記アプリケータ動作の進捗及び/又は完了を通知するステップと、
    を含むことを特徴とする方法。
  2. 前記アプリケータ動作の前記進捗及び/又は前記完了を通知するステップは、前記アプリケータ動作の前記進捗の視覚的表示、前記アプリケータ動作の前記完了の視覚的表示、前記アプリケータ動作の前記進捗の音声告知、前記アプリケータ動作の前記完了の音声告知、のうちの少なくとも1つを含むことを特徴とする請求項1に記載の方法。
  3. 前記進捗及び/又は前記アプリケータ動作の前記完了を通知するステップは、前記対象領域を示す前記グラフィックの色彩変化と一致した前記アプリケータ動作の前記進捗及び/又は前記完了の視覚的表示を含むことを特徴とする請求項1又は2に記載の方法。
  4. 前記グラフィックを作成する前記ステップは、1つ以上の種類のグラフィックの作成を含み、1つ以上の種類の前記グラフィックはそれぞれ、前記対象領域の1つ以上の状態に関するものであることを特徴とする請求項1ないし3のいずれか1つに記載の方法。
  5. 前記対象領域の状態を表示するステップを更に含むことを特徴とする請求項1ないし4のいずれか1つに記載の方法。
  6. 前記対象領域の前記状態の前記表示は、ある特定の状態のレベルの表示、状態の種類の表示、のうちの少なくとも1つを含むことを特徴とする請求項1ないし5のいずれか1つに記載の方法。
  7. 前記アプリケータの前記動作を前記対象領域の前記状態に応じて自動的に変化させるように前記アプリケータを制御するステップを更に含むことを特徴とする請求項1ないし6のいずれか1つに記載の方法。
  8. 前記適用表面上の所定の特徴部を検出するステップを更に含むことを特徴とする請求項1ないし7のいずれか1つに記載の方法。
  9. 前記適用表面並びに/又は所定の特徴部のx座標、y座標、及びz座標を生成するステップを更に含むことを特徴とする請求項1ないし8のいずれか1つに記載の方法。
  10. 前記ステップは、
    コンピュータと、携帯電話と、モバイルタブレットコンピュータと、並びに、カメラ、表示のための手段、前記アプリケータとの通信/接続のための手段、のうちの少なくとも1つ及び欠けている機能のための他のデバイスとの接続を有する任意の他のデバイスと、
    から選択されるデバイスを使用して実行されることを特徴とする請求項1ないし9のいずれか1つに記載の方法。
  11. 前記アプリケータ動作は、ヘアケア、ボディケア、フェイシャルスキンケア、シェービングケア、ヘルスケア、及び口腔ケアのうちの少なくとも1つであるパーソナルケアのために実行されることを特徴とする請求項1ないし10のいずれか1つに記載の方法。
  12. 前記適用表面は人の顔であることを特徴とする請求項1ないし11のいずれか1つに記載の方法。
  13. 前記対象領域は、顔の皮膚であって、より好ましくは、前記アプリケータ動作を必要とすると評価される顔の皮膚の特定の領域であることを特徴とする請求項1ないし12のいずれか1つに記載の方法。
  14. アプリケータを使用するようにユーザに案内するためのシステムであって、
    (a)適用表面を検出するためのユニットと、
    (b)前記適用表面内の対象領域を検出するための、以下のユニットに接続するユニットと、
    (c)前記対象領域を示すグラフィックを作成するためのユニットと、
    (d)前記適用表面と前記対象領域を示す前記グラフィックとをユーザにリアルタイムで表示するための、少なくとも前記適用表面検出ユニットに接続するユニットと、
    (e)アプリケータの位置を検出するための、以下のユニットに接続するユニットと、
    (f)前記対象領域上の前記アプリケータの動作を検出するための、以下のユニットに接続するユニットと、
    (g)前記アプリケータ動作の進捗及び/又は完了を通知するためのユニットと、
    を含むことを特徴とするシステム。
  15. 前記アプリケータ動作の前記進捗及び/又は前記完了の前記通知は、前記アプリケータ動作の前記進捗の視覚的表示、前記アプリケータ動作の前記完了の視覚的表示、前記アプリケータ動作の前記進捗の音声告知、前記アプリケータ動作の前記完了の音声告知、のうちの少なくとも1つを含むことを特徴とする請求項14に記載のシステム。
  16. 前記進捗及び/又は前記アプリケータ動作の前記完了の前記通知は、前記対象領域を示す前記グラフィックの色彩変化と一致した前記アプリケータ動作の前記進捗及び前記完了の視覚的表示を含むことを特徴とする請求項14又は15に記載のシステム。
  17. 前記グラフィックの前記作成は、1つ以上の種類のグラフィックの作成を含み、1つ以上の種類の前記グラフィックはそれぞれ、前記対象領域の1つ以上の状態に関するものであることを特徴とする請求項14ないし16のいずれか1つに記載のシステム。
  18. 前記対象領域の状態を表示するためのユニットを更に含むことを特徴とする請求項14ないし17のいずれか1つに記載のシステム。
  19. 前記対象領域の前記状態の前記表示は、ある特定の状態のレベルの表示、状態の種類の表示、のうちの少なくとも1つを含むことを特徴とする請求項14ないし18のいずれか1つに記載のシステム。
  20. 前記アプリケータの前記動作を前記対象領域の前記状態に応じて自動的に変化させるように前記アプリケータを制御するためのユニットを更に含むことを特徴とする請求項14ないし19のいずれか1つに記載のシステム。
  21. 前記適用表面上の所定の特徴部を検出するためのユニットを更に含むことを特徴とする請求項14ないし20のいずれか1つに記載のシステム。
  22. 前記適用表面並びに/又は所定の特徴部のx座標、y座標、及びz座標を生成するためのユニットを更に含むことを特徴とする請求項14ないし21のいずれか1つに記載のシステム。
  23. 前記ステップは、
    コンピュータと、携帯電話と、モバイルタブレットコンピュータと、並びに、カメラ、表示のための手段、前記アプリケータとの通信/接続のための手段、のうちの少なくとも1つ及び欠けている機能のための他のデバイスとの接続を有する任意の他のデバイスと、
    から選択されるデバイスを使用して実行されることを特徴とする請求項14ないし22のいずれか1つに記載のシステム。
  24. 前記アプリケータ動作は、ヘアケア、ボディケア、フェイシャルスキンケア、シェービングケア、ヘルスケア、及び口腔ケアのうちの少なくとも1つであるパーソナルケアのために実行されることを特徴とする請求項14ないし23のいずれか1つに記載のシステム。
  25. 前記適用表面は人の顔であることを特徴とする請求項14ないし24のいずれか1つに記載のシステム。
  26. 前記対象領域は、顔の皮膚であって、より好ましくは、前記アプリケータ動作を必要とすると評価される顔の皮膚の特定の領域であることを特徴とする請求項14ないし25のいずれか1つに記載のシステム。
JP2021538779A 2019-01-04 2019-12-19 アプリケータの使用をユーザに案内するための方法及びシステム Active JP7457027B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962788193P 2019-01-04 2019-01-04
US62/788,193 2019-01-04
PCT/US2019/067502 WO2020142238A1 (en) 2019-01-04 2019-12-19 Method and system for guiding a user to use an applicator

Publications (2)

Publication Number Publication Date
JP2022516287A true JP2022516287A (ja) 2022-02-25
JP7457027B2 JP7457027B2 (ja) 2024-03-27

Family

ID=69400619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538779A Active JP7457027B2 (ja) 2019-01-04 2019-12-19 アプリケータの使用をユーザに案内するための方法及びシステム

Country Status (6)

Country Link
US (1) US20200214428A1 (ja)
EP (1) EP3906561A1 (ja)
JP (1) JP7457027B2 (ja)
KR (1) KR20210095178A (ja)
CN (1) CN113168896A (ja)
WO (1) WO2020142238A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10952519B1 (en) * 2020-07-16 2021-03-23 Elyse Enterprises LLC Virtual hub for three-step process for mimicking plastic surgery results
US20220284827A1 (en) * 2021-03-02 2022-09-08 Regina M. GARCIA Systems and methods for generating individualized cosmetic programs utilizing intelligent feedback
WO2023038136A1 (ja) * 2021-09-13 2023-03-16 ヤーマン株式会社 情報処理装置、プログラム及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2014124476A (ja) * 2012-12-27 2014-07-07 Hitachi Maxell Ltd 美容システム
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックIpマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
US20180033205A1 (en) * 2016-08-01 2018-02-01 Lg Electronics Inc. Mobile terminal and operating method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9610037B2 (en) * 2013-11-27 2017-04-04 Elwha Llc Systems and devices for profiling microbiota of skin
CA3152747A1 (en) * 2013-12-04 2015-06-11 Becton, Dickinson And Company Systems, apparatuses and methods to encourage injection site rotation and prevent lipodystrophy from repeated injections to a body area
WO2016054164A1 (en) * 2014-09-30 2016-04-07 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
KR20160142742A (ko) * 2015-06-03 2016-12-13 삼성전자주식회사 메이크업 거울을 제공하는 디바이스 및 방법
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
CN109064438A (zh) * 2017-06-09 2018-12-21 丽宝大数据股份有限公司 皮肤状态检测方法、电子装置与皮肤状态检测系统
CN107239671A (zh) * 2017-06-27 2017-10-10 京东方科技集团股份有限公司 一种皮肤状态的管理方法、装置和系统
US10297088B2 (en) * 2017-09-26 2019-05-21 Adobe Inc. Generating accurate augmented reality objects in relation to a real-world surface via a digital writing device
US10943394B2 (en) * 2018-09-21 2021-03-09 L'oreal System that generates a three-dimensional beauty assessment that includes region specific sensor data and recommended courses of action

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2014124476A (ja) * 2012-12-27 2014-07-07 Hitachi Maxell Ltd 美容システム
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックIpマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
US20180033205A1 (en) * 2016-08-01 2018-02-01 Lg Electronics Inc. Mobile terminal and operating method thereof

Also Published As

Publication number Publication date
EP3906561A1 (en) 2021-11-10
CN113168896A (zh) 2021-07-23
JP7457027B2 (ja) 2024-03-27
WO2020142238A1 (en) 2020-07-09
US20200214428A1 (en) 2020-07-09
KR20210095178A (ko) 2021-07-30

Similar Documents

Publication Publication Date Title
JP2022516287A (ja) アプリケータの使用をユーザに案内するための方法及びシステム
Ruhland et al. A review of eye gaze in virtual agents, social robotics and hci: Behaviour generation, user interaction and perception
Nusseck et al. The contribution of different facial regions to the recognition of conversational expressions
Cunningham et al. The components of conversational facial expressions
de Melo et al. Expression of emotions using wrinkles, blushing, sweating and tears
Cunningham et al. Manipulating video sequences to determine the components of conversational facial expressions
Hyde et al. Evaluating animated characters: Facial motion magnitude influences personality perceptions
CN113761796B (zh) 基于虚拟现实的心脏出血与止血模型的仿真系统和方法
Mollahosseini et al. Expressionbot: An emotive lifelike robotic face for face-to-face communication
CN116710181A (zh) 用于相对于用户身体更新设备的显示器的系统、方法和图形用户界面
JP2009053981A (ja) 化粧シミュレーション装置
Serrano et al. An empirical evaluation of two natural hand interaction systems in augmented reality
JP6710095B2 (ja) 技術支援装置、方法、プログラムおよびシステム
Wallraven et al. Psychophysical evaluation of animated facial expressions
Monica et al. Improving virtual reality navigation tasks using a haptic vest and upper body tracking
Khenak et al. Effectiveness of augmented reality guides for blind insertion tasks
EP3785251A1 (en) Method and system for improving user compliance for surface-applied products
De Almeida et al. Interactive makeup tutorial using face tracking and augmented reality on mobile devices
JP7262763B2 (ja) リハビリ支援装置、及びプログラム
JP6583754B2 (ja) 情報処理装置、ミラーデバイス、プログラム
Patel Colouration issues in computer generated facial animation
JP3673719B2 (ja) 擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体
KR20200080577A (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
EP4177831A1 (en) Assisting a person to perform a personal care activity
WO2024034537A1 (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230404

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230412

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230418

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240314

R150 Certificate of patent or registration of utility model

Ref document number: 7457027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150