JP2019063480A - 拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法 - Google Patents

拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法 Download PDF

Info

Publication number
JP2019063480A
JP2019063480A JP2018007219A JP2018007219A JP2019063480A JP 2019063480 A JP2019063480 A JP 2019063480A JP 2018007219 A JP2018007219 A JP 2018007219A JP 2018007219 A JP2018007219 A JP 2018007219A JP 2019063480 A JP2019063480 A JP 2019063480A
Authority
JP
Japan
Prior art keywords
eyebrow
image
feature points
model
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018007219A
Other languages
English (en)
Other versions
JP6803348B2 (ja
Inventor
沈軾榮
Shyh-Yong Shen
季敏▲ちょう▼
Min-Chang Chi
呉孝宗
xiao zong Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cal Comp Big Data Inc
Original Assignee
Cal Comp Big Data Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cal Comp Big Data Inc filed Critical Cal Comp Big Data Inc
Publication of JP2019063480A publication Critical patent/JP2019063480A/ja
Application granted granted Critical
Publication of JP6803348B2 publication Critical patent/JP6803348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62BDEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B35/00Safety belts or body harnesses; Similar equipment for limiting displacement of the human body, especially in case of sudden changes of motion
    • A62B35/0006Harnesses; Accessories therefor
    • A62B35/0012Sit harnesses
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41FGARMENT FASTENINGS; SUSPENDERS
    • A41F1/00Fastening devices specially adapted for garments
    • A41F1/02Buttonholes; Eyelets for buttonholes
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41FGARMENT FASTENINGS; SUSPENDERS
    • A41F3/00Braces
    • A41F3/04Means for joining the strips, tongues, or the like, to the body of the braces
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41FGARMENT FASTENINGS; SUSPENDERS
    • A41F9/00Belts, girdles, or waistbands for trousers or skirts
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62BDEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B35/00Safety belts or body harnesses; Similar equipment for limiting displacement of the human body, especially in case of sudden changes of motion
    • A62B35/0006Harnesses; Accessories therefor
    • A62B35/0025Details and accessories
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04GSCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
    • E04G21/00Preparing, conveying, or working-up building materials or building elements in situ; Other devices or measures for constructional work
    • E04G21/32Safety or protective measures for persons during the construction of buildings
    • E04G21/3204Safety or protective measures for persons during the construction of buildings against falling down
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Textile Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Public Health (AREA)
  • Tourism & Hospitality (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】本発明は、拡張現実技術を使用し、使用者が適切な眉型を選択して迅速に眉補正を行うことを補助できる、拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法を提供する。【解決手段】本発明は拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法を開示し、ここで眉型プレビュー方法は、顔部イメージを取得するステップと、顔部イメージにおいて眼部イメージを識別するステップと、眼部イメージの位置および眉毛偏移量に基づき投影位置を算出するステップと、プレビューモードで顔部イメージを表示し、かつ投影位置に手本眉毛イメージを表示するステップと、補助モードで顔部イメージを表示し、かつ投影位置に手本眉毛イメージに対応する眉型輪郭パターンを表示するステップと、を含む。本発明は使用者が眉補正後の眉型に不満を持つことを効果的に防ぐことができ、眉補正の技術的難易度を大幅に下げ、かつ眉補正の成功確率を高めることができる。【選択図】図6

Description

本発明は、装置および方法に関し、特に拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法に関する。
眉補正は技術的難易度が極めて高い化粧項目の1つである。眉補正が成功すれば、顔の形が人に与える印象を変え、ひいては人に与える外観のイメージを高めることができる。
通常、使用者は鏡の前に座って眉補正を行い、またはスマートフォンのカメラおよびスクリーンを鏡の代わりにして眉補正を行う。
しかしながら、使用者が眉補正を行う前には、往々にして補正したい眉型が自身の顔型に適しているか否かを何の根拠もなく想像するしかない。しかも、眉補正を行うとき、想像のみによって眉補正を行うしかない。従って、経験不足の使用者は往々にして、眉補正が終わってから初めて、眉型が自身の顔型に適していないことがわかる。しかも、補正技術が高くない使用者は眉補正速度が過度に遅く、または補正後の眉型が想像と違うという悩みを持つのが普通である。
これに鑑み、現在、経験不足、または眉補正技術が高くない使用者が適切な眉型を選択して迅速に眉補正を行うことを効果的に補助することができる補助装置が極めて必要とされている。
本発明は、拡張現実技術を使用し、使用者が適切な眉型を選択して迅速に眉補正を行うことを補助できる、拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法を提供する。
実施例において、拡張現実を結合した眉型プレビュー方法は、身体情報分析装置に応用され、身体情報分析装置のイメージ取得モジュールが顔部イメージを取得するよう制御するステップと、身体情報分析装置の処理ユニットが顔部イメージにおいて眼部イメージを取得するよう制御するステップと、処理ユニットが眼部イメージの位置および眉毛偏移量に基づき投影位置を算出するステップと、プレビューモードで投影位置に基づき顔部イメージと手本眉毛イメージを合成することで合成イメージを生成し、かつ身体情報分析装置の表示モジュールが合成イメージを表示するよう制御するステップと、補助モードで表示モジュールが顔部イメージを表示し、かつ投影位置に手本眉毛イメージに対応する眉型輪郭パターンを表示するよう制御するステップと、を含む。
実施例において、拡張現実を結合した身体情報分析装置は、イメージ取得モジュールと、イメージ取得モジュールに電気的に接続された処理ユニットと、表示モジュールと、を含む。イメージ取得モジュールは、顔部イメージを取得することに用いられる。処理ユニットは、顔部イメージにおいて眼部イメージを取得し、かつ眼部イメージの位置および眉毛偏移量に基づき投影位置を算出する。表示モジュールはプレビューモードで合成イメージを表示し、ここで合成イメージは、処理ユニットにより投影位置に基づき顔部イメージと手本眉毛イメージを合成することで生成される。かつ、表示モジュールは、補助モードで顔部イメージを表示し、かつ投影位置に手本眉毛イメージに対応する眉型輪郭パターンを表示する。
本発明は、プレビューモードにより使用者が眉補正結果をプレビューできるようにし、使用者が眉補正後の眉型に不満を持つことを効果的に防ぐことができる。かつ、本発明は、補助モードにより使用者が直観的かつ正確に眉補正ができるようにし、眉補正の技術的難易度を大幅に下げ、かつ眉補正の成功確率を高めることができる。
本発明の第1の実施例のシステムのフレームチャートである。 本発明の身体情報分析装置の第1概略図である。 本発明の身体情報分析装置の第2概略図である。 本発明の第1の実施例の身体情報分析装置のフレームチャートである。 本発明の第1の実施例の処理ユニットの概略図である。 本発明の第1の実施例の眉型プレビュー方法のフローチャートである。 本発明の第2の実施例の眉型プレビュー方法の第1部分フローチャートである。 本発明の第2の実施例の眉型プレビュー方法の第2部分フローチャートである。 本発明の第3の実施例の眉型プレビュー方法のフローチャートである。 顔部分析の概略図である。 オリジナル顔部イメージの概略図である。 本発明のプレビューモードの表示画面の概略図である。 本発明の補助モードの表示画面の概略図である。 本発明の投影位置算出の第1概略図である。 本発明の投影位置算出の第2概略図である。 本発明の投影位置算出の第3概略図である。 本発明の特徴分析の第1概略図である。 本発明の特徴分析の第2概略図である。 本発明の調整前の投影位置の概略図である。 本発明の調整後の投影位置の概略図である。 本発明の調整前の眉型の概略図である。 本発明の調整後の眉型の概略図である。
以下に図面および具体的実施例を踏まえて、本発明の技術方案を詳細に説明することで本発明の目的、方案、および効果をさらに明確に理解するようにするが、本発明に付属される特許請求の範囲の保護範囲の制限となるわけではない。
本発明は身体情報分析装置1(以下、分析装置1という)を開示し、分析装置1は主に眉型プレビュー方法(以下、プレビュー方法という)を実行するために用いられ、使用者が各種眉型の視覚的感覚を簡単にプレビューできるようにし、かつ現在の眉型と特定眉型との間の差異を対比することで、使用者が適切な眉型を選択して眉補正を行うことを補助する。
図1を参照されたい。本発明の第1の実施例のシステムのフレームチャートである。図1の実施例において、使用者は電子装置2を操作して分析装置1に設定を行うことができる。
具体的には、電子装置2のメモリ(図示せず)にはソフトウェア21がインストールされている。ソフトウェア21は分析装置1と接続を確立するために用いられる(例えば、分析装置1のメーカーにより開発され、提供されたアプリケーションプログラム)。かつ、使用者はソフトウェア21を操作して分析装置1に各種の設定動作(例えば、使用者のデータを入力する、使用者の顔部イメージを登録する、および/または各種プリセット値を設定するなど)を行うことができる。
実施例において、使用者はまた、分析装置1の入力インターフェース(例えば図4に示す入力インターフェース15)を直接操作して各種設定動作を行うことができる。
実施例において、分析装置1の無線伝送モジュール16はWi−Fi通信技術、ブルートゥース(登録商標)通信技術、Zigbee通信技術、無線周波数(RF)通信技術、赤外線通信技術、光通信技術、音声通信技術、および/またはその他無線通信技術を介して電子装置2とデータ伝送を行うことができる。
実施例において、分析装置1は所在エリアにおける無線ルータ3に接続することで、無線ルータ3によりインターネット4に接続することができる。これにより、分析装置1は、インターネット4経由でファームウェアの更新、データのアップロードとダウンロードなどの動作を行うことができる。かつ、分析装置1はさらに、インターネット4経由で使用者の身体情報(例えば後述の顔部イメージ、眉毛イメージ、眼部イメージ、および/または眉型輪郭パターンなど)を遠隔のコンピュータデバイス(図示せず)へ伝送することで、使用者に遠隔で確認させ、またはこれによりリモートバックアップという目的を実現するようにできる。
図2および図3を同時に参照されたい。図2は本発明の身体情報分析装置の第1概略図であり、図3は本発明の身体情報分析装置の第2概略図である。図2および図3の実施例の分析装置1は主に使用者の寝室またはメイクルームに設けられることで、使用者が身体情報(例えば、顔部、頸部、または手部)の検出と分析を行いやすくする。
分析装置1はミラースクリーン11を有する。分析装置1が起動する(図2に示す)とき、ミラースクリーン11を介してグラフィカルユーザーインターフェース(Graphical User Interface,GUI)を表示し、かつグラフィカルユーザーインターフェースにより使用者とインタラクションできる。また、分析装置1がオフになった(図3に示す)とき、ミラースクリーン11は単純なミラーとして使用されることで使用者の光学的ミラーイメージ5を反射できる。
本発明は主に分析装置1を介して使用者が化粧後の結果をプレビューできるようにし、かつ使用者が化粧動作(例えば、眉補正)を行うことを補助し、従って、ミラースクリーン11はグラフィカルユーザーインターフェースを表示するとともに、使用者の光学的なミラーイメージ5を反射できることで、使用者が化粧時に、使用者の化粧した顔を分析することに有利になるとともに補助を提供する(後ほど詳述)。
実施例において、分析装置1は、分析装置1に設けられ、かつ角度の調整を受け入れることができるイメージ取得モジュール12をさらに有する。実施例において、イメージ取得モジュール12は使用者を撮影することで高解像度イメージ(例えば、顔部イメージ、頸部イメージ、または手部イメージなど)を取得でき、分析装置1はイメージにより使用者の身体情報および化粧の進捗を分析できる。他の実施例において、イメージ取得モジュール12は外部の情報(例えば、一次元コード、二次元コードなど)を取得することで、情報の内容から対応するデータを取得できる。
かつ、分析装置1は、イメージ取得モジュール12により取得されたイメージをリアルタイムにミラースクリーン11に表示する。これにより、ミラースクリーン11がオフになっていなくても、使用者はリアルタイムにミラースクリーン11において自身の電子的ミラーイメージ5を確認できる。
さらに、分析装置1はまた、先ず、取得されたイメージにリアルタイム処理(例えば、使用者の選択した手本眉毛イメージを追加し、後述の眉型輪郭パターンなどのマークを追加し、または使用者の眉補正を補助するためのその他の指示図テキストを追加する)を行い、その後、処理後のイメージをミラースクリーン11に表示することができる。
これにより、分析装置1は拡張現実の方法(Augmented Reality,AR)によって、使用者が化粧をするときに、リアルタイムにかつ直観的にミラースクリーン11上に補助情報を提供でき、ユーザーエクスペリエンスを効果的に高めることができる(後ほど詳述)。
実施例において、ミラースクリーン11はタッチ制御式スクリーンでもよく、使用者はミラースクリーン11を介して分析装置1にデータの入力動作を行うことができる。
分析装置1はさらに、複数のボタン13を備えてもよい。本実施例において、複数のボタン13は実体ボタン(button)またはタッチキー(touch key)でもよいが、限定しない。
使用者は、ボタン13を触発することで上述のグラフィカルユーザーインターフェースを操作制御し(例えば、グラフィカルユーザーインターフェースがトップページへ戻る、前のページへ移動、または次のページへ移動などを制御するなど)、または分析装置1が対応する機能(例えば、ミラースクリーン11をオンにする、ミラースクリーン11をオフにする、イメージ取得モジュール12を起動するなど)を迅速に実行するようにできる。
分析装置1はさらに、1つまたは複数のセンサ14(例えば、温度センサ、湿度センサなど)を有してもよく、分析装置1の所在環境の環境データを検知し、これにより使用者の身体情報に対する分析装置1の検出と分析の正確率を高める。実施例において、センサ14はモーションセンサ(motion sensor)でもよく、分析装置1はモーションセンサにより使用者の移動ジェスチャー(例えば、左フリック、右フリック、上フリック、下フリック、前へ押す、または後ろへ引っ張るなど)を感知できる。このようにして、使用者はジェスチャーにより分析装置1にデータ入力動作を行うことができ、上述ミラースクリーン11またはボタン13に触れる必要がなく、これにより指紋が残ることを防げる。
引き続き図4を参照されたい。本発明の第1の実施例の身体情報分析装置のフレームチャートである。図4に示すように、分析装置1は主に処理ユニット10と、処理ユニット10に電気的に接続された表示モジュール111と、イメージ取得モジュール12と、入力インターフェース15と、無線伝送モジュール16と、メモリ17と、を含む。
実施例において、イメージ取得モジュール12はカメラまたはビデオであり、外部イメージ(例えば、使用者の顔部イメージ)と外部情報を取得することに用いられる。分析装置1は外部イメージを介して使用者を認識(例えば、眉毛認識、眼部認識、顔部認識、頸部認識、または手部認識など)することで、使用者の眉毛、眼部、顔部、頸部、または手部などの部位を分析し、または外部情報の内容を介して対応する動作を行うことができる。
表示モジュール111は、上述のグラフィカルユーザーインターフェースを表示することに用いられる。実施例において、表示モジュール111はミラースクリーン11の中に装着されている。表示モジュール111がイネーブルにされると、表示モジュール111の光源はミラースクリーン11の一方向ガラス(図示せず)を透過し、かつ使用者の眼に投射でき、使用者がミラースクリーン11でグラフィカルユーザーインターフェースを見られるようにする。
表示モジュール111がディゼーブルにされると、一方向ガラスの単一面光透過特性により、使用者はミラースクリーン11で自身の光学的ミラーイメージ5のみを見ることができる。実施例において、分析装置1はさらに表示モジュール111の光源強度または表示領域を調整することで、ミラースクリーン11が使用者の光学的ミラーイメージ5を反射するとともにグラフィカルユーザーインターフェースを表示できるようにする。
分析装置1は、入力インターフェース15を介して使用者の外部入力を受け入れ、これにより使用者はグラフィカルユーザーインターフェースとインタラクションを行うことができ、または必要な設定動作を行うことができる。実施例において、入力インターフェース15は上述のセンサ14であってよく、使用者のジェスチャー入力を検知することに用いられる。
他の実施例において、入力インターフェース15は上述のイメージ取得モジュール12であってよく、外部イメージまたは外部情報を取得することに用いられる。さらに他の実施例において、入力インターフェース15はタッチスクリーンまたはボタン13であってよく、使用者の入力動作を受け入れることに用いられる。さらに別の実施例において、入力インターフェース15はマイクであってよく、外部音声情報を受け入れることに用いられる。
無線伝送モジュール16はインターネット4へ接続することに用いられる。具体的には、使用者はインターネット4により遠隔から分析装置1へ接続することで分析装置1に記録された各種データ(例えば、身体情報)を随時確認できる。メモリ17は、データを記憶することに用いられる。
処理ユニット10は、表示モジュール111、イメージ取得モジュール12、入力インターフェース15、無線伝送モジュール16、およびメモリ17に接続され、かつメモリ17(例えば、非一時的記憶媒体)はコンピュータで実行可能なプログラムコード(図示せず)を記憶している。処理ユニット10は、前述のコンピュータで実行可能なプログラムコードの実行を介して、本発明のプレビュー方法をさらに実現できる。
図5を同時に参照されたい。本発明の第1の具体的実施例の処理ユニットの概略図である。具体的には、処理ユニット10は主に、上述コンピュータで実行可能なプログラムコードを介して本発明のプレビュー方法における各機能を実行し、かつ異なる機能に基づき、上述コンピュータで実行可能なプログラムコードを以下のいくつかの機能モジュールに分けることができる。
1.イメージ取得モジュール12により取得された外部イメージに顔部分析処理を行う顔部分析モジュール101。具体的には、顔部分析モジュール101は顔部イメージにおいて顔部各部位のイメージ(例えば、眉毛イメージ、眼イメージ、鼻イメージ、耳イメージ、または唇イメージなど)を識別できる。
実施例において、顔部分析モジュール101は顔部イメージに顔部分析処理を行うことで各部位のイメージの複数の特徴点(例えば図9に示す特徴点6)を識別でき、ここで各特徴点は使用者の顔部の特定部位の異なる特徴(例えば、眉毛の眉頭、眉尻、または眉山、鼻の鼻筋、鼻頭、または小鼻、眼部の眼頭、または眼尻)にそれぞれ対応する。
2.使用者の眼部と眉毛との間の眉毛偏移量を算出し、かつ眉毛偏移量に基づき、使用者の選択した手本眉毛イメージ、または上述特定部位の投影パターンの投影位置を算出するための算出モジュール102。
3.使用者の眉毛の眉型および選択された手本眉毛イメージの眉型に基づき調整パラメータ群を算出し、調整パラメータ群に基づき手本眉毛イメージのサイズ、角度、または位置を調整して、調整後の手本眉毛イメージが使用者の眉毛と高い相似度を持ち、さらに自然になるようにするための調整モジュール103。
4.上述投影パターンを描くための描画モジュール104。
5.複数枚のイメージを単一の合成イメージに合成するための合成モジュール105。
実施例において、顔部分析モジュール101は、顔部イメージにおいて各眉毛イメージの複数の眉毛特徴点を識別する。算出モジュール102は、眉毛偏移量を算出し、かつ眉毛偏移量に基づき投影位置を算出する。
調整モジュール103は、調整パラメータ群を算出し、かつ調整パラメータ群に基づき手本眉毛イメージを調整する。描画モジュール104は、(調整後の)手本眉毛イメージの複数の手本特徴点に基づき眉型輪郭パターンを描く(即ち、眉毛の輪郭または範囲の投影パターンを指示することに用いられる)。
合成モジュール105は、投影位置に基づき顔部イメージおよび手本眉毛イメージを合成して合成イメージを生成する。最後に、処理ユニット10は、プレビューモードで表示モジュール111が合成イメージを表示するよう制御し、かつ補助モードで表示モジュール111が顔部イメージと眉型輪郭パターンを同時に表示するよう制御する。
これにより、本発明はプレビューモードで、シミュレーションした眉毛補正効果を表示でき(即ち、手本眉毛イメージを表示する)、使用者が眉型選択の根拠とできるようにする。かつ、本発明は補助モードで眉型輪郭パターンを適切な位置に投影でき、使用者が化粧の根拠とできるようにする。
引き続き図6、および図9から12までを参照されたい。図6は本発明の第1の実施例の眉型プレビュー方法のフローチャートであり、図9は顔部分析の概略図であり、図10はオリジナル顔部イメージの概略図であり、図11は本発明のプレビューモードの表示画面の概略図であり、図12は本発明の補助モードの表示画面の概略図である。
本発明の分析装置1は、処理ユニット10を介して上述のコンピュータで実行可能なプログラムコード(例えば、上述各機能モジュール101〜105)を実行でき、ひいては本発明の各実施例のプレビュー方法の各ステップを実現する。
本発明のプレビュー方法は、プレビュー機能および眉型対比補助機能を実現するための以下のステップを含む。
ステップS100:分析装置1の処理ユニット10は、手本眉毛イメージ(例えば図11に示す手本眉毛イメージ81〜82)を取得し、かつこの手本眉毛イメージに対応する眉型輪郭パターン(例えば図12に示す眉型輪郭パターン71〜72)を取得する。
実施例において、分析装置1のメモリ17は、異なる複数の手本眉毛イメージを予め記憶し、かつ各手本眉毛イメージに対応する眉型輪郭パターンを記憶でき、ここで各手本眉毛イメージは異なる眉型にそれぞれ対応する。
処理ユニット10は、表示モジュール111または電子装置2により複数の手本眉毛イメージを表示でき、かつ、使用者は入力インターフェース15を操作して複数の手本眉毛イメージのうちの1つを選択する選択操作を入力し、または電子装置2を操作して複数の手本眉毛イメージのうちの1つを選択する選択指令を分析装置1へ送信することで、複数の手本眉毛イメージのうちの1つを任意に選択できる。最後に、処理ユニット10は、メモリ17から、使用者の選択した手本眉毛イメージおよび対応する眉型輪郭パターンを読み取る。
実施例において、メモリ17は各手本眉毛イメージに対応する眉型輪郭パターンを記憶していない。処理ユニット10は、特定の手本眉毛イメージが選択された後、リアルタイムにこの手本眉型イメージに対応する眉型輪郭パターンを算出する。これにより、メモリ17の記憶空間の使用量を効果的に減らすことができる。
ステップS102:処理ユニット10は、イメージ取得モジュール12が使用者の顔部を撮影することで、使用者の顔部イメージを取得するよう制御する(例えば図9に示す顔部イメージ51)。
実施例において、処理ユニット10は、表示モジュール111が取得された顔部イメージ51(例えば図10に示す表示画面52)を表示するようリアルタイムに制御することで電子ミラー効果を呈するようにできる。
具体的には、本発明における分析装置1は、選択的に先ずステップ100またはステップ102を実行でき(即ち、先ず使用者が手本眉毛イメージを選択するようにするか、または先ず使用者の顔部イメージを取得する)、上述に開示された順序に制限しない。
ステップ104:処理ユニット10は、取得された顔部イメージ51に顔部分析処理を実行することで、顔部イメージ51において眼部イメージを識別する。
実施例において、処理ユニット10は、顔部分析モジュール101により顔部イメージ51を分析することで顔部の複数の部位(例えば、顔の輪郭、眼、眉、鼻、唇、耳、および顔部のその他部位)のイメージを識別し、かつ眼部イメージを選択して後続の処理を行う。
実施例において、前述の顔部分析処理は、顔部ランドマーク(Face Landmark)アルゴリズムを介して顔部イメージ51を分析することで、顔部イメージ51における顔部の特定部位を位置決めするが、これに限定されない。さらに、前述の顔部ランドマークアルゴリズムは、Dlibライブラリー(Library)を使用して実現される。
引き続き図9を参照されたい。顔部分析処理を実行するとき、顔部分析モジュール101は、上述の顔部ランドマークアルゴリズムを介して顔部イメージ51を分析する。前述の顔部ランドマークアルゴリズムは、当分野のおける常用される技術的手段であり、機械学習(Machine Learning)技術をもとに顔部イメージ51に顔部分析を行うことで、顔部の1つまたは複数の特定部位(例えば、眉、眼、鼻、または耳)の複数の特徴点6を識別し、かつ各特徴点6は特定部位の異なる特徴(例えば、眉山と眉頭、眼尻と眼頭、鼻筋と小鼻、耳殻と耳たぶなど、例えば、68個の特徴点6または198個の特徴点6とすることができる)にそれぞれ対応する。かつ、前述の顔部ランドマークアルゴリズムはさらに、特定部位の複数の特徴点6を顔部イメージ51にマークできる。
実施例において、顔部分析モジュール101は、各特徴点6が属する部位および対応する特徴に基づき各特徴点6を符号化できる。
これにより、本発明は、複数の特徴点6の番号、形状、順序などの情報に基づき、顔部イメージ51において各部位の位置を確定することで、特定部位を識別できる。本発明において、分析装置1は主に、複数の特徴点6を介して少なくとも顔部イメージ51において左眉と右眉(眉毛イメージに対応する)、左眼と右眼(眼部イメージに対応する)などの部位を識別するが、これに限定されない。
再度、図6を参照されたい。続いてステップ106を実行する。眼部イメージの位置および眉毛偏移量に基づき手本眉毛イメージおよび眉型輪郭イメージの投影位置を算出する。
実施例において、分析装置1のメモリ17は、複数の眉毛偏移量を記憶しており、各眉毛偏移量は各手本眉毛イメージにそれぞれ対応し、使用者がステップS100においてそのうちの1組の手本眉毛イメージを選択した後、分析装置1は対応する眉毛偏移量をリアルタイムに取得できる。
実施例において、処理ユニット10は、算出モジュール102により使用者の眉毛と眼部との間の距離(左眉と左眼との間の距離、および右眉と右眼との間の距離を含む)を算出し、かつ算出された距離に基づき眉毛偏移量をさらに算出する。具体的には、処理ユニット10は、複数の眉毛特徴点のうちの1つ(例えば、眉尻に対応する眉毛特徴点)を選択し、かつ複数の眼部特徴点のうちの1つ(例えば、眼尻に対応する眼部特徴点)を選択し、かつ選択された2つの特徴点の間の距離を眉毛偏移量として算出できる。
実施例において、処理ユニット10は、選択された眼部特徴点の所在位置から上方向に、算出された眉毛偏移量を垂直移動させることで他の位置に到達し、かつ到達した他の位置を投影位置とできる。
ステップ108:処理ユニット10は、分析装置1がプレビューモードまたは補助モードに入るか否かを判断する。
実施例において、使用者は、電子装置2または入力インターフェース15によりモード切り替え操作を入力して、分析装置1がプレビューモードに入るように制御することでシミュレーションした眉型合成イメージを確認でき、または分析装置1が補助モードに入るように制御することで眉補正動作の補助を得られる。
処理ユニット10により分析装置1がプレビューモードに入ると判断されると、ステップ110を実行する。処理ユニット10により分析装置1が補助モードに入ると判断されると、ステップS112を実行する。
ステップS110:処理ユニット10は、分析装置1がプレビューモードに入るとき、表示モジュール111により使用者の顔部イメージを表示するとともに、投影位置に手本眉毛イメージを表示することで、バーチャルな手本眉毛イメージが使用者のリアルな顔部イメージと結合した拡張現実効果(例えば図11に示す表示画面53)を呈するようになり、ここで表示される手本眉毛イメージは、表示される顔部イメージを部分的にカバーし、かつ完全な眉毛仕様を呈することに用いられる。
実施例において、処理ユニット10は、合成モジュール105により手本眉毛イメージを顔部イメージの投影位置に合成することで合成イメージを取得することができる。続いて、処理ユニット10は、表示モジュール111により合成イメージを表示する。
さらに、合成モジュール105は、先ず顔部イメージにおける使用者の眉毛イメージを取り除き、手本眉毛イメージを顔部イメージと合成し、かつ手本眉毛イメージと顔部イメージとの間の接合箇所にイメージ処理(例えば、ぼかし処理)を行うことができる。これにより、本発明は、取得した合成イメージに使用者のオリジナル眉毛イメージが混じらないように確保し、かつ合成イメージのリアルさを高めることができる。
本発明は、プレビューモードにより使用者が眉補正結果を迅速にプレビューし、かつ適切な眉型を選択できるようにし、使用者が眉補正後の眉型に不満を持つことを効果的に防ぐことができる。使用者が表示された合成イメージに満足しない場合、分析装置1がステップS100からステップS110を繰り返して実行するよう制御することで、他の手本眉毛イメージを選択し、他の手本眉毛イメージに基づき新たな合成イメージを生成し、かつ表示モジュール111を介して新たな合成イメージを表示しなおすことができる。
処理ユニット10により分析装置1が補助モードに入ると判断されると、ステップS112を実行する。処理ユニット10は、分析装置1が補助モードに入るとき、表示モジュール111により使用者の顔部イメージを表示するとともに、投影位置に眉型輪郭パターン71〜72を表示することで、バーチャルな眉型輪郭パターン71〜72が使用者のリアルな顔部イメージと結合した拡張現実効果(例えば図12に示す表示画面54)を呈するようになり、ここで表示される眉型輪郭パターン71〜72は、表示される顔部イメージを部分的にカバーし、かつ対応する手本眉毛イメージの眉型と範囲とを指示することに用いられる。
実施例において、処理ユニット10は、合成モジュール105により眉型輪郭パターン71〜72を顔部イメージの投影位置に合成することで合成イメージを取得できる。続いて、処理ユニット10は、表示モジュール111により合成イメージを表示する。
本発明は、補助モードにより使用者が直観的かつ正確に眉補正を行うようにし、眉補正の技術的難易度を大幅に下げ、かつ眉補正の成功確率を高めることができる。
さらに、本発明の分析装置1により、使用者はミラースクリーン11で自身のリアルタイム顔部イメージと選択された眉型輪郭パターン71〜72、およびその推奨位置を同時に見ることができ、直観的かつ正確に眉補正を行うことができ、かつ眉補正の技術的難易度を大幅に下げ、かつ眉補正の成功確率を高めることができる。
引き続き図7A、図7B、および図13から15までを同時に参照されたい。図7Aは本発明の第2の実施例の眉型プレビュー方法の第1部分フローチャートであり、図7Bは本発明の第2の実施例の眉型プレビュー方法の第2部分フローチャートであり、図13は本発明の投影位置算出の第1概略図であり、図14は本発明の投影位置算出の第2概略図であり、図15は本発明の投影位置算出の第3概略図である。
図6に示す実施例と比較して、本実施例の眉型プレビュー方法は、分析装置1が先ずプレビューモードに入ることで使用者が気に入った手本眉毛イメージを選択するようにし、その後自動的に補助モードに入るよう制御することで使用者に眉補正の補助を提供する。
本実施例の眉型プレビュー方法は、以下のステップを含む。
ステップS200:分析装置1の処理ユニット10が使用者の操作または所定のスケジュール(例えば、毎日午前7時)に基づきプレビューモードに入るステップ。
ステップS202:処理ユニット10が使用者の選択操作、選択指令、またはプリセット値に基づき、複数の手本眉毛イメージからそのうちの1つを選択するステップ。
ステップS204:処理ユニット10によりイメージ取得モジュール12が使用者の顔部を撮影することで使用者の顔部イメージを取得するよう制御するステップ。
ステップS206:処理ユニット10が取得された顔部イメージ51に顔部分析処理を行うことで、顔部イメージ51において眼部イメージを識別するステップ。
ステップS208:処理ユニット10が眼部イメージの位置に基づき眉毛偏移量を算出するステップ。
例を挙げると、図13に示すように、顔部分析処理を実行した後、処理ユニット10は、眼部イメージの複数の眼部特徴点62および眉毛イメージの複数の眉毛特徴点61を取得でき、ここで複数の眼部特徴点62は眼部の異なる特徴にそれぞれ対応し、複数の眉毛特徴点61は眉毛の異なる特徴にそれぞれ対応する。
続いて、図14に示すように、処理ユニット10は、複数の眉毛特徴点61のうちの1つ(眉尻に対応する眉尻特徴点610を選択することを例とする)と複数の眼部特徴点62のうちの1つ(眼尻に対応する眼尻特徴点620を選択することを例とする)を選択し、かつ選択された眉尻特徴点610と選択された眼尻特徴点620との間の距離を算出し、かつ算出された距離を眉毛偏移量とする。
実施例において、処理ユニット10は、2つの特徴点の間の垂直距離Dを算出し、かつ眉毛偏移量とする。
ステップS210:処理ユニット10は、眼部イメージの位置、および眉毛偏移量に基づき手本眉毛イメージおよび眉型輪郭イメージの投影位置を算出する。
例を挙げると、図15に示すように、処理ユニット10は、眼尻に対応する眼尻特徴点620から上方向に眉毛偏移量を垂直移動させ、かつ到達した位置を投影位置(例えば、投影位置73)とできる。
言及に値するのは、図13から図15は、左眉と左眼との間の眉毛偏移量を算出することを例として説明しているが、右眉と右眼との間の眉毛偏移量を用いてもよく、これに限定されないということである。また、本発明の処理ユニット10は、選択的に先ず左眉と左眼との間の眉毛偏移量を算出してもよく、または先ず右眉と右眼との間の眉毛偏移量を算出してもよく、複数の処理により2組の眉毛偏移量を同時に算出してもよく、これに限定されない。
ステップS212:処理ユニット10は、手本眉毛イメージを顔部イメージの投影位置に合成することで合成イメージを取得し、かつ表示モジュール111により合成イメージを表示することで、使用者が現在選択した眉型が自身にふさわしいか否かを判断できるようにする。実施例において、合成イメージは、イメージ処理により使用者のオリジナルの眉毛を取り除き、かつ手本眉毛を残すことをさらに含む。
ステップS214:処理ユニット10は、分析装置1がプレビューモードから離脱するか否かを判断する。
使用者が電子装置2により確認指令を送信し、または入力インターフェース15により確認操作を入力した後、処理ユニット10は、使用者が現在選択されている手本イメージに基づき眉補正を行う意思があると判断し、かつ自動的にプレビューモードから離脱できる。そうでなければ、処理ユニット10は、分析装置1がプレビューモードから離脱していないと判断し、かつ再度ステップS202−S212を繰り返すことで使用者が他の手本眉毛イメージを選択し、プレビューできるようにする。
ステップS216:処理ユニット10は、分析装置1が補助モードに入るよう制御する。
ステップS218:処理ユニット10は、確認された手本眉毛イメージに対応する眉型輪郭パターンを取得する。
実施例において、手本眉毛イメージには予め複数の手本特徴点が設定され、処理ユニット10は、描画モジュール104により複数の特徴点を繋げることで、対応する眉型輪郭パターンを描く。
続いて、処理ユニット10は、ステップS220〜S226を実行する。ステップS220〜S226は、ステップS204〜S210と同一、または相似し、ここでは贅述しない。
続いて、処理ユニット10は、ステップS228を実行する。処理ユニット10は、表示モジュール111により使用者の顔部イメージを表示するとともに、投影位置に眉型輪郭パターンを表示する。
ステップS230:処理ユニット10は、分析装置1が補助モードから離脱するか否かを判断する。
使用者が眉補正を完了し、かつ電子装置2によりオフ指令が送信され、または入力インターフェース15によりオフ操作が入力された後、処理ユニット10は、使用者が眉補正を完了させたと判断し、かつ自動的に補助モードから離脱できる。そうでなければ、処理ユニット10は、分析装置1が補助モードから離脱していないと判断し、かつステップS218〜S228を繰り返すことで、引き続き使用者に眉補正の補助を提供する。
言及に値するのは、プレビューモードでステップS200〜S214を繰り返して実行することにより、本発明は、使用者が顔部位置を移動したときにリアルタイムに新たな投影位置を算出しなおし、イメージ合成を再度行って合成イメージを表示でき、ミラースクリーン11に表示される合成イメージが使用者の移動に完全に反応できるようにし、かつ拡張現実の効果を実現する、ということである。
かつ、補助モードでステップS218〜S230を繰り返して実行することにより、本発明は、使用者が顔部位置を移動したときにリアルタイムに新たな投影位置を算出しなおし、眉型輪郭パターンを投影しなおすことができ、ミラースクリーン11に表示される眉型輪郭パターンが使用者に伴って移動できるようにし、かつ拡張現実の効果を実現する。
言及に値するのは、通常、各個人の顔型または大きさは完全に同じではないということである。従って、異なる使用者が完全に同一の手本眉型イメージに基づき眉補正を行うと、眉補正後の眉毛の比率が使用者の顔型または大きさとマッチせず、充分に自然にならない可能性がある。
上述の問題について、本発明は手本眉毛イメージの修飾機能をさらに提供し、眉補正前の眉毛の形状、角度、または位置に基づき手本眉毛イメージおよび眉型輪郭パターンの形状または角度を調整し、または投影位置を調整でき、プレビューされる手本眉毛イメージがさらに使用者に適合するようにし、ひいては眉補正後の眉毛をさらに自然にする。
引き続き図6、図8、および図16から図19Bまでを同時に参照されたい。図8は本発明の第3の実施例の眉型プレビュー方法のフローチャートであり、図16は本発明の特徴分析の第1概略図であり、図17は本発明の特徴分析の第2概略図であり、図18Aは本発明の調整前の投影位置の概略図であり、図18Bは本発明の調整後の投影位置の概略図であり、図19Aは本発明の調整前の眉型の概略図であり、図19Bは本発明の調整後の眉型の概略図である。
本実施例において、処理ユニット10は、顔部分析モジュール101により顔部イメージに顔部分析処理を行うことで、顔部イメージで第1眉毛イメージ74(例えば、右眉)の複数の第1眉毛特徴点(図16に示す)および第2眉毛イメージ75(例えば、左眉)の複数の第2眉毛特徴点(図17に示す)を識別し、かつ複数の第1眉毛特徴点に基づき第1眉毛データセットを確立し、複数の第2眉毛特徴点に基づき第2データセットを確立する。
かつ、処理ユニット10は、選択された手本イメージデータの複数の手本特徴点をさらに取得でき(図18Aでは右眉の手本眉毛イメージに対応する手本特徴点650〜652を例とし、ここで手本特徴点650は手本眉毛イメージの眉頭に対応し[即ち、眉頭手本特徴点]、手本特徴点651は手本眉毛イメージの眉山に対応し[即ち、眉山手本特徴点]、手本特徴点652は手本眉毛イメージの眉尻に対応する[即ち、眉尻手本特徴点])、複数の手本特徴点650〜652に基づき手本データセットを確立する。
実施例において、3つの第1眉毛特徴点630〜632および3つの第2眉毛特徴点640〜642は、使用者の眉毛の眉頭、眉山、および眉尻にそれぞれ対応する。具体的には、第1眉毛特徴点630(即ち、第1眉尻特徴点)および第2眉毛特徴点640(即ち、第2眉尻特徴点)は眉尻に対応し、第1眉毛特徴点631(即ち、第1眉山特徴点)および第2眉毛特徴点641(即ち、第2眉山特徴点)は眉山に対応し、第1眉毛特徴点632(即ち、第1眉頭特徴点)および第2眉毛特徴点642(即ち、第2眉頭特徴点)は眉頭に対応する。
以下の説明において、右眉に対応する第1眉毛特徴点630〜632に基づき同様に右眉に対応する手本特徴点650−652を調整することを列として説明するが、これに限定されず、以下の調整ステップは左眉の調整にも用いることができる。
かつ、本実施例において、調整後の複数の手本特徴点の位置は前述の投影位置を算出することに用いることができる。本実施例のプレビュー方法は、手本眉毛イメージの修飾機能を実現するためのステップS30〜S34を含む。
ステップS30:処理ユニット10は、手本データセットおよび基準としての眉毛データセットに基づき眉毛の調整パラメータ群を算出する(本例においては、右眉に対応する手本データセットおよび第1眉毛データセットに基づき右眉の調整パラメータ群を算出する)。
実施例において、前述の調整パラメータ群は、並進(translation)パラメータ、回転(rotation)パラメータ、および縮小拡大(scaling)パラメータを含む。
実施例において、算出モジュール102は、Rigid Registrationシステムを使用してLeast−square estimationアルゴリズムを結合することにより前述の調整パラメータ群を算出する。Rigid RegistrationシステムおよびLeast−square estimationアルゴリズムは、本技術分野で常用される技術的手段であり、2つのデータ(例えば、第1眉毛特徴点630〜632と手本特徴点650〜652)を分析し、かつ調整パラメータ群を算出できる。算出された調整パラメータ群を使用してそのうちの1つのデータ(例えば、手本特徴点650〜652)に変換処理を行った後、変換後のデータ(即ち、手本特徴点650’〜652’)が他のデータ(即ち、第1眉毛特徴点630〜632)と高い相似度を有するようにできる。
実施例において、算出モジュール102は、眉毛の同一特徴に対応する各眉毛特徴点および各手本特徴点に基づき調整パラメータ群を算出する。例を挙げると、算出モジュール102は、眉頭特徴点と眉頭手本特徴点を比較し、眉山特徴点と眉山手本特徴点を比較し、眉尻特徴点と眉尻手本特徴点を比較し、かつ各組の比較結果に基づき調整パラメータ群を算出する。
ステップS32:処理ユニット10は、調整モジュール103により、算出された調整パラメータ群に基づき手本特徴点650〜652の位置(図18Aに示す)を調整することで、位置調整後の手本特徴点650’〜652’(図18Bに示す)と未補正の眉毛に対応する第1眉毛特徴点630〜632との間に高い相似度を有するようにする。
実施例において、調整モジュール103は並進パラメータに基づき複数の手本特徴点の位置を変換することで複数の手本特徴点により囲まれてなるパターンを並進させ、回転パラメータに基づき複数の手本特徴点の位置を変換することで複数の手本特徴点により囲まれてなるパターンを回転させ、または縮小拡大パラメータに基づき複数の手本特徴点の位置を変換することで複数の手本特徴点により囲まれてなるパターンを拡大縮小させる。
引き続き図18A、図18B、図19A、および図19Bを参照されたい。図に示すように、調整パラメータ群に基づき位置を変換する前に、手本特徴点650〜652により囲まれてなるパターン90と第1眉毛特徴点630〜632(未補正の眉毛に対応する)により囲まれてなるパターン91とには極めて大きな差異があり、これにより使用者は大幅に眉補正する必要がある。かつ、眉補正後の両眉は比率がマッチせずに充分に自然でなくなる可能性がある。
調整パラメータ群に基づき位置を変換した後、変換後の複数の手本特徴点650’〜652’により囲まれてなるパターン92はパターン91と高い相似度を有し、これにより使用者は大幅に眉補正する必要がなくなる。かつ、眉補正後の両眉は使用者のオリジナル眉型に相似しているので、さらに自然に見える。
ステップS34:処理ユニット10は、変換後の複数の手本特徴点650’〜652’に基づき眉型輪郭パターンを描く。ステップS34の後、処理ユニット10は、補助モードにおいて、複数の手本特徴点650’〜652’に基づき描いてなる眉型輪郭パターンを表示することで使用者が眉補正することを補助する。
本発明は、眉型イメージの修飾機能を効果的に実現でき、さらに良好な推奨眉型を提供でき、使用者の眉補正後の眉毛をさらに自然にする。
もちろん、本発明はその他の多種の実施例をさらに有してもよく、本発明の精神およびその実質に反しない状況で、当業者は本発明に基づき各種の対応する変更および変形を行うことができるが、これら対応する変更および変形はいずれも本発明に付属する特許請求の範囲の保護範囲に属するものとする。
1 身体情報分析装置
10 処理ユニット
101 顔部分析モジュール
102 算出モジュール
103 調整モジュール
104 描画モジュール
105 合成モジュール
11 ミラースクリーン
111 表示モジュール
12 イメージ取得モジュール
13 ボタン
14 センサ
15 入力インターフェース
16 無線伝送モジュール
17 メモリ
2 電子装置
21 ソフトウェア
3 無線ルータ
4 インターネット
5 ミラーイメージ
51 顔部イメージ
52−54 表示画面
6 特徴点
61 眉毛特徴点
610 眉尻特徴点
62 眼部特徴点
620 眼尻特徴点
630〜632、640〜642 眉毛特徴点
650〜652 手本特徴点
650’〜652’ 調整後の手本特徴点
71〜72 眉型輪郭パターン
73 投影位置
74〜75 眉毛イメージ
81〜82 手本眉毛イメージ
90〜92 パターン
D 垂直距離
S100〜S112 第1眉型プレビューステップ
S200〜S230 第2眉型プレビュー対比ステップ
S30〜S34 調整ステップ

Claims (15)

  1. 身体情報分析装置に応用される拡張現実を結合した眉型プレビュー方法であって、
    a)前記身体情報分析装置のイメージ取得モジュールが顔部イメージを取得するよう制御するステップと、
    b)前記身体情報分析装置の処理ユニットが顔部イメージにおいて眼部イメージを取得するよう制御するステップと、
    c)前記処理ユニットが前記眼部イメージの位置および眉毛偏移量に基づき投影位置を算出するステップと、
    d)プレビューモードで前記投影位置に基づき前記顔部イメージと手本眉毛イメージを合成することで合成イメージを生成し、かつ前記身体情報分析装置の表示モジュールが前記合成イメージを表示するよう制御するステップと、
    e)補助モードで前記表示モジュールが前記顔部イメージを表示し、かつ前記投影位置に前記手本眉毛イメージに対応する眉型輪郭パターンを表示するよう制御するステップと、を含む方法。
  2. 前記ステップb)は、ステップb1)前記眼部イメージの複数の眼部特徴点を識別し、ここで前記複数の眼部特徴点は眼部の異なる特徴にそれぞれ対応するステップを含む請求項1に記載の眉型プレビュー方法。
  3. 前記複数の眼部特徴点は眼尻に対応する眼尻特徴点を含み、かつ前記ステップc)は、
    c1)前記眉毛偏移量を取得するステップと、
    c2)前記眼尻特徴点から上方向に前記眉毛偏移量を垂直移動させることで、前記投影位置を取得するステップと、を含む請求項2に記載の眉型プレビュー方法。
  4. 前記ステップc)の前にステップf)選択指令または選択操作に基づき複数の前記手本眉毛イメージのうちの1つを選択するステップをさらに含み、ここで、前記ステップd)は前記選択指令または前記選択操作により選択された前記手本眉毛イメージを表示し、ここで前記複数の手本眉毛イメージは異なる前記眉毛偏移量にそれぞれ対応するステップである請求項3に記載の眉型プレビュー方法。
  5. 前記ステップb)は、ステップb2)前記顔部イメージにおいて眉毛イメージの複数の眉毛特徴点を識別し、ここで前記複数の眉毛特徴点は眉毛の異なる特徴にそれぞれ対応するステップをさらに含む請求項3に記載の眉型プレビュー方法。
  6. 前記複数の眉毛特徴点は眉尻に対応する眉尻手本特徴点を含み、かつ前記ステップc1)はステップc11)前記眉尻特徴点と前記眼尻特徴点との間の距離を算出して前記眉毛偏移量とするステップを含む請求項5に記載の眉型プレビュー方法。
  7. 前記ステップc11)は前記眉尻特徴点と前記眼尻特徴点との間の垂直距離を算出して前記眉毛偏移量とするステップである請求項6に記載の眉型プレビュー方法。
  8. 前記手本眉毛イメージには眉毛の異なる特徴にそれぞれ対応する複数の手本特徴点が設けられ、前記ステップd)の前に、
    g1)眉毛の異なる特徴にそれぞれ対応する各前記眉毛特徴点および各前記手本特徴点に基づき調整パラメータ群を算出し、ここで前記調整パラメータ群は並進パラメータ、回転パラメータ、および縮小拡大パラメータを含むステップと、
    g2)前記調整パラメータ群に基づき前記複数の手本特徴点の位置を調整することで前記手本眉毛イメージを調整するステップと、
    g3)調整後の前記複数の手本特徴点の位置に基づき前記眉型輪郭パターンを描くステップと、をさらに含む請求項5に記載の眉型プレビュー方法。
  9. 3つの前記眉毛特徴点および3つの前記手本特徴点は眉毛の眉頭、眉山、および眉尻にそれぞれ対応する請求項8に記載の眉型プレビュー方法。
  10. 拡張現実を結合した身体情報分析装置であって、
    顔部イメージを取得するためのイメージ取得モジュールと、
    前記イメージ取得モジュールに電気的に接続され、前記顔部イメージにおいて眼部イメージを識別し、かつ前記眼部イメージの位置および眉毛偏移量に基づき投影位置を算出する処理ユニットと、
    プレビューモードで合成イメージを表示し、ここで前記合成イメージは前記処理ユニットにより前記投影位置に基づき前記顔部イメージと手本眉毛イメージとを合成することで生成され、かつ、前記補助モードで前記顔部イメージを表示し、かつ前記投影位置に前記手本眉毛イメージに対応する眉型輪郭パターンを表示する表示モジュールと、を含む装置。
  11. 前記処理ユニットは、
    前記顔部イメージにおいて眉毛イメージの複数の眉毛特徴点を識別し、かつ前記眼部イメージの複数の眼部特徴点を識別し、ここで前記複数の眼部特徴点は眼部の異なる特徴にそれぞれ対応し、前記複数の眉毛特徴点は眉毛の異なる特徴にそれぞれ対応する顔部分析モジュールと、
    前記投影位置に基づき前記顔部イメージと前記手本眉毛イメージとを合成イメージとして合成する合成モジュールと、を含む請求項10に記載の身体情報分析装置。
  12. 前記複数の眼部特徴点は眼尻に対応する眼尻特徴点を含み、かつ前記処理ユニットは、前記眼尻特徴点から上方向に前記眉毛偏移量を垂直移動させることで前記投影位置を取得する算出モジュールをさらに含む請求項11に記載の身体情報分析装置。
  13. 前記処理ユニットに電気的に接続され、複数の前記手本眉毛イメージを記憶し、ここで前記複数の手本眉毛イメージは異なる前記眉毛偏移量にそれぞれ対応するメモリと、
    前記処理ユニットに電気的に接続され、前記複数の手本眉毛イメージのうちの1つを選択する選択操作を受け入れるための入力インターフェースと、
    電子装置に接続され、前記電子装置から前記複数の手本眉毛イメージのうちの1つを選択する選択指令を受け入れるための無線伝送モジュールと、をさらに含み、
    ここで前記処理ユニットは、前記表示モジュールが前記選択操作または前記選択指令により選択された前記手本眉毛イメージを表示するよう制御する請求項11に記載の身体情報分析装置。
  14. 前記処理ユニットは、眉尻に対応する前記眉毛特徴点と眼尻に対応する眼尻特徴点との間の垂直距離を算出して前記眉毛偏移量とする算出モジュールをさらに含む請求項11に記載の身体情報分析装置。
  15. 前記手本眉毛イメージには眉毛の異なる特徴にそれぞれ対応する複数の手本特徴点が設けられ、前記処理ユニットは、
    眉毛の同一の特徴にそれぞれ対応する各前記眉毛特徴点および各前記手本特徴点に基づき調整パラメータ群を算出し、前記調整パラメータ群に基づき前記複数の手本特徴点の位置を調整することで前記手本眉毛イメージを調整し、ここで前記調整パラメータ群は並進パラメータ、回転パラメータ、および拡大縮小パラメータを含む、調整モジュールと、
    調整後の前記複数の手本特徴点の位置に基づき前記眉型輪郭パターンを描く描画モジュールと、をさらに含み、
    ここで3つの前記眉毛特徴点および3つの前記手本特徴点は眉毛の眉頭、眉山、および眉尻にそれぞれ対応する請求項11に記載の身体情報分析装置。
JP2018007219A 2017-09-28 2018-01-19 拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法 Active JP6803348B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710897603.X 2017-09-28
CN201710897603.XA CN109583263A (zh) 2017-09-28 2017-09-28 结合扩增实境的身体信息分析装置及其眉型预览方法

Publications (2)

Publication Number Publication Date
JP2019063480A true JP2019063480A (ja) 2019-04-25
JP6803348B2 JP6803348B2 (ja) 2020-12-23

Family

ID=61526554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018007219A Active JP6803348B2 (ja) 2017-09-28 2018-01-19 拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法

Country Status (5)

Country Link
US (1) US10528796B2 (ja)
EP (1) EP3462375A1 (ja)
JP (1) JP6803348B2 (ja)
KR (1) KR102045219B1 (ja)
CN (1) CN109583263A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109288233A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示修容区域的身体信息分析装置
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
US20210187765A1 (en) * 2019-12-18 2021-06-24 L'oreal Browblade adapter mechanism
CN113256694A (zh) * 2020-02-13 2021-08-13 北京沃东天骏信息技术有限公司 一种眉笔绘制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125253A (ja) * 1997-07-07 1999-01-29 Onishi Netsugaku:Kk 眉描画方法
JPH11143352A (ja) * 1997-11-13 1999-05-28 Onishi Netsugaku Kogyosho:Kk 化粧シミュレーション自動描画方法および装置
JP2007293649A (ja) * 2006-04-26 2007-11-08 Megachips Lsi Solutions Inc メークアップアシスト装置および眉毛描画アシスト装置
WO2015029392A1 (ja) * 2013-08-30 2015-03-05 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015121841A (ja) * 2013-12-20 2015-07-02 カシオ計算機株式会社 眉生成装置、眉生成方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3671260B2 (ja) * 1995-05-10 2005-07-13 カシオ計算機株式会社 画像作成装置および画像作成制御方法
JP3773657B2 (ja) 1998-06-18 2006-05-10 株式会社資生堂 眉変形システム
JP2006247012A (ja) * 2005-03-09 2006-09-21 Takako Aono 眉毛の化粧補助具、及び化粧方法
US20070047761A1 (en) * 2005-06-10 2007-03-01 Wasilunas Elizabeth A Methods Of Analyzing Human Facial Symmetry And Balance To Provide Beauty Advice
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
US9760935B2 (en) * 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN107292220B (zh) * 2016-04-01 2020-11-03 掌赢信息科技(上海)有限公司 一种眉毛位置的初始化方法及电子设备
CN107292812A (zh) * 2016-04-01 2017-10-24 掌赢信息科技(上海)有限公司 一种表情迁移的方法及电子设备
US10292483B2 (en) * 2017-03-21 2019-05-21 Nisan Shlomov Eyebrow shaping method
CN107464253B (zh) * 2017-07-10 2020-11-20 北京小米移动软件有限公司 眉毛定位方法及装置
CN109427075A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其眼影分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125253A (ja) * 1997-07-07 1999-01-29 Onishi Netsugaku:Kk 眉描画方法
JPH11143352A (ja) * 1997-11-13 1999-05-28 Onishi Netsugaku Kogyosho:Kk 化粧シミュレーション自動描画方法および装置
JP2007293649A (ja) * 2006-04-26 2007-11-08 Megachips Lsi Solutions Inc メークアップアシスト装置および眉毛描画アシスト装置
WO2015029392A1 (ja) * 2013-08-30 2015-03-05 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015121841A (ja) * 2013-12-20 2015-07-02 カシオ計算機株式会社 眉生成装置、眉生成方法及びプログラム

Also Published As

Publication number Publication date
US10528796B2 (en) 2020-01-07
JP6803348B2 (ja) 2020-12-23
KR102045219B1 (ko) 2019-11-15
KR20190037051A (ko) 2019-04-05
US20190095697A1 (en) 2019-03-28
EP3462375A1 (en) 2019-04-03
CN109583263A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
JP2019063480A (ja) 拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法
US20210177124A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
US10521648B2 (en) Body information analysis apparatus and method of auxiliary comparison of eyebrow shapes thereof
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
CN105045398B (zh) 一种基于手势识别的虚拟现实交互设备
KR102065480B1 (ko) 신체 정보 분석 장치 및 입술 화장 분석 방법
JP6799525B2 (ja) 生体情報解析装置及び手肌解析方法
WO2012119371A1 (zh) 一种用户交互系统和方法
KR102045228B1 (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
JP2015197710A (ja) 化粧支援装置およびプログラム
JP6710095B2 (ja) 技術支援装置、方法、プログラムおよびシステム
JP2015511339A (ja) 毛髪色付け装置及び方法
KR102147930B1 (ko) 포즈 인식 방법 및 장치
JP6761407B2 (ja) 身体情報分析装置および顔形診断方法
JP2019028968A (ja) 頬紅領域を標示可能な生体情報解析装置
Montanini et al. Real time message composition through head movements on portable Android devices
JP2019025288A (ja) リペア領域を標示可能な生体情報解析装置
WO2020148810A1 (ja) 情報処理装置
CN113781614A (zh) Ar汉服换装方法
CN113487489A (zh) 一种脸部修容显示及关键点检测模型训练方法及终端
KR20120099973A (ko) 환경정보 인터랙션을 활용한 마커 기반의 증강현실 교육용 콘텐츠 저작 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201130

R150 Certificate of patent or registration of utility model

Ref document number: 6803348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150