JP2019048026A - 生体情報解析装置及び手肌解析方法 - Google Patents

生体情報解析装置及び手肌解析方法 Download PDF

Info

Publication number
JP2019048026A
JP2019048026A JP2017251891A JP2017251891A JP2019048026A JP 2019048026 A JP2019048026 A JP 2019048026A JP 2017251891 A JP2017251891 A JP 2017251891A JP 2017251891 A JP2017251891 A JP 2017251891A JP 2019048026 A JP2019048026 A JP 2019048026A
Authority
JP
Japan
Prior art keywords
hand
image
defect
module
stain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017251891A
Other languages
English (en)
Other versions
JP6799525B2 (ja
Inventor
軾栄 沈
Shi Rong Shen
軾栄 沈
敏昶 季
Min-Chang Chi
敏昶 季
暉騰 林
hui teng Lin
暉騰 林
靖維 王
Ching-Wei Wang
靖維 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cal Comp Big Data Inc
Original Assignee
Cal Comp Big Data Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cal Comp Big Data Inc filed Critical Cal Comp Big Data Inc
Publication of JP2019048026A publication Critical patent/JP2019048026A/ja
Application granted granted Critical
Publication of JP6799525B2 publication Critical patent/JP6799525B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

【課題】手の欠陥の位置を検出しマーキングすることで、ユーザのスピードメイクを支援することが可能な生体情報解析装置及び手肌解析方法を提供する。【解決手段】生体情報解析装置に用いられる手肌解析方法は、外部画像を撮影するように識別生体情報解析装置の撮影モジュールを制御するステップS10と、識別外部画像において手画像を識別するように識別生体情報解析装置の処理ユニットを制御するステップS12と、識別手画像において欠陥に対応する欠陥画像を識別するステップS14と、識別欠陥画像の位置に基づいて識別手画像をマーキングするステップS16と、マーキングされた識別手画像を表示するように識別生体情報解析装置の表示モジュールを制御するステップS18と、を含む。【選択図】図6

Description

本発明は、装置及び方法に関し、特に、生体情報解析装置及び手肌解析方法に関する。
化粧は女性にとってほぼ毎日不可欠なものとなっている。通常、ユーザは、顔にメイクをするが、近年、顔以外の部位(例えば、手や首)にメイクをするユーザが増えてくる。顔メイクとは異なり、顔以外の部位は、面積が広いため、全体的にメイクアップするのが適切ではない。欠陥のある位置(例えば、シミや小ジワ)のみにメイクアップするのは適している。
しかしながら、ユーザは、欠陥のある位置を肉眼で視認する場合が多い。このため、化粧経験不足のユーザの一部は、化粧に時間がかかりすぎたり、化粧を上手に施すことができなかったりする問題を抱えていた。
以上に鑑みて、ユーザが生体の各部位に欠陥のある位置の検出や経験不足のユーザに対してスピードメイクの完成を効果的に支援可能な支援装置が求められている。
そこで、本発明は、手の欠陥の位置を検出しマーキングすることで、ユーザのスピードメイクを支援することが可能な生体情報解析装置及び手肌解析方法を提供することを目的とする。
上記の目的を達成するために、本発明に係る生体情報解析装置に用いられる手肌解析方法は、(a)外部画像を撮影するように識別生体情報解析装置の撮影モジュールを制御するステップと、(b)識別外部画像において手画像を識別するように識別生体情報解析装置の処理ユニットを制御するステップと、(c)識別手画像において欠陥に対応する欠陥画像を識別するステップと、(d)識別欠陥画像の位置に基づいて識別手画像をマーキングするステップと、(e)マーキングされた識別手画像を表示するように識別生体情報解析装置の表示モジュールを制御するステップと、を含む。
また、上記の目的を達成するために、本発明に係る生体情報解析装置は、外部画像を撮像する撮像モジュールと、識別撮像モジュールに電気的に接続される処理ユニットとを備え、識別処理ユニットは、識別外部画像において手画像を識別するための手識別モジュールと、識別手画像において欠陥に対応する欠陥画像を識別するための欠陥検出モジュールと、識別欠陥画像の位置に基づいて識別手画像をマーキングするためのマーキングモジュールと、識別処理ユニットに電気的に接続され、マーキングされた識別手画像を表示するための表示モジュールと、を含む。
本発明は、手の欠陥を自動的に検出し、手の欠陥に対してマーキングすることにより、ユーザは、手の欠陥に対して直観的に対応する手段を取ることができ、メイクアップの技術的な敷居を大幅に低くし、メイクアップ効率を向上させることができる。
本発明の第1実施形態に係るシステムを示す構造図である。 本発明に係る生体情報解析装置を示す第1の概略図ある。 本発明に係る生体情報解析装置を示す第2の概略図ある。 本発明の第1実施形態に係る生体情報解析装置を示す構造図である。 本発明の第1実施形態に係る機能モジュールを示す概略図である。 本発明の第1実施形態に係る手肌解析方法を示すフローチャートである。 本発明の第2実施形態に係る手肌解析方法の一部を示すフローチャートである。 手識別を示す概略図である。 本発明の第3実施形態に係る手肌解析方法の一部を示すフローチャートである。 本発明の突起検出を示す第1の概略図である。 本発明の突起検出を示す第2の概略図である。 本発明の突起検出を示す第3の概略図である。 本発明の第4実施形態に係る手肌解析方法の一部を示すフローチャートである。 本発明のシミ検出を示す第1の概略図である。 本発明のシミ検出を示す第2の概略図である。 本発明の第5実施形態に係る手肌解析方法の一部を示すフローチャートである。 本発明の小ジワ検出を示す第1の概略図である。 本発明の小ジワ検出を示す第2の概略図である。 本発明の小ジワ検出を示す第3の概略図である。 本発明の第6実施形態に係る手肌解析方法の一部を示すフローチャートである。
以下、本発明の目的、実施方式及び効果をより理解するために、具体的な実施例と添付の図面を組み合わせて本発明に係る技術内容を詳細に説明するが、本発明の特許請求の範囲は限定されない。
本発明としては、生体情報解析装置1(以下、解析装置1と略称)が開示されている。解析装置1は、主に手肌解析方法(以下、解析方法と略称)を実行し、手肌のあらゆる種類の欠陥を自動的に検出し、ユーザの手画像において検出された欠陥をマーキングすることにより、ユーザが欠陥の位置を容易に把握し、適切な措置を取ることができる(例えば、欠陥をカバーする)。
図1は、本発明の第1実施形態に係るシステムを示す構造図である。図1に示す実施形態では、ユーザは、電子装置2を操作することで解析装置1を設定することが可能である。
具体的に、電子装置2のメモリユニット(図示せず)には、ソフトウェア21がインストールされている。ソフトウェア21(例えば、解析装置1の製造メーカによって開発、提供されるアプリ)は、解析装置1との接続を確立するために用いられる。ユーザは、ソフトウェア21を操作することで、解析装置1に対する様々な設定操作、例えば、ユーザの情報や画像(顔画像や手画像など)の登録、及び/又は様々なデフォルト値を設定することができる。
一実施形態では、ユーザは、解析装置1の入力インタフェース(例えば、図4に示す入力インタフェース15)を直接操作することで様々な設定操作を行うことができる。
一実施形態では、解析装置1の無線伝送モジュール(例えば、図4に示す無線伝送モジュール16)は、Wi−Fi(登録商標)通信技術、ブルートゥース(登録商標)通信技術、Zigbee(登録商標)通信技術、RF通信技術、赤外線通信技術、光通信技術、音声通信技術及び/又はその他の無線通信技術により電子装置2とデータ伝送を行う。
一実施形態では、解析装置1は、区域におけるワイヤレスルータ3に接続され、ワイヤレスルータ3によりインターネット4に接続されてもよい。こうすることで、解析装置1は、インターネット4によりファームウェアのアップデート、データのアップロードやダウンロードなどの操作を行うことができる。また、解析装置1は、インターネット4によりユーザの生体データ(例えば、後述する外部画像、手画像及び/又は欠陥画像など)を遠隔のサーバー5に送信することにより、ユーザが遠隔で確認したり、サーバー5のデータベース(図示せず)に接続されてデータの更新や検索したり、隔地保管の目的を実現したりできる。
図2及び図3を併せて参照する。図2は、本発明に係る生体情報解析装置を示す第1の概略図ある。図3は、本発明に係る生体情報解析装置を示す第2の概略図ある。図2及び図3に示す解析装置1は、主に、ユーザの寝室又は化粧室に設置される。こうすることで、ユーザは、生体情報(例えば、顔、首、手又は肌)を容易に検出や解析することができる。
解析装置1は、ミラースクリーン11を有する。解析装置1は起動(図2に示す)時に、ミラースクリーン11によりグラフィカルユーザインタフェース(Graphical User Interface, GUI)を表示し、GUIによりユーザと対話することができる。一方、解析装置1は停止(図3に示す)時に、ミラースクリーン11が単純にミラーとしてユーザの光学的な鏡像6を反映してもよい。
本発明では、主に解析装置1によりユーザの肌の欠陥を自動的に検出して、ユーザに知らせるように各欠陥のある位置をマーキングすることで、ユーザが対応策(例えば、カバーやスキンケア)を行うことを支援する。したがって、ミラースクリーン11は、GUIを表示すると同時にユーザの光学的な鏡像6を反映することが可能である。こうすることで、化粧中のユーザの肌を解析するとともにユーザの化粧を支援する(詳細は後述する)ことに寄与する。
解析装置1は、解析装置1上に配置されて角度を調整可能な撮像モジュール12をさらに備える。一実施形態では、撮像モジュール12は、ユーザの高解像度画像(例えば、顔画像、首画像又は手画像など)を撮像することができる。解析装置1は、画像を用いてユーザの生体情報及び/又は化粧の進捗状況を解析することができる。他の実施形態では、撮像モジュール12は、外部の情報(例えば、一次元バーコード、二次元バーコードなど)を抽出し、抽出された情報の内容によって対応するデータを設定することができる。
また、解析装置1は、撮像モジュール12により撮像された画像をミラースクリーン11にリアルタイムに表示するようにしている。これにより、ミラースクリーン11が停止しなくても、ユーザがミラースクリーン11で自分の光学的な鏡像6をチェックすることができる。
さらに、解析装置1は、撮影画像に対してリアルタイム処理(例えば、欠陥の位置をマーキングしたり欠陥のタイプを提示したりする)を行って、処理された画像をミラースクリーン11に表示させるようにしてもよい。
このようにして、解析装置1は、ユーザのメイク時に、ミラースクリーン11に補助情報を拡張現実(Augmented Reality, AR)により提供することが可能である。その結果、ユーザ体験を効果的に向上させることができる。
一実施形態では、ミラースクリーン11は、タッチスクリーンであってもよい。ユーザは、ミラースクリーン11により解析装置1にデータを入力してもよい。
解析装置1は、複数のボタン13を有してもよい。本実施形態では、複数のボタン13は、実体のボタン(button)であってもよいし、タッチボタン(touch key)であってもよいが、これらに限定されない。ユーザは、ボタン13をトリガーにすることで上記GUIに対して操作(例えば、GUIを先頭頁や前の頁、次の頁などに戻す)を行ったり、対応する機能(例えば、ミラースクリーン11の起動、ミラースクリーン11の停止、撮像モジュール12の起動など)を迅速に実行するように解析装置1を制御したりできる。
解析装置1は、1つ以上のセンサ14(例えば、温度センサ、湿度センサなど)を有してもよい。センサ14は、解析装置1の所在する環境の環境データを検出して、解析装置1によるユーザの生体情報の検出や解析の精度を高める。一実施形態では、センサ14は、モーションセンサ(motion sensor)であってもよい。解析装置1は、モーションセンサでユーザの移動ジェスチャー(例えば、左への振り動作、右への振り動作、上への振り動作、下への振り動作、前方への押し動作又は後方への引き動作など)を検出することができる。こうすることで、ユーザは、指紋が残らないように、上記ミラースクリーン11又はボタン13を触れることなく、ジェスチャーにより解析装置1にデータを入力することができる。
図4は、本発明の第1実施形態に係る生体情報解析装置を示す構造図である。図4に示すように、解析装置1は、主に処理ユニット10、処理ユニット10に電気的に接続される表示モジュール111、撮像モジュール12、入力インタフェース15、無線伝送モジュール16及びメモリ17を含む。
一実施形態では、撮像モジュール12は、カメラ又はビデオカメラであり、外部画像(例えば、ユーザの顔画像)及び外部情報を撮像する。解析装置1は、外部画像によりユーザを識別(例えば、顔識別、首識別又は手識別など)することで、ユーザの顔、首又は手などのパーツを解析したり、外部情報の内容によって対応する操作を行ったりしてもよい。
表示モジュール111は、上記GUIを表示する。一実施形態では、表示モジュール111は、ミラースクリーン11内に取り付けられる。表示モジュール111が有効な場合、表示モジュール111の光源は、ミラースクリーン11の一方向ガラス(図示せず)を貫通してユーザの目に投影することで、ユーザがミラースクリーン11でGUIを見ることができる。一方、表示モジュール111が無効な場合、一方向性ガラスの片面が光透過特性を有するため、ユーザは、ミラースクリーン11で自分の光学的な鏡像6しか見ることができない。一実施形態では、解析装置1が表示モジュール111の光源強度又は表示領域を調整することで、ミラースクリーン11はユーザの光学的な鏡像6を反射するとともにGUIを表示することができる。
解析装置1は、入力インタフェース15により外部からのユーザの入力を受け付ける。これにより、ユーザは、GUIと対話したり、必要な設定操作を行ったりできる。一実施形態では、入力インタフェース15は、ユーザのジェスチャーによる入力を検出するための上記センサ14であってもよい。他の実施形態では、入力インタフェース15は、外部画像を撮像したり外部情報を抽出したりするための上記撮像モジュール12であってもよい。別の実施形態では、入力インタフェース15は、ユーザの入力操作を受け付けるためのタッチスクリーン又はボタン13であってもよい。もう1つの実施形態では、入力インタフェース15は、外部の音声を受け付けるためのマイクであってもよい。
無線伝送モジュール16は、インターネット4に接続される。詳細には、ユーザは、インターネット4により遠隔から解析装置1へ接続され、解析装置1に記録されている様々な情報(例えば、生体情報)を随時に確認することができる。
メモリ17は、データを格納するために用いられる。一実施形態では、メモリ17は、データベース170をさらに含む。データベース170は、データ(例えば、ユーザの生体情報履歴、解析装置1の音声指令、ユーザが所持する化粧品、メイク方法動画及び/又は後述する対応策など)を格納する。
一実施例では、データベース170は、解析装置1のメモリ17に設けずに、遠隔のサーバー5に設けてもよい。このようにして、解析装置1は、インターネット4により、遠隔のサーバー5のデータベース170に接続されてデータの更新や検索を行うことになる。これにより、ローカルのメモリ17の格納容量を大幅に削減することができる。
処理ユニット10は、表示モジュール111、撮像モジュール12、入力インタフェース15、無線伝送モジュール16及びメモリ17に接続される。メモリ17(例えば、非一時的記憶媒体)には、コンピュータが実行可能なプログラムコード(図示せず)が格納されている。また、処理ユニット10は、コンピュータが実行可能なプログラムコードを実行することで、本発明の解析方法を実現することができる。
図5は、本発明の第1実施形態に係る機能モジュールを示す概略図である。詳細には、上述したコンピュータが実行可能なプログラムコードは、複数コードの集合を含み、各コードの集合は、異なる機能モジュールに対応する。処理ユニット10が各コードの集合を実行することにより、対応する機能モジュールを実現し、本発明の解析方法における各機能を実現することができる。上述したコンピュータが実行可能なプログラムコードは、以下のいくつかの機能モジュール(手識別モジュール101、欠陥検出モジュール102、マーキングモジュール103、応答モジュール104)のプログラムコードに区分けられる。
手識別モジュール101は、撮像モジュール12により撮像された外部画像に対して手識別処理を行う。具体的に、手識別モジュール101は、外部画像において手画像を識別することができる。
一実施形態では、手識別モジュール101は、解析モジュール1011と抽出モジュール1012とを含む。解析モジュール1011は、外部画像に対して特徴解析処理を行って、特定部位の画像の複数の特徴点(例えば、図8に示す複数の手特徴点7)を識別することができる。各特徴点は、ユーザの特定部位(例えば、手)の異なる特徴(例えば、各指の指先、指関節や指の腹、手のひらの弧、又は手首など)にそれぞれ対応している。また、解析モジュール1011は、複数の特徴点に基づいて特定部位の画像の範囲を決定してもよい。抽出モジュール1012は、特定部位の画像の範囲に基づいて、外部画像から画像の特定部位を抽出することが可能である。
欠陥検出モジュール102は、抽出された特定部位の画像に対して欠陥検出処理を行う。具体的に、欠陥検出モジュール102は、抽出された特定部位の画像において欠陥画像を識別することができる。
一実施形態では、欠陥検出モジュール102は、様々な異なるアルゴリズムにより特定部位の画像において複数の異なるタイプの欠陥画像を識別することができる。各アルゴリズムは、特定タイプの欠陥画像を識別するために用いられ、各欠陥画像のそれぞれは異なる欠陥に対応している。これにより、欠陥検出モジュール102は、欠陥画像の位置に基づいて各欠陥の位置を確認し、用いられたアルゴリズム(例えば、突起検出アルゴリズム、シミ検出アルゴリズム、小ジワ検出アルゴリズム、又はくすみ検出アルゴリズム)に基づいて、検出された欠陥タイプ(突起、シミ、小ジワ又はくすみなど)を確認することができる。
図5の実施形態では、欠陥検出モジュール102は、少なくとも突起検出モジュール1021と、シミ検出モジュール1022と、小ジワ検出モジュール1023とを含むが、これらに限定されない。
突起検出モジュール1021は、特定部位の画像に対して突起検出処理を実行するために用いられる。具体的に、突起検出モジュール1021は、異なる複数の閾値に基づいて特定部位の画像に対して2値化処理を実行することで、複数枚の白黒手画像を生成し、各白黒手画像に対して突起検出処理を実行することで、白黒手画像において突起欠陥画像を識別し、突起欠陥画像が識別された白黒手画像が対応する閾値に基づいて、突起欠陥画像の突起度を設定することが可能である。
シミ検出モジュール1022は、特定部位の画像に対してシミ検出処理を実行するために用いられる。具体的に、シミ検出モジュール1022は、特定部位の画像の複数の特徴点から一部の特徴点(即ち、シミが発生しない領域、例えば爪や眼球)を除去し、フィルタリングされた複数の特徴点に基づいて、特定部位の画像において関心領域を設定し、関心領域に対してシミ検出処理を実行してシミ欠陥画像の位置及び範囲を識別する。
小ジワ検出モジュール1023は、特定部位の画像に対して小ジワ検出処理を実行するために用いられる。具体的に、小ジワ検出モジュール1023は、特定部位の画像において関心領域を設定し、関心領域に対して境界検出処理を実行してシワ画像を取得し、シワ画像に対して線分検出処理を実行して複数の線分画像の長さ及び位置を識別し、長さが小ジワ閾値以上である線分画像(即ち、シワではない線分、例えば、血管や筋の突起からなる比較的長い線分、又は掌紋からなる比較的長い線分を排除する)を除去し、残りの線分画像を複数の小ジワ欠陥画像とする。
マーキングモジュール103は、識別された欠陥画像をマーキングするために用いられる。具体的に、マーキングモジュール103は、欠陥画像の位置に基づいて特定部位の画像をマーキングすることが可能である。例えば、輪郭を用いてマーキングしたり(例えば、線分やパターンを用いて欠陥画像が対応する欠陥の外郭をマーキングする)、異なる色を用いてマーキングしたり(例えば、欠陥画像が対応する欠陥の範囲に赤色、黄色や緑色などの目立つ色で満たされる)してもよい。
応答モジュール104が、検出された各欠陥について対応する美容対策を提供するために用いられる。具体的に、データベース170には、複数の様々な美容対策(例えば、特定の化粧品によるカバー、又は特定の化粧品によるスキンケアなど)が格納され、各美容対策は、異なるタイプの欠陥に対応する。応答モジュール104は、欠陥画像が対応する欠陥のタイプに基づいて、データベース170から対応する美容対策を検索し、検索された美容対策を表示するように表示モジュール111を制御することができる。
本発明のいくつかの実施形態において、解析装置1及び解析方法は、手肌を解析するに用いられる。具体的に、解析モジュール1011は、外部画像において複数の手特徴点7を識別する。抽出モジュール1012は、複数の手特徴点7に基づいて、外部画像から手画像を識別し抽出する。そして、欠陥検出モジュール102は、手画像に対して様々な欠陥検出を行う。例えば、突起検出モジュール1021により手画像に対して突起検出を行ったり、シミ検出モジュール1022により手画像対してシミ検出を行ったり、又は、小ジワ検出モジュール1023により手画像に対して小ジワ検出を行ったりする。次に、マーキングモジュール103は、検出された欠陥に基づいて手画像をマーキングし、マーキングされた手画像を表示モジュール111に表示させる。最後に、応答モジュール104は、欠陥が対応する美容対策を検索して表示する。
これにより、ユーザは、表示モジュール111で手肌上の各欠陥の位置をチェックすることができ、同時に解析装置1から薦められる美容対策を得ることができる。
図6は、本発明の第1実施形態に係る手肌解析方法を示すフローチャートである。本発明の解析装置1は、処理ユニット10により上述したコンピュータが実行可能なプログラムコード(例えば、上述した各機能モジュール101〜104)を実行することにより、本発明の各実施形態の解析方法の各ステップを実現することができる。
なお、以下の説明では、手肌の解析を例示して説明するが、本発明の解析方法は手肌の解析に限定されるものではない。他の実施形態において、本発明の各実施形態に係る解析方法は、他の部位の肌の解析(例えば、顔の肌解析や背中の肌解析)に用いられてもよい。
本実施形態の解析方法は、皮膚解析機能を実現するための以下のステップを含む。
ステップS10:解析装置1の処理ユニット10は、撮像モジュール12を制御してユーザを撮影し、ユーザの外部画像(図8に示す外部画像61)を取得する。
一実施形態では、処理ユニット10は、撮影された外部画像61を表示するように表示モジュール111をリアルタイムに制御することができ、電子ミラー効果を実現することができる。
ステップS12:処理ユニット10は、手識別モジュール101により、外部画像61に対して手識別処理を行って、外部画像61において手画像を識別し、手画像の位置及び範囲を確認する。
ステップS14:処理ユニット10は、欠陥検出モジュール102により、識別された手画像に対して様々な欠陥検出処理を行って、手画像が対応する手肌に欠陥があるか否かを検出する。
具体的に、欠陥検出モジュール102は、異なる検出アルゴリズムにより手画像に対して異なる欠陥検出処理を実行することができる。欠陥検出モジュール102が手画像においていずれか1つの欠陥画像を識別した場合、ユーザの手肌に欠陥が存在すると判定し、用いられた検出アルゴリズムに基づいて、欠陥のタイプを確定することが可能である。
一実施形態では、欠陥検出モジュール102は、各欠陥画像をさらに解析して対応する各欠陥の重大度を判断することができる。例えば、各欠陥画像のサイズ又は範囲に基づいて各欠陥の重大度を決定する。
ステップS16:処理ユニット10は、マーキングモジュール103により、識別された欠陥画像に基づいて手画像をマーキングして、手画像の対応する位置にこの欠陥をマーキングする。
一実施形態では、欠陥画像が突起欠陥画像である場合、処理ユニット10は、突起欠陥画像の位置及び突起度に基づいて手画像をマーキングする。欠陥画像がシミ欠陥画像である場合、処理ユニット10は、シミ欠陥画像の位置及び範囲に基づいて手画像をマーキングする。欠陥画像が小ジワ欠陥画像である場合、処理ユニット10は、小ジワ欠陥画像の長さ及び位置に基づいて手画像をマーキングする。
ステップS18:処理ユニット10は、表示モジュール111によりマーキングされた手画像を表示する。
一実施形態では、処理ユニット10は、各欠陥が対応する欠陥のタイプをさらに表示するように解析装置1を制御してもよい(例えば、文字、画像又は音声によって表示や放送される)。或いは、処理ユニット10は、各欠陥のタイプ又は重大度に基づいて、データベース170から各欠陥についての説明を読み取り、表示モジュール111又はスピーカによって表示や放送されてもよい(例えば、文字、画像又は音声によって各欠陥の形成原因又は推奨する対処方法を説明する)。
本発明は、手の欠陥を自動的に検出し、手の欠陥をマーキングすることで、ユーザは、手の欠陥に対して直観的に対応する手段を取ることができ、メイクアップの技術的閾値を大きく低下させ、メイクアップ効率を向上させることができる。
図6、図7及び図8を併せて参照する。図7は、本発明の第2実施形態に係る手肌解析方法の一部を示すフローチャートである。図8は、手識別を示す概略図である。
図6に示す実施形態と比較して、本実施形態の解析方法のステップS12は、以下のステップをさらに含む。
ステップS20:解析装置1の処理ユニット10は、解析モジュール1011により外部画像61に対して特徴解析処理を行って、外部画像61において手の複数の特徴を識別する。
具体的には、上述した特徴解析処理では、外部画像61を自然特徴点ランドマーク(Feature Landmark)アルゴリズムで解析して、外部画像61における特定部位(以下、手を例として説明する)の特徴に対して位置決めを行うが、これに限定されない。さらに、上述した自然特徴点ランドマークは、Dlibライブラリ(Library)を用いて実現するものである。
図8を参照する。解析モジュール1011は、特徴解析処理を実行する際に、上述した自然特徴点ランドマークアルゴリズムによって外部画像61を解析する。上述した自然特徴点ランドマークアルゴリズムは、本技術分野において慣用技術であり、機械学習(Machine Learning)技術に基づいて、外部画像61に対して特定部位の解析を行って、外部画像61における1つ又は複数の特定部位(例えば、手、顔、足、首又は肩など。図8では、手を識別することが例示されている)の複数の特徴点(図8では、手特徴点7が例示されている)を識別し、各特徴点が上記の特別部位の異なる特徴にそれぞれ対応する。
手を識別する場合には、各特徴点は、各指の指関節、指の腹や指先、手のひら又は手首などにそれぞれ対応してもよい。顔を識別する場合には、各特徴点は、眉毛の眉山や眉頭、目の目尻や目頭、よび頭、鼻の鼻筋や鼻翼、或いは耳の耳殻や耳たぶなどにそれぞれ対応してもよい。特徴点の数は、68個の特徴点、198個の特徴点又は他の数量の特徴点であってもよいが、これらに限定されない。
また、上述した自然特徴点ランドマークアルゴリズムは、外部画像61に特定部位の複数の特徴点をさらにマーキングしてもよい。図8に示すように、自然特徴点ランドマークアルゴリズムは、外部画像61に複数の手特徴点7をマーキングすることができる。
一実施形態では、解析モジュール1011は、各特徴点が属する部位及び対応する特徴に基づいて各特徴点に対して番号付けを行うことが可能である。これにより、本発明は、複数の特徴点の番号、形状、シーケンスなどの情報に基づいて、外部画像において各部位の位置を確定して特定部位を識別することができる。
図7を再び参照する。ステップS20の後に、処理ユニット10は、解析モジュール1011により複数の手特徴点7が識別された後、ステップS22に進む。ステップS22において、処理ユニット10は、抽出モジュール1012により複数の手特徴点7に基づいて、外部画像61における手の位置及び/又は手の範囲を決定してもよい。
ステップS24:処理ユニット10は、抽出モジュール1012により決定された手の位置及び/又は手の範囲に基づいて外部画像61から手画像を抽出する。
これにより、本発明は、外部画像61において手画像を正確に識別して効果的に抽出することができる。また、本発明は、画像を抽出することにより、画像のデータ量及び画像サイズをより削減することができる。その結果、その後の欠陥検出の精度や検出速度を効果的に向上させることができる。
図6、図9及び図10A〜図10Cを併せて参照する。図9は、本発明の第3実施形態に係る手肌解析方法の一部を示すフローチャートである。図10Aは、本発明の突起検出を示す第1の概略図である。図10Bは、本発明の突起検出を示す第2の概略図である。図10Cは、本発明の突起検出を示す第3の概略図である。
本実施形態では、解析装置1は、突起検出機能を有する。この突起検出機能により、ユーザのメイクアップの基礎として、ユーザの肌の突起欠陥(血管、傷跡や筋などによる突起欠陥)の位置や突起度を自動的に検出することができる。図6に示す実施形態と比較して、本実施形態の解析方法のステップS14は、以下のステップをさらに含む。
ステップS30:解析装置1の処理ユニット10は、突起検出モジュール1021により複数の異なる閾値を取得する。ここで、異なる閾値は、異なる突起度にそれぞれ対応する。
一実施形態では、各閾値は、ユーザが手画像の画素値範囲に基づいて予め設定され、メモリ17に記憶されるようにしているが、これに限定されない。
例えば、手画像が8ビットのグレースケール(画素値範囲が0〜255)である場合、閾値は、3つ(例えば64,128,192)であり、3つの突起度(例えば、「軽」、「中」、「重」など)に対応してもよい。
他の実施形態では、解析装置1は、手画像の明暗分布に基づいて基準画素値を決定し、基準画素値及び画素値範囲に基づいて特定数の閾値を設定してもよい。
例えば、手画像が8ビットのグレースケール(画素値0が最も暗く、画素値255が最も明るい)である場合、閾値が2つであり、2つの突起度に対応する。突起部分の色がその他の正常部分よりも暗い(突起度が高いほど色が暗く、画素値が小さい)ため、解析装置1は、手画像の肌領域の複数の画素の平均画素値(例えば、128)を基準画素値とし、基準画素値から異なるデフォルト値(例えば、40,64)を差し引いて、その計算結果を閾値(例えば、88,64)とし、異なる突起度(例えば、閾値88が突起度「軽」に対応し、閾値64が突起度「重」に対応する)にそれぞれ対応することになる。
ステップS32:処理ユニット10は、突起検出モジュール1021により各閾値に基づいて手画像に対して2値化処理を行って、複数枚の白黒手画像を生成する。
一実施形態では、処理ユニット10は、まず、カラー手画像をグレースケールの手画像に変換した後、各閾値に基づいてグレースケールの手画像に対して2値化処理を行って、複数枚の白黒手画像を得る。
なお、上述した2値化処理は、グレースケールの手画像の各画素の画素値と閾値とを逐一比較するものである。各画素の画素値が閾値より大きい場合には、白黒手画像の対応位置の画素の色を白に設定する一方、各画素の画素値が閾値以下の場合には、白黒手画像の対応位置の画素の色を黒に設定する。
一般的に、低画素値(例えば0)は暗い色(例えば黒色)を表し、高画素値(例えば255)は明るい色(例えば白色)を表示する。そのため、2値化処理に用いる閾値が大きいほど、生成される白黒手画像の各画素が黒である確率が高くなる。即ち、突起度が低い突起欠陥及び突起度が高い突起欠陥は、共に生成された白黒手画像に表示されることになる。一方、2値化処理に用いる閾値が小さいほど、生成される白黒手画像の各画素が黒である確率が低くなる。即ち、突起度が高い突起欠陥のみが、生成された白黒手画像に表示されることができる。
これにより、本発明は、異なる閾値を設定することにより、白黒手画像に異なる程度を有する突起欠陥を効果的に表示することができる。
例えば、図10A〜図10Cに示すように、処理ユニット10は、カラー手画像81に対してグレースケール処理を行ってグレースケール手画像を取得した後、第1の閾値(例えば128)と第2の閾値(例えば64)に基づいて、グレースケール手画像に対して2値化処理を行って、1枚目の白黒手画像82と2枚目の白黒手画像83をそれぞれ得ることができる。
ステップS34:処理ユニット10は、突起検出モジュール1021により各白黒手画像に対して突起検出処理を行って、白黒手画像における突起欠陥画像を識別する。ここで、各突起欠陥画像は、肌の突起欠陥にそれぞれに対応する。突起検出処理は、画像処理技術の分野での慣用技術であるため、その説明を省略する。
例えば、図10B及び図10Cに示すように、処理ユニット10は、1枚目の白黒手画像82に対して突起検出処理を行って、3つの突起欠陥画像91〜93を識別してもよい。また、処理ユニット10は、2枚目の白黒手画像83に対して突起検出処理を行って、1つの突起欠陥画像93を識別してもよい。
ステップS36:処理ユニット10は、突起検出モジュール1021により識別された突起欠陥画像の各白黒手画像が対応する各閾値に基づいて、各突起欠陥画像が対応する突起欠陥の突起度を設定する。
一実施形態では、処理ユニット10は、複数枚の白黒手画像における同じ突起欠陥に対応する突起欠陥画像を識別すると、複数枚の白黒手画像が対応する複数の閾値を取得し、そのうち最も高い突起度を選択してこの突起の突起度としてもよい。
例えば、図10B及び図10Cに示すように、白黒手画像82を生成するための第1の閾値の対応する突起度が「軽」であり、白黒手画像83を生成するための第2の閾値の対応する突起度が「重」である場合に、処理ユニット10は、突起欠陥画像91〜92が対応する突起欠陥の突起度を「浅」に設定し、突起欠陥画像93が対応する突起欠陥の突起度を「重」に設定してもよい。
これにより、本発明は、突起欠陥を効果的に識別し、各突起欠陥の突起度を正確に判断することができる。
図6、図11及び図12A〜図12Bを併せて参照する。図11は、本発明の第4実施形態に係る手肌解析方法の一部を示すフローチャートである。図12Aは、本発明のシミ検出を示す第1の概略図である。図12Bは、本発明のシミ検出を示す第2の概略図である。
本実施形態では、解析装置1は、シミ検出機能を有する。このシミ検出機能により、ユーザのメイクアップの基礎として、肌のシミ欠陥(紅斑やそばかすなど)の位置を自動的に検出することができる。図6に示す実施形態と比較して、本実施形態の解析方法のステップS14は、以下のステップをさらに含む。
ステップS40:解析装置1の処理ユニット10は、シミ検出モジュール1022により特徴解析処理された手画像84を取得し、手画像84の複数の手特徴点71を識別して、複数の手特徴点71において爪に対応する複数の爪特徴点72を識別する。次に、処理ユニット10は、手特徴点71から識別された爪特徴点72をフィルタリングし、フィルタリングされた手画像85を生成する。ここで、フィルタリングされた手画像85は、爪部位を含まない。
ステップS42:処理ユニット10は、シミ検出モジュール1022により、フィルタリングされた手画像85において関心領域を設定する。図12Bに示すように、手画像85の関心領域(即ち、表示された手領域)は、爪画像を含まない。
なお、爪部分にはシミが生成しないので、本発明は、予め爪画像をフィルタリングすることにより、その後のシミ検出の精度及び処理速度を効果的に向上させることができる。
ステップS44:処理ユニット10は、シミ検出モジュール1022により関心領域に対してシミ検出処理を行って、手画像85において複数のシミ画像を識別し、各シミ画像の位置及び範囲(例えば、面積や長さ)を確認する。
上述したシミ検出処理は、画像処理技術の分野での慣用技術であり、主に肌検出のpore analyzeアルゴリズムを基に、ヒストグラム解析(例えば、RGB色空間又はLAB色空間をサンプリングしてヒストグラム解析を行う)及び2値化演算を結合して検出を行うものである。ここで、その説明を省略する。
ステップS46:処理ユニット10は、シミ検出モジュール1022により複数のシミ画像に対してフィルタリング処理を行って、シミ閾値よりも小さい範囲のシミ画像を除去し、残りのシミ画像をシミ欠陥画像とする。次に、処理ユニット10は、シミ検出モジュール1022により、残りのシミ画像をシミ欠陥画像として設定する。
具体的に、処理ユニット10は、メモリ17から予め設定されたシミ閾値(例えば、面積が0.3cm、又は長さが0.5cm)を読み取り、各シミ画像の範囲(例えば、各シミ画像の面積又は長さ)とシミの閾値とを逐一比較する。また、処理ユニット10は、いずれかのシミ画像の範囲がシミの閾値よりも小さい場合、このシミ画像がシミ欠陥画像ではない(例えば、血管や筋の突起によって形成された類似シミ画像や影で形成される類似シミ画像)と判断するので、その後のマーキング処理を行う必要はない。処理ユニット10は、いずれかのシミ画像の範囲がシミ閾値値以上である場合、このシミ画像がシミ欠陥画像であると判断するので、その後のマーキング処理を行う必要がある。
これにより、本発明は、シミ欠陥を効果的に識別し、各シミ欠陥の位置及び範囲を正確に判断することができる。
図12Bに示すように、処理ユニット10は、手画像85の関心領域において複数枚のシミ画像94〜96を識別し、シミ閾値よりも小さい範囲のシミ画像94をフィルタリングし、残りのシミ画像95,96をシミ欠陥画像(即ち、シミ欠陥画像95,96が異なるシミ欠陥に対応する)として設定してもよい。
これにより、本発明は、シミ欠陥を効果的に識別し、各シミ欠陥の位置及び範囲を正確に判断することができる。
図6、図13及び図14A〜図14Cを併せて参照する。図13は、本発明の第5実施形態に係る手肌解析方法の一部を示すフローチャートである。図14Aは、本発明の小ジワ検出を示す第1の概略図である。図14Bは、本発明の小ジワ検出を示す第2の概略図である。図14Cは、本発明の小ジワ検出を示す第3の概略図である。
本実施形態では、解析装置1は、小ジワ検出機能を有する。この小ジワ検出機能により、ユーザのメイクアップの基礎として、肌の小ジワ欠陥の位置を自動的に検出することができる。図6に示した実施形態と比較して、本実施形態の解析方法のステップS14は、以下のステップをさらに含む。
ステップS50:解析装置1の処理ユニット10は、小ジワ検出モジュール1023により、手画像86において関心領域を設定する。
一実施形態では、処理ユニット10は、爪特徴点をフィルタリングした後の複数の手特徴点73に基づいて、手画像86において関心領域(図14Aに示す)を設定する。つまり、設定された関心領域は、爪画像を含まない。
なお、爪部分には小ジワが生成しないので、本発明は、予め爪画像をフィルタリングすることにより、その後の小ジワ検出の精度や処理速度を効果的に向上させることができる。
ステップS52:処理ユニット10は、小ジワ検出モジュール1023により、手画像86における関心領域に対して境界検出処理を行って、シワ手画像を得る。
上述した境界検出処理は、画像処理技術の分野での慣用技術であり、主にCannyのエッジ検出アルゴリズムに基づいて関心領域に対してエッジ解析を行い、白黒のシワ手画像(図14Bに示すシワ手画像87)を生成する。ここで、その処理の詳細については省略する。
ステップS54:処理ユニット10は、小ジワ検出モジュール1023によりシワ手画像87に対して線分検出処理を行って、シワ手画像87において複数の線分画像97を識別し、各線分画像97の長さ及び位置を確認する。
このような線分検出処理は、画像処理技術の分野での慣用技術であり、主にシワ手画像87に含まれる複数の線分画像97を識別し、各線分画像97が対応する線分の長さ及び位置を算出することができる。ここで、その処理の詳細については省略する。
ステップS56:処理ユニット10は、小ジワ検出モジュール1023により、長さが小ジワ閾値以上である線分画像97を除去し、残りの複数の線分画像97を複数の小ジワ欠陥画像とする。
具体的に、処理ユニット10は、メモリ17から予め設定された小ジワ閾値を読み取り、各線分画像97の線分の長と小ジワ閾値とを逐一比較する。また、処理ユニット10は、いずれかの線分画像97の線分の長さが小ジワ閾値以上である場合、この線分画像97が小ジワ欠陥画像ではない(例えば、血管や筋の突起によって形成された線分画像、又は掌紋によって形成された比較的長い線分画像)と判定し、その後のマーキング処理を必要としない。
ステップS58:処理ユニット10は、小ジワ検出モジュール1023により、残りの線分画像97を小ジワ欠陥画像(例えば、図14Cに示すシワ手画像88の複数の小ジワ欠陥画像98)として設定する。
一実施形態では、処理ユニット10は、いずれかの線分画像97の線分の長さが小ジワ閾値より短い場合、この線分画像97が小ジワ欠陥画像98であると判定する。
これにより、本発明は、小ジワを効果的に識別し、各小ジワ欠陥の位置及び長さを正確に判断することができる。
図6及び図15を併せて参照する。図15は、本発明の第6実施形態に係る手肌解析方法の一部を示すフローチャートである。
本実施形態では、解析装置1は、提案機能を有する。この提案機能により、検出された異なる欠陥について、ユーザが欠陥を処理する際の参考として、具体的なアドバイスを提供することができる。
図6に示す実施形態と比較して、本実施形態の解析方法は、ステップS18の後に、以下のステップをさらに含む。
ステップS60:解析装置1の処理ユニット10は、応答モジュール104により、検出された各欠陥の位置、タイプ、範囲又は重大度に基づいて、データベース170から対応する美容対策を検索する。
一実施形態では、処理ユニット10は、ユーザの生体情報(例えば、肌色)及び各欠陥の情報に基づいてデータベース170を検索する。また、ユーザは、データベース170においてユーザが所持する化粧品のデータを予め作成しても良い。上述した美容対策は、ユーザが所持する特定化粧品を使用して対処することを推奨する。
例えば、ユーザの肌色が比較的白であり、シミ欠陥の色が暗い場合、美容対策は、最良のカバー効果を達成するために、「コンシーラーでカバーする」ようユーザにアドバイスしてもよい。
別の例では、小ジワ欠陥の数が多く、分散の領域が広い場合、美容対策は、コストを節約するために、「比較的安価な化粧品でカバーする」ようユーザにアドバイスしてもよい。
ステップS62:解析装置1の処理ユニット10は、応答モジュール104により、検索された美容対策を表示するように表示モジュール111を制御する。
これにより、本発明は、検出された欠陥のタイプに応じて適切な美容対策をメイクアップの基礎として経験不足のユーザに提供し、ユーザ体験を効果的に向上させることができる。
以上、本発明の好ましい実施形態を挙げて説明したが、これは本発明の実施形態の一例に過ぎない。説明した実施形態は、本発明の範囲を限定するものではないことが理解されたい。当業者であれば本発明の概念又は技術的思想を含む各種の変動や交換は、本発明の保護を求める範囲内に属するものである。
1…(生体情報)解析装置
10…処理ユニット
101…手識別モジュール
1011…解析モジュール
1012…抽出モジュール
102…欠陥検出モジュール
1021…突起検出モジュール
1022…シミ検出モジュール
1023…小ジワ検出モジュール
103…マーキングモジュール
104…応答モジュール
11…ミラースクリーン
111…表示モジュール
12…撮像モジュール
13…ボタン
14…センサ
15…入力インタフェース
16…無線伝送モジュール
17…メモリ
170…データベース
2…電子装置
21…ソフトウェア
3…ワイヤレスルータ
4…インターネット
5…サーバー
6…鏡像
61…外部画像
7、71、73…手特徴点
72…爪特徴点
81−88…手画像
91−93…突起欠陥画像
94−96…シミ画像
97…線分画像
98…小ジワ欠陥画像

Claims (15)

  1. 生体情報解析装置に用いられる手肌解析方法であって、
    (a)外部画像を撮影するように前記生体情報解析装置の撮影モジュールを制御するステップと、
    (b)前記外部画像において手画像を識別するように前記生体情報解析装置の処理ユニットを制御するステップと、
    (c)前記手画像において欠陥に対応する欠陥画像を識別するステップと、
    (d)前記欠陥画像の位置に基づいて前記手画像をマーキングするステップと、
    (e)マーキングされた前記手画像を表示するように前記生体情報解析装置の表示モジュールを制御するステップと、を含むことを特徴とする手肌解析方法。
  2. 前記ステップ(b)は、
    (b1)前記外部画像において手の異なる特徴にそれぞれ対応する複数の手特徴点を識別するステップと、
    (b2)前記複数の手特徴点に基づいて手位置と手範囲とを決定するステップと、
    (b3)前記手位置と前記手範囲とに基づいて前記外部画像から前記手画像を抽出するステップと、を含むことを特徴とする請求項1に記載の手肌解析方法。
  3. 前記ステップ(c)は、
    (c11)異なる複数の閾値を取得するステップと、
    (c12)各前記閾値に基づいて前記手画像に対して2値化処理を実行して複数枚の白黒手画像を生成するステップと、
    (c13)各前記白黒手画像に対して突起検出処理を実行して少なくとも1つの前記白黒手画像において突起欠陥画像を識別するステップと、
    (c14)前記突起欠陥画像が識別された前記白黒手画像が対応する前記閾値に基づいて、前記突起欠陥画像の突起度を設定するステップと、を含むことを特徴とする請求項2に記載の手肌解析方法。
  4. 前記ステップ(d)は、前記突起欠陥画像の前記白黒手画像における位置及び前記突起度に基ついて前記手画像をマーキングすることを特徴とする請求項3に記載の手肌解析方法。
  5. 前記ステップ(c)は、
    (c21)前記複数の手特徴点から爪に対応する複数の爪特徴点をフィルタリングするステップと、
    (c22)フィルタリングされた前記複数の手特徴点に基づいて、前記手画像において関心領域を設定するステップと、
    (c23)複数のシミ画像を識別するように前記関心領域に対してシミ検出処理を実行し、各前記シミ画像の位置及び範囲を確定するステップと、
    (c24)範囲がシミ閾値より小さい1つ又は複数の前記シミ画像を除去し、残りの前記シミ画像をシミ欠陥画像とするステップと、を含むことを特徴とする請求項2に記載の手肌解析方法。
  6. 前記ステップ(d)は、前記シミ欠陥画像の位置及び範囲に基づいて前記手画像をマーキングすることを特徴とする請求項5に記載の手肌解析方法。
  7. 前記ステップ(c)は、
    (c31)前記手画像において関心領域を設定するステップと、
    (c32)前記関心領域に対して境界検出処理を実行してシワ手画像を取得するステップと、
    (c33)前記シワ手画像に対して線分検出処理を実行して複数の線分画像を識別し、各前記線分画像の長さ及び位置を確定するステップと、
    (c34)線分の長さが小ジワ閾値以上である1つ又は複数の前記線分画像を除去し、残りの1つ又は複数の前記線分画像を1つ又は複数の小ジワ欠陥画像とするステップと、を含むことを特徴とする請求項2に記載の手肌解析方法。
  8. 前記ステップ(d)は、前記小ジワ欠陥画像の長さ及びそれの前記シワ手画像における位置に基づいて前記手画像をマーキングすることを特徴とする請求項7に記載の手肌解析方法。
  9. (f1)前記欠陥画像が対応する前記欠陥のタイプに基づいて、データベースから対応する美容対策を検索するステップと、
    (f2)前記美容対策を表示するように表示モジュールを制御するステップと、をさらに含むことを特徴とする請求項1に記載の手肌解析方法。
  10. 生体情報解析装置であって、外部画像を撮像する撮像モジュールと、前記撮像モジュールに電気的に接続される処理ユニットとを備え、
    前記処理ユニットは、
    前記外部画像において手画像を識別するための手識別モジュールと、
    前記手画像において欠陥に対応する欠陥画像を識別するための欠陥検出モジュールと、
    前記欠陥画像の位置に基づいて前記手画像をマーキングするためのマーキングモジュールと、
    前記処理ユニットに電気的に接続され、マーキングされた前記手画像を表示するための表示モジュールと、を含むことを特徴とする生体情報解析装置。
  11. 前記手識別モジュールは、
    前記外部画像において手の異なる特徴にそれぞれ対応する複数の手特徴点を識別し、前記複数の手特徴点に基づいて手位置と手範囲とを決定する解析モジュールと、
    前記手位置と前記手範囲とに基づいて前記外部画像から前記手画像を抽出する抽出モジュールと、を含むことを特徴とする請求項10に記載の生体情報解析装置。
  12. 前記欠陥検出モジュールは、突起検出モジュールを含み、
    前記突起検出モジュールは、異なる複数の閾値に基づいて前記手画像に対して2値化処理を実行して複数枚の白黒手画像を生成し、各前記白黒手画像に対して突起検出処理を実行して前記白黒手画像において突起欠陥画像を識別し、前記突起欠陥画像が識別された前記白黒手画像が対応する前記閾値に基づいて、前記突起欠陥画像の突起度を設定し、
    前記マーキングモジュールは、前記突起欠陥画像の前記白黒手画像における位置及び前記突起度に基ついて前記手画像をマーキングすることを特徴とする請求項11に記載の生体情報解析装置。
  13. 前記欠陥検出モジュールは、シミ検出モジュールを含み、
    前記シミ検出モジュールは、前記複数の手特徴点から爪に対応する複数の爪特徴点をフィルタリングし、フィルタリングされた前記複数の手特徴点に基づいて、前記手画像において関心領域を設定し、前記関心領域に対してシミ検出処理を実行して複数のシミ画像を識別するとともに各前記シミ画像の位置及び範囲を確定し、範囲がシミ閾値より小さい1つ又は複数の前記シミ画像を除去し、残りの前記シミ画像をシミ欠陥画像とし、
    前記マーキングモジュールは、前記シミ欠陥画像の位置及び範囲に基づいて前記手画像をマーキングすることを特徴とする請求項11に記載の生体情報解析装置。
  14. 前記欠陥検出モジュールは、小ジワ検出モジュールを含み、
    前記小ジワ検出モジュールは、前記手画像において関心領域を設定し、前記関心領域に対して境界検出処理を実行してシワ手画像を取得し、前記シワ手画像に対して線分検出処理を実行して複数の線分画像を識別し、各前記線分画像の長さ及び位置を確定し、長さが小ジワ閾値以上である1つ又は複数の前記線分画像を除去し、残りの1つ又は複数前記線分画像を1つ又は複数の小ジワ欠陥画像とし、
    前記マーキングモジュールは、前記小ジワ欠陥画像の長さ及びそれの前記シワ手画像における位置に基づいて前記手画像をマーキングすることを特徴とする請求項11に記載の生体情報解析装置。
  15. 前記処理ユニットに電気的に接続されるデータベースをさらに備え、
    前記処理ユニットは、応答モジュールをさらに含み、
    前記応答モジュールは、前記欠陥画像のタイプに基づいて、データベースから対応する美容対策を検索し、
    前記表示モジュールは、前記美容対策を表示することを特徴とする請求項10に記載の生体情報解析装置。
JP2017251891A 2017-09-08 2017-12-27 生体情報解析装置及び手肌解析方法 Active JP6799525B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710803833.5A CN109493310A (zh) 2017-09-08 2017-09-08 身体信息分析装置及其手部肌肤分析方法
CN201710803833.5 2017-09-08

Publications (2)

Publication Number Publication Date
JP2019048026A true JP2019048026A (ja) 2019-03-28
JP6799525B2 JP6799525B2 (ja) 2020-12-16

Family

ID=61005671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251891A Active JP6799525B2 (ja) 2017-09-08 2017-12-27 生体情報解析装置及び手肌解析方法

Country Status (6)

Country Link
US (1) US10423824B2 (ja)
EP (1) EP3454297A1 (ja)
JP (1) JP6799525B2 (ja)
KR (1) KR20190028258A (ja)
CN (1) CN109493310A (ja)
MA (1) MA47023A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108059A (ja) * 2019-12-27 2021-07-29 B−by−C株式会社 画像処理システム、画像処理方法、および画像処理プログラム
JP2021171527A (ja) * 2020-04-28 2021-11-01 ヤーマン株式会社 情報処理装置、プログラム及びシステム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362128A1 (en) * 2018-05-23 2019-11-28 Wen-Kuei Liu Knuckle-print identification system
US11882918B2 (en) * 2018-05-28 2024-01-30 Boe Technology Group Co., Ltd. Make-up assistance method and apparatus and smart mirror
JP7135472B2 (ja) * 2018-06-11 2022-09-13 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001000419A (ja) * 1999-06-14 2001-01-09 Procter & Gamble Co:The 肌のイメージング及び分析システムとその方法
JP2003220036A (ja) * 2001-10-01 2003-08-05 L'oreal Sa 画像取得の較正方法およびシステム
US20110116691A1 (en) * 2009-11-13 2011-05-19 Chung Pao-Choo Facial skin defect resolution system, method and computer program product
JP2012249917A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
JP2014512900A (ja) * 2011-03-24 2014-05-29 レツド・ソフト・アイ・テイー−サービス・ゲー・エム・ベー・ハー 皮膚の炎症値を判定する装置および方法
JP2014219781A (ja) * 2013-05-07 2014-11-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
JP2016032556A (ja) * 2014-07-31 2016-03-10 大日本印刷株式会社 写真撮影装置、肌診断方法、プログラム、及び、肌診断システム
JP2016112024A (ja) * 2013-08-08 2016-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置の制御方法および画像処理方法
CN106983493A (zh) * 2017-03-04 2017-07-28 武汉嫦娥医学抗衰机器人股份有限公司 一种基于三光谱的皮肤图像处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944898B1 (fr) * 2009-04-23 2018-03-16 Lvmh Recherche Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique
US8401300B2 (en) * 2009-12-14 2013-03-19 Conopco, Inc. Targeted image transformation of skin attribute
JP6008323B2 (ja) * 2013-02-01 2016-10-19 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6251489B2 (ja) * 2013-03-28 2017-12-20 株式会社 資生堂 画像解析装置、画像解析方法、及び画像解析プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001000419A (ja) * 1999-06-14 2001-01-09 Procter & Gamble Co:The 肌のイメージング及び分析システムとその方法
JP2003220036A (ja) * 2001-10-01 2003-08-05 L'oreal Sa 画像取得の較正方法およびシステム
US20110116691A1 (en) * 2009-11-13 2011-05-19 Chung Pao-Choo Facial skin defect resolution system, method and computer program product
JP2014512900A (ja) * 2011-03-24 2014-05-29 レツド・ソフト・アイ・テイー−サービス・ゲー・エム・ベー・ハー 皮膚の炎症値を判定する装置および方法
JP2012249917A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
JP2014219781A (ja) * 2013-05-07 2014-11-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
JP2016112024A (ja) * 2013-08-08 2016-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置の制御方法および画像処理方法
JP2016032556A (ja) * 2014-07-31 2016-03-10 大日本印刷株式会社 写真撮影装置、肌診断方法、プログラム、及び、肌診断システム
CN106983493A (zh) * 2017-03-04 2017-07-28 武汉嫦娥医学抗衰机器人股份有限公司 一种基于三光谱的皮肤图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHANTHARAPHAICHI, T., ET AL.: "Automatic Acne Detection for Medical Treatment", 2015 6TH INTERNATIONAL CONFERENCE OF INFORMATION AND COMMUNICATION TECHNOLOGY FOR EMBEDDED SYSTEMS (, JPN6019049198, 22 March 2015 (2015-03-22), pages 10 - 1109, ISSN: 0004318108 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108059A (ja) * 2019-12-27 2021-07-29 B−by−C株式会社 画像処理システム、画像処理方法、および画像処理プログラム
JP7442171B2 (ja) 2019-12-27 2024-03-04 B-by-C株式会社 画像処理システム、画像処理方法、および画像処理プログラム
JP2021171527A (ja) * 2020-04-28 2021-11-01 ヤーマン株式会社 情報処理装置、プログラム及びシステム
WO2021220721A1 (ja) * 2020-04-28 2021-11-04 ヤーマン株式会社 情報処理装置、プログラム及びシステム
JP7471138B2 (ja) 2020-04-28 2024-04-19 ヤーマン株式会社 情報処理装置、プログラム及びシステム

Also Published As

Publication number Publication date
MA47023A (fr) 2021-04-21
JP6799525B2 (ja) 2020-12-16
KR20190028258A (ko) 2019-03-18
EP3454297A1 (en) 2019-03-13
CN109493310A (zh) 2019-03-19
US20190080162A1 (en) 2019-03-14
US10423824B2 (en) 2019-09-24

Similar Documents

Publication Publication Date Title
JP6799525B2 (ja) 生体情報解析装置及び手肌解析方法
KR102420100B1 (ko) 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP4574249B2 (ja) 画像処理装置及びその方法、プログラム、撮像装置
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
KR100572227B1 (ko) 얼굴화상 보정방법, 장치 및 얼굴화상 보정 프로그램이 기록된 기록매체
CN110235169B (zh) 化妆评价系统及其动作方法
JP6568606B2 (ja) 身体情報分析装置およびそのアイシャドウの分析方法
RU2016107189A (ru) Устройства, системы и способы виртуализации зеркала
CN109076159A (zh) 电子设备及其操作方法
JP2019037742A (ja) 身体情報分析装置およびそのリップメイクの分析方法
JP2015023403A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2014023127A (ja) 情報表示装置、情報表示方法、制御プログラム、および記録媒体
JP6498802B1 (ja) 生体情報解析装置及びその顔型のシミュレーション方法
JP6629150B2 (ja) 手のひら検知装置、掌紋認証装置、手のひら検知方法、及びプログラム
JP6547012B2 (ja) 生体情報解析装置及びその基礎化粧解析方法
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
JP2014102713A (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN113673536B (zh) 一种图像颜色提取方法、系统及介质
CN115393962A (zh) 动作识别方法、头戴显示设备和存储介质
WO2021029091A1 (ja) 情報処理システム、および情報処理方法
JP2013197827A (ja) 撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末
WO2020133405A1 (zh) 一种地面遥控机器人的控制方法和装置
TWI722705B (zh) 臉部肌肉特徵點自動標記方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201120

R150 Certificate of patent or registration of utility model

Ref document number: 6799525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150