JP2006081847A - 肌解析ネットワークシステム - Google Patents

Abstract

【課題】サーバで肌解析することによる画像送受信に起因する通信トラフィック及び通信コストの増大や解析結果表示までの応答速度の低下、サーバ費用の増大を防止し、画像の容量と解析速度・精度の背反関係を解消する。
【解決手段】計測端末１０、６０で肌や体幹の計測データを解析して生体計測データを得て、画像でなく該生体計測データを、ネットワーク（２０）を介して、被検者の属性情報や嗜好情報、周辺情報と共にデータベース３０に格納し、サーバ３２で、各データを組合せて、被検者への提供情報や販売促進支援情報を得る。
【選択図】図１

Description

本発明は、肌解析ネットワークシステムに係り、特に、画像送受信に起因する通信トラフィックの増大及び応答速度の低下を招くことが無い肌解析ネットワークシステム、これを実現するためのコンピュータプログラム、及び、この肌解析ネットワークシステム用計測端末に関する。

人の顔の画像情報に基づいて肌の状態を解析するスタンドアローン型の肌解析システムが開発されている（特許文献１乃至６参照）。

しかしながらスタンドアローン型では、美容評価に用いる平均値データの更新が困難であり、データベースを備えるサーバと各端末とのやり取りができないという問題点がある。

このような問題点を解消するものとして、画像情報を取得する端末と、肌診断機能を備えたサーバを、ネットワークを介して接続することも提案されている（特許文献７乃至９参照）。

更に、肌診断結果を利用した、ネットワークを使う健康管理や化粧品発注システムも提案されている（特許文献１０乃至１４参照）。

又、画像を用いた、毛穴の評価方法（特許文献１５参照）や、しみやそばかすの評価方法（特許文献１６、１７参照）も提案されている。

又、骨格モデルを用いた顔画像の年齢変化シミュレーション（非特許文献１）や正面顔画像のカージオイド変換が年齢認知に及ぼす影響について（非特許文献２）の研究もなされている。

特開２００１−４１９号公報 特開平１０−２０１７４０号公報 特開２００１−１０４０５０号公報 特許第３５３０５２３号公報 特開２００４−１０５７４８号公報 特開２００４−１０５７４９号公報 特開２００２−１５０６８号公報 特開２００２−２２４０４９号公報 特開２００３−７０７４９号公報 特開２００３−３６３１１号公報 特許第３４０８５２４号公報 特開２００４−８６３２４号公報 特開２００３−３４５８９５号公報 特開２００４−５１５６号公報 特開平７−５５４４７号公報 特開２００３−２９０１５１号公報 特開２００３−１４４３９３号公報 電子情報通信学会論文誌Ａ Ｖol.Ｊ８０−Ａ Ｎo.８ pp.1312-1315（１９９７年８月） 電子情報通信学会論文誌Ａ Ｖol.Ｊ８０−Ａ Ｎo.８ pp.1250-1259（１９９７年８月）

しかしながら、従来の肌解析ネットワークシステムにおいては、大量の画像情報をネットワークを介してサーバに送り、サーバで肌解析していたので、ネットワークにおける通信遮断の危険、画像送受信に起因する通信トラフィックや通信コストの増大及び解析結果表示までの応答速度の低下、サーバ費用の増大という問題点を有していた。

本発明は、前記従来の問題点を解決するべくなされたもので、通信トラフィックや通信コスト及びサーバ費用を増大させたり、応答速度を低下させることなく、高精度の解析を可能とすることを第１の課題とする。

本発明は、又、本発明に係る肌解析ネットワークシステムに用いるのに好適な計測端末を提供することを第２の課題とする。

本発明は、肌解析ネットワークシステムにおいて、肌や体幹の計測データを解析して、生体計測データを得るための計測端末と、前記生体計測データが、ネットワークを介して、被検者の属性情報や嗜好情報、周辺情報と共に格納されるデータベースと、各データを組合せて、被検者への提供情報や販売促進支援情報を得るサーバとを備えることにより、前記第１の課題を解決したものである。

又、前記計測端末が、顔の全景画像を取得して、顔面の特徴点（例えば目尻、小鼻の鼻翼端、口元の口角端、目頭等）を認識するようにして、顔面皮膚評価の自動化を可能としたものである。

又、前記計測端末が、体の画像を取得して、体の特徴点（例えば脇の下、鼠けい部（正面）又は臀部の合わせ目（背面）等）を認識するようにして、ボディ評価の自動化を可能としたものである。

又、前記計測端末が、スコープカメラと、タブレット型パソコンと、タッチパネルと、解析ソフトウェアを含むようにしたものである。

又、前記計測端末に、油水分計を追加可能として、より高精度の肌解析を可能としたものである。

又、前記生体計測データが、色素沈着部位、毛穴部位、しわ部位、皮溝部位、たるみ部位（例えば目元、頬、顎周辺）、アクネ（にきび）部位、紅斑部位、顔の表面に血管が拡がって浮き出てきた血管拡張部位（例えば鼻尖部、顔全体）、スキントーン、油分量、水分量、弾力の少なくともいずれか一つを含むようにしたものである。

又、前記周辺情報が、在庫管理データ、ＰＯＳ（Ｐoint of Ｓales）データ、顧客クレームデータの少なくともいずれか一つを含むようにしたものである。

又、前記被検者への提供情報の少なくとも一部が、被検者の携帯電話やパソコン端末に表示されるようにして、簡便にチェックできるようにしたものである。

又、前記被検者への提供情報が、生体評価データや商品紹介データを含むようにしたものである。

又、前記生体評価データが、肌評価データ（例えば、しみ、しわ、くすみ、毛穴、肌理、油分水分量の少なくともいずれか一つ）と体幹評価データ（例えば、たるみの気になる部分の引き締まり度合を評価したスリミング、肌の光沢度を評価した肌透明感、ボリュームの不足する部分の向上を示すファーミング、無駄毛の気になる部分の産毛量を評価した無駄毛処理、太腿周りの気になる脂肪塊を評価したセルライト、たるみの気になる部分の引き上げ度合を評価したリフトアップのいずれか一つ）を含むようにしたものである。

又、前記被検者が、診断や処置の予約情報を入力可能としたものである。

又、前記被検者が、他者との比較データを閲覧可能としたものである。

本発明は、又、前記の肌解析ネットワークシステムを実現するためのコンピュータプログラムを提供するものである。

本発明は、又、スコープカメラと、タブレット型パソコンと、タッチパネルと、解析ソフトウェアを備えたことを特徴とする肌解析ネットワークシステム用計測端末により、前記第２の課題を解決したものである。

本発明によれば、ネットワークを介して大量の画像情報をサーバに送るのを止め、計測端末で高精度の画像を解析して生体計測データを抽出し、加工した後の生体計測データ（文字や数値データ）のみをネットワークを介してサーバに送るようにしたので、サーバで肌解析することによる画像の容量と解析速度及び速度の背反を解消することができ、画像送受信に起因する通信トラフィックや通信コストやサーバ費用の増大及び応答速度の低下を防ぐことができる。

以下図面を参照して、本発明の実施形態を詳細に説明する。

本発明の第１実施形態は、図１に示す如く、病院、クリニックや化粧品売場等に配置された、肌や体幹の計測データを解析して、生体計測データを得るための、例えば顔画像撮影ボックス１１、ＣＣＤカメラ１２、パソコン（ＰＣ）１５、ディスプレイ１６を備えた肌・体幹計測端末１０と、前記生体計測データが、インターネット２０を介して、被検者の属性情報や嗜好情報、周辺情報と共に格納されるデータベース（ＤＢ）３０と、解析結果ＤＢと商品ＤＢや顧客ＤＢとの連動、又は、複数端末のデータ統合等により、各データや、その経時変化を組合せて、データのマイニングや分析を実施し、被検者への提供情報（生体評価データ５０）や販売促進支援情報（商品紹介データ５２）を得るサーバ３２とを主に備えている。

前記肌・体幹計測端末１０は、図１中に示した、顔画像撮影ボックス１１に顔をあてることにより、ＣＣＤカメラ１２を用いて、例えば顎から上の顔画像１７が得られる外、図２に示すような、例えば三脚１３に取り付けたＣＣＤカメラ１４を用いることにより、例えば顎を含む首から下の体の画像１８が得られる。

以下、図３を参照して、本実施形態の処理手順を説明する。

まずステップ１０１０で、前記ＣＣＤカメラ１２、１４による画像撮影を行ない、ステップ１０２０でＲＧＢのアナログ信号を、パソコン１４での処理に適したデジタル信号に変換し、ステップ１０３０で画像を入力して、ステップ１０４０で輝度情報を取得する。次いで、ステップ１０５０で特徴点を抽出する。

処理対象画像の選択から計測の開始までの表示画面の例を図４に示す。ここで、４００は画像表示領域である。又、右上の３つのボタン４０２は、選択された画像の計測時の処理パターンを選択するための選択ボタンであり、「Ａuto」を選択した場合には、特徴点抽出から解析までを一括して実施する。又、「ＳemiＡuto」を選択した場合には、特徴点抽出後に一旦処理を止め、特徴点が正しく抽出されていない場合には手動操作で特徴点を選択してから、解析を行なう。又、「Ｍanual」を選択した時は、特徴点を手動操作で選択してから、解析を行なう。

又、画像ファイル参照ボタン４０４で顔の正面画像を選ぶと鼻唇溝や額のしわの解析、側面画像を選ぶと目尻しわの解析等が行なえる。

特徴点抽出画面の例を図５に示す。右側の特徴点表示ボタン４１０は、鼻唇溝の解析時には鼻翼両端と口角両端の計４点となり、目尻しわの解析時には目尻の１点となる。図において、４１２は表示画像の拡大縮小（虫眼鏡）ボタン、４１４は表示画像の移動ボタン、４１６は上部に表示されている特徴点表示ボタン４１０で選択中の特徴点の手動選択ボタンであり、このボタン４１６を押してから表示画像の特定部位をクリックすることで、特徴点を手動指定することができる。

特徴点抽出後、毛穴や色素沈着を解析する際は、図３のステップ１０６０に進み、画像を二値化した後、ステップ１０７０でオブジェクトを抽出する。具体的には、例えば、小さくて色が濃いものを毛穴とし、大きくて色が薄いものを色素沈着とする。

次いで、ステップ１０８０で、例えば特許文献１５に記載された方法により、毛穴部位を評価し、ステップ１０９０で、例えば特許文献１６、１７に記載された方法により、色素沈着部位を評価する。

一方、皮溝やしわを解析する際には、ステップ１１００に進み、輝度を指標とした最暗部を抽出する。具体的には、注目画素と注目画素を中心とした例えば６ｍｍの領域を平均化した画素との差分による画素を作成し、例えばＸ軸の検出範囲内において、注目画素と注目画素を平均した画素との差分が−１０以下になる最大領域（最暗部）を皮溝やしわとして検出する。

次いでステップ１１１０に進み、同じ操作を皮溝やしわが伸びる特徴点に向けて繰り返すことによって、ベクトル評価による最暗部追跡を行ない、オブジェクトを作成する。

次いでステップ１１２０で、１画素でトレースした細線化画像を得ると共に、皮溝やしわ領域を決定し、ステップ１１３０で、皮溝やしわの長さや幅、本数を計測する。

ステップ１０９０及び１１３０終了後、ステップ１２００に進み、肌画像を表示すると共に、ステップ１２１０で肌解析結果を表示する。

計測結果の表示画面の例を図６に示す。図において、４２０は原画像表示領域、４２２は計測結果画像（例えばしわのみ）表示領域、４２４は数値結果の表示領域、４２６は表示画像の保存ボタン、４２８は数値結果のテキストファイルへの保存ボタンである。

前記肌・体幹計測端末１０で蓄積された肌計測データ、体幹計測データは、上記のようにして端末１０側で解析された後、ステップ１２２０で生体計測データとして、インターネット２０を経由してデータベース３０へ格納される。同時に、各被検者の属性情報や嗜好情報も、合わせてデータベース化される。店頭やクリニックでは、合わせて在庫管理データ、ＰＯＳデータ、顧客クレームデータ等の周辺情報も同時にインターネット経由で収集できる。

前記サーバ３２の入力データとしては、図７に例示する如く、肌状態データ、体幹計測データ、ＰＯＳデータ、在庫管理、インターネット調査、クレームデータ、販売データ管理等がある。

サーバ３２側では、各データを有機的に組合せ、被検者（患者や顧客）へのマーケティング情報、販売促進支援情報、化粧品メーカー、製薬メーカー、エステサロン、フィットネスクラブ等美容及び健康産業で社内データとして活用できるようにする。更に、計測値や嗜好、購買履歴等への入力により、各被検者へ向けての情報提供（ポイントサービス、特典、会員制度、特定顧客向けサービス等）を行なうことができる。又、被検者への情報伝達（カタログ配布、販促・マニュアル資料配布、商品情報などマーケティングツール配布）も行なう。

前記サーバ３２からの出力データとしては、図８に例示する如く、肌評価データ、体幹評価データ、ダイレクトメール（ＤＭ）、ＰＲ情報、販売情報・マニュアル配布、会員ＩＤ、会員特典等がある。

前記肌評価データとしては、図９に例示する如く、顔全体の画像から計測した、しみ、しわ、くすみ、毛穴、マイクロスコープ画像より計測した肌理、油分水分測定器によって計測した油分水分量を含む肌チェック環を、同世代の平均値と比較して示すことができる。

又、前記体幹評価データとしては、図１０に例示する如く、たるみの気になる部分の引き締まり度合を評価したスリミング、肌の光沢度を評価した肌透明感、胸等のボリュームの不足する部分の向上度合を示すファーミング、無駄毛の気になる部分の産毛量を評価した無駄毛処理、太腿周りの気になる脂肪塊を評価したセルライト、たるみの気になる部分の引き上げ度合を評価したリフトアップを含むボディチェック環を、同世代の平均値と比較して示すことができる。

このようにして、例えば解析結果ＤＢを利用した肌のランキング表示、商品ＤＢ、解析結果ＤＢ、顧客ＤＢを利用した、肌に合った商品やサービスの提案、顧客ＤＢ、解析結果ＤＢを利用した、肌状態に応じたスキンケア法のアドバイス、肌に応じたポイント、割引チケットの発行が行なわれる。

情報は、被検者の前の計測端末１０に表示することができ、又、被検者が提示した携帯電話４０や各家庭のパソコン端末４２にも送信して表示できる。

又、例えば会員制のインターネットサイトを作成して、個人の計測結果の閲覧、他者との比較データの閲覧、他会員とのコミュニケーション等を行なえるようにしても良い。

前記肌・体幹計測端末１０において、例えば特許文献１乃至６のように顔の全景画像を取得して、例えば目尻、小鼻の鼻翼端、口元の口角端、目頭等の特徴点を認識するようにした場合には、顔面皮膚評価の自動化が可能である。

又、顔全体を撮影、計測することによって、非特許文献１や２に記載されたような、官能評価に近づけた印象的な年齢（印象年齢）の上下を算出したり、あるいは、加齢シミュレーション、若返りシミュレーション、改善・改悪シミュレーション等の表情シミュレーションが可能となる。

本実施形態においては、肌・体幹計測端末１０として、据置型の端末を用いているので、顔全体若しくは体幹部といった、高度且つ複雑な情報を有する生体情報を扱うことができ、被検者の状態に対する広範な理解が可能となる。

次に、計測端末を携帯型とした本発明の第２実施形態を詳細に説明する。

本実施形態においては、図１１に示す如く、肌・体幹計測端末が、スコープカメラ６２と、タッチパネル６６及び解析ソフトウェアが搭載されたタブレット型パソコン６４で構成された携帯型端末６０とされている。

前記タブレット型パソコン６４には、図１２に詳細に示す如く、オペレーティングシステム（ＯＳ）７０、スコープカメラ６２のドライバ７２、解析基本ソフトウェア７４、データベース（ＤＢ）ソフトウェア７６、及び、問診ソフトウェア、解析結果表示ソフトウェア、会員登録・メールアドレス抽出ソフトウェア、購買履歴記録・ポイント付加ソフトウェア等の各種アプリケーション７８を含む。

他の点に関しては第１実施形態と同様であるので説明は省略する。

本実施形態においては、例えばカメラで携帯電話画面に表示された２次元バーコードを読み取り、会員認証や割引チケット発行を行なうことができる。あるいは、カメラで製品のバーコードを読み取り、又は、ＪＡＮコード等を端末に入力し、購買データを取得することができる。なお、端末での解析に必要な基礎データはサーバ３２から更新される。又、推薦メールを自動送信することもできる。

このようにして、サーバ３２とのデータ交換によってリアルタイムに美容評価基準データを更新でき、計測データ及び問診データによって個人情報に基づいてカウンセリング結果の開示、カルテ開示、化粧品等ディケア商品の推奨、美容治療の推奨、病院・エステティックサロンの紹介が可能である。

なお、会員を認証してポイントを付与する際には、例えば図１３に示す如く、解析システム、ポイントシステムと会員登録・管理システムを分けて幅広い運用を行なうことができる。あるいは、図１４に示す如く、サーバ３２から会員の携帯電話４０へ２次元バーコードをメール添付等で送り、それをスコープカメラ６２で読み取って、端末６０にデータを取り込んで認証することもできる。

なお、携帯型端末６０として、例えばメモリーカードに解析ソフトウェアを載せたカメラ付携帯電話を用いることも可能である。又、図１５に示す如く、油水分計８０を追加することもできる。又、携帯型端末６０をサーバ３２と接続せず、スタンドアローンで使用することもできる。

本発明は、病院、化粧品販売店頭、スポーツクラブ、エステティックサロン、治験実施施設、臨床検査試験場、美容室、美容ショールーム、展示会場、催事会場、ゲームセンター、カラオケボックス、個人宅、インターネット端末のあるエリア等で実施可能である。

又、図１６に示すような、医療機関が治験対象者（症例）に対して行なう投薬や検査等の治験行為を情報管理の面から支援する、医薬品・医薬部外品・化粧品・健康補助食品等機能性製品の治験受託サービスにおいて、病院等の治験実施設備群７０から解析機関７２に臨床データを送る際にも適用できる。図において、７４は、例えば製薬メーカー、特定栄養補助食品の食品メーカー、化粧品メーカー等のメーカー、７６は、その下請機関である。評価データは、国等の承認機関に提出する他、研究用、社内用、宣伝用に用いることができる。

本発明に係る肌解析ネットワークシステムの第１実施形態の全体構成を示す図 第１実施形態の体幹部計測システムを示す図 同じく処理手順を示す流れ図 同じく処理対象画像の選択から計測の開始までの画面の例を示す図 同じく特徴点抽出時の評価画面の例を示す図 同じく計測結果の表示画面の例を示す図 同じくサーバの入力データの例を示す図 同じく出力データの例を示す図 同じく出力データの肌評価データの例を示す図 同じく体幹評価データの例を示す図 本発明の第２実施形態の構成を示す図 第２実施形態で用いられている携帯型端末の構成を示すブロック図 第２実施形態における会員の認証方法の一例を示す図 同じく他の例を示す図 同じく携帯型端末の変形例の構成を示す図 本発明の適用例を示す図

符号の説明

１０…肌・体幹計測端末
１２、１４…ＣＣＤカメラ
１５…パソコン（ＰＣ）
１６…ディスプレイ
１７…顔画像
１８…体画像
２０…インターネット
３０…データベース（ＤＢ）
３２…サーバ
４０…携帯電話
４２…パソコン端末
６０…携帯端末
６２…スコープカメラ
６４…タブレット型パソコン（ＰＣ）
６６…タッチパネル

Claims (16)

1. 肌や体幹の計測データを解析して、生体計測データを得るための計測端末と、
   前記生体計測データが、ネットワークを介して、被検者の属性情報や嗜好情報、周辺情報と共に格納されるデータベースと、
   各データを組合せて、被検者への提供情報や販売促進支援情報を得るサーバと、
   を備えたことを特徴とする肌解析ネットワークシステム。
2. 前記計測端末が、顔の全景画像を取得して、顔面の特徴点を認識するものであることを特徴とする請求項１に記載の肌解析ネットワークシステム。
3. 前記計測端末が、体の画像を取得して、体の特徴点を認識するものであることを特徴とする請求項１に記載の肌解析ネットワークシステム。
4. 前記計測端末が、スコープカメラと、タブレット型パソコンと、タッチパネルと、解析ソフトウェアを含むことを特徴とする請求項１に記載の肌解析ネットワークシステム。
5. 前記計測端末に、油水分計が追加可能とされていることを特徴とする請求項４に記載の肌解析ネットワークシステム。
6. 前記生体計測データが、色素沈着部位、毛穴部位、しわ部位、皮溝部位、たるみ部位、アクネ部位、紅斑部位、血管拡張部位、スキントーン、油分量、水分量、弾力の少なくともいずれか一つを含むことを特徴とする請求項１に記載の肌解析ネットワークシステム。
7. 前記周辺情報が、在庫管理データ、ＰＯＳデータ、顧客クレームデータの少なくともいずれか一つを含むことを特徴とする請求項１に記載の肌解析ネットワークシステム。
8. 前記被検者への提供情報の少なくとも一部が、被検者の携帯電話やパソコン端末に表示されることを特徴とする請求項１に記載の肌解析ネットワークシステム。
9. 前記被検者への提供情報が、生体評価データや商品紹介データを含むことを特徴とする請求項１に記載の肌解析ネットワークシステム。
10. 前記生体評価データが、肌評価データと体幹評価データを含むことを特徴とする請求項９に記載の肌解析ネットワークシステム。
11. 前記肌評価データが、しみ、しわ、くすみ、毛穴、肌理、油分水分量の少なくともいずれか一つを含むことを特徴とする請求項１０に記載の肌解析ネットワークシステム。
12. 前記体幹評価データが、スリミング、肌透明感、ファーミング、無駄毛処理、セルライト、リフトアップのいずれか一つを含むことを特徴とする請求項１０に記載の肌解析ネットワークシステム。
13. 前記被検者が、診断や処置の予約情報を入力可能とされていることを特徴とする請求項１に記載の肌解析ネットワークシステム。
14. 前記被検者が、他者との比較データを閲覧可能とされていることを特徴とする請求項１に記載の肌解析ネットワークシステム。
15. 請求項１乃至１４のいずれかに記載の肌解析ネットワークシステムを実現するためのコンピュータプログラム。
16. スコープカメラと、タブレット型パソコンと、タッチパネルと、解析ソフトウェアを備えたことを特徴とする肌解析ネットワークシステム用計測端末。

Images