JP2006081846A - 顔面溝の評価方法及び装置 - Google Patents

Abstract

【課題】額の溝部位を再現性良く撮影した上で、溝を簡易に定量的に評価して、治療や化粧の前後で比較検証可能なデータを得る。
【解決手段】顔の全景画像を取得して、顔面の特徴点Ｐ、Ｐ１、Ｐ２、Ｑを自動認識し、該特徴点に基づいて測定範囲５１０、５２０、５３０、５４０を自動設定し、設定された測定範囲内で顔面溝の形状を計測する。
【選択図】図４

Description

本発明は、顔面溝の評価方法及び装置に係り、特に、医療や化粧分野で用いるのに好適な、鼻唇溝、目尻、額、下眼、上眼瞼、口角、上口唇等にある溝やしわ等の顔面溝の溝部分の長さ、幅、面積を計測して評価するための顔面溝の評価方法及び装置に関する。

医療や化粧の分野では、鼻唇溝、目尻、額、下眼、上眼瞼、口角、上口唇等にある溝やしわの長さ、幅、面積等を計測して、定量的に評価することが望ましい。

このような目的で、特許文献１には、皮膚表面にスリット光を照射して、ナイフエッジ法により皮膚表面のしわの３次元形状を測定する方法が提案されている。

又、特許文献２には、サンプル皮膚表面の微細明暗分布が強調された２次元サンプル画像を撮像し、これから抽出した１次元明暗プロフィルに含まれる明暗ピークデータを演算処理して明暗ピーク間隔や明暗ピーク粗さを算出し、これらに基づいてしわや肌理の尺度となる皮膚の凹凸の視覚的粗さを算出することが提案されている。

又、特許文献３には、サンプル皮膚表面の微細明暗分布が強調された２次元サンプル画像を撮像し、この２次元サンプル画像を加工処理し、高輝度部分を抽出して粒子解析を行ない、サンプル皮膚表面の光学的美しさに相関する特性値を算出することが提案されている。

又、特許文献４には、肌の表面を撮影した画像を平滑化し、平滑化前の画像を減算し、ログ変換を施した後、輝度が反転して、自動２値化を行ない、暗領域の総画素数を算出して、毛穴の状態を表わす指標とすることが提案されている。

又、非特許文献１には、２光源照度差ステレオ法により肌表面のレプリカを再構成することが提案されている。

又、非特許文献２には、形状抽出とパターン照合の組合せによる顔特徴点の抽出方法が記載されている。

又、非特許文献３には、ハフ変換と分離度フィルタによる人物顔からの両目の検出方法が記載されている。

又、非特許文献４には、デフォーマブル・テンプレート・マッチング法による唇輪郭抽出法が記載されている。

又、非特許文献５には、顔画像中からの眼の特徴点抽出法が記載されている。

特開平８−１４５６３９号公報 特開平６−１８９９４２号公報 特開平７−２３１８８３号公報 特開平７−５５４４７号公報 電子情報通信学会論文誌Ｄ−ＩＩ Ｖol.Ｊ８２−Ｄ−ＩＩ Ｎo.１ pp.１０−１８（１９９９年１月） 電子情報通信学会論文誌Ｄ−ＩＩ Ｖol.Ｊ８０−Ｄ−ＩＩ Ｎo.８ pp.２１７０−２１７７（１９９７年８月） 電子情報通信学会論文誌Ｄ−ＩＩ Ｖol.Ｊ８４−Ｄ−ＩＩ Ｎo.１０ pp.２１９０−２２００（２００１年１０月） 電子情報通信学会論文誌Ｄ−ＩＩ Ｖol.Ｊ８６−Ｄ−ＩＩ Ｎo.８ pp.１１７７−１１８５（２００３年８月） 電子情報通信学会論文誌Ｄ−ＩＩ Ｖol.Ｊ７６−Ｄ−ＩＩ Ｎo.８ pp.１７９６−１８０４（１９９３年８月）

しかしながら、特許文献１乃至４に記載の技術は、いずれも対象範囲が１０ｍｍ×１０ｍｍ程度と非常に狭く、溝部位の全景が得られないという問題点を有していた。

又、非特許文献１のように肌表面レプリカを用いるものは、計測エリアが１０ｍｍ×１０ｍｍと狭く、溝部位全景が得られないだけでなく、レプリカ自体が経時で都度変形が進み、解析誤差を生じる。又、レプリカ計測は溝部位を圧するために、溝部位の変形が生じ、侵襲的な計測手法である。更に、レプリカ計測では被検者の元画像が残らず、又、計測部位も不明瞭になる危惧があり、計測後の計測の妥当性検討ができない等の問題点を有していた。

又、非特許文献２乃至５は、特徴点を抽出しているだけで、顔面溝の計測と結び付けたものはなかった。

本発明は、前記従来の問題点を解決するべくなされたもので、顔の溝部位を再現性良く撮影した上で、溝を簡易に定量的に評価して、治療や化粧の前後で比較検証可能なデータが得られるようにすることを課題とする。

本発明は、顔の全景画像を取得して、顔面の特徴点を自動認識し、該特徴点に基づいて測定範囲を自動設定し、設定された測定範囲内で顔面溝の形状を計測することにより、前記課題を解決したものである。

前記顔面溝は、鼻唇溝、目尻、額、下眼、上眼瞼、口角、上口唇にある溝やしわとすることができる。

前記計測は、溝部分の長さ、幅、面積を、デジタル画像の色信号情報より抽出するものとすることができる。

又、前記特徴点を片目の目尻とし、これに基づいて、目尻しわの測定範囲を設定することができる。

又、前記特徴点を鼻翼端及び口角端とし、これらに基づいて、鼻唇溝の測定範囲を設定することができる。

又、前記特徴点を両目の目頭とし、これに基づいて、額の縦しわの測定範囲を設定することができる。

又、前記特徴点を両目の目尻とし、これに基づいて、額の横しわの測定範囲を設定することができる。

又、前記顔面溝を、注目画素と、該注目画素を平均化した画素との差分を計測し、差分画像を２値化して評価することができる。

あるいは、前記顔面溝を、注目画素と、該注目画素を平均化した画素との差分を計測し、差分画像の最暗部を追跡して作成したベクトルで評価することができる。

本発明は、又、顔面溝の評価装置において、顔の全景画像を取得する手段と、顔面の特徴点を自動認識する手段と、該特徴点に基づいて測定範囲を自動設定する手段と、設定された測定範囲内で顔面溝の形状を計測する手段とを備えることにより、前記課題を解決したものである。

本発明によれば、顔面の溝部位を再現性良く撮影した上で、溝を簡易に定量的に評価することが可能となる。従って、治療や化粧の前後で比較検証可能なデータを得ることができ、医療や美容の分野で有用である。

以下図面を参照して、本発明の実施形態を詳細に説明する。

図１に示すように、本発明の適用対象である皮膚画像処理システムには、皮膚画像撮影ボックス１００及びディスプレイ１５５付きのコンピュータ１５０が含まれる。顔の皮膚の検査を受ける被検者は、皮膚画像撮影ボックス１００の中へ頭を入れる。壁１１０は、皮膚画像撮影ボックス１００に外側の構造を提供する。壁のうち、後ろ側の壁１１５は、被検者の頭が箱１００の内側に楽に入ることができるようカーテンで形成してもよい。

箱１００の内側にはＣＣＤカメラ１２０が置かれ、右４５度の点１２２、前面の点１２４、左４５度の点１２６の間を自動的に移動するよう制御される。移動の点はこれら３点に限定されず、被検者の顔面からの距離が実質的に同じ（この例では２００ｍｍ）であるような弧状線上で、何点でもどの位置でも選んでよい。代替の形態としては、最も右側の点と最も左側の点は４５度以外の角度（例えば４５度より大きい角度）にあってもよい。ＣＣＤカメラ１２０は、各点に位置する際、その撮影軸が被検者の顔面に対して実質的に垂直になるように置かれる。そのような状態で、ＣＣＤカメラ１２０の移動により被検者の顔が走査され、走査の間に、間欠的にデジタル撮影が行なわれる。

ＣＣＤカメラ１２０は、例えば４００万画素を備え、被検者の顔の高解像度画像を撮影する。この例では、一回の検査（走査）につき３枚のカラー画像、即ち、点１２４から撮影される正面顔画像、点１２２から撮影される右側顔画像、点１２６から撮影される左側顔画像が、自動的に撮影される。手動で画像を撮影するには、操作者がシャッタスイッチ１４０を押す。

それらの画像のカラー信号は、例えばＵＳＢポートを介して、コンピュータ１５０に読み込まれる。コンピュータ１５０は、それらの画像を処理して、顔の皮膚の状態を代表する解析結果を生成する。取り込まれた画像や算出された解析結果は、操作者に対して、又、希望があれば被検者に対して、ディスプレイ１５５を介して表示される。

図２を用いて、皮膚画像撮影ボックス１００を更に詳しく説明する。図２（Ａ）は、箱１００の上方からの透視図を示す。４つの光源１３１〜１３４が、移動するカメラ１２０の軌道の後方に、実質的に等しい間隔で置かれている。各光源は標準白色光源である。光源と被検者の顔との間に置かれた拡散板１６０（例えば乳白色のアクリル板）によって、拡散照明が実現されている。

図２（Ｂ）は、箱１００の一点鎖線Ｂ−Ｂ’における断面を示す。被検者の頭１０５は除いてある。拡散板１６０には、点１２２、１２４、１２６にそれぞれ対応する３つの穴１６２、１６４、１６６が有り、カメラ１２０が被検者の顔の画像を撮影できるようになっている。別の光源１３５が箱１００の天井に、更に別の光源１３６が箱１００の床に置かれている。いずれの光源も、被検者の顔から見て拡散板１６０の反対側にある。

被検者の顔は、頭頂押さえ１７０と下顎台１７５によって固定される。被検者が顎を台１７５に載せ、頭上部を押さえ１７０に押し当てると、被検者には、カメラ１２０用の３つの穴を除く全ての方向に、明るい乳白色の板が見えることになる。

図２（Ｃ）は、箱１００の一点鎖線Ｃ−Ｃ’における断面を示す。被検者の頭１０５も描いてある。頭頂押さえ１７０の内側の面には、カラーチャート１８０が置かれている。カラーチャート１８０には、黒、白、肌色基準値、赤、緑、青が含まれてもよい。又、灰色（例えば黒から白までの１０段階の無彩色）が含まれてもよい。肌色基準値は単に比較の基準として働くので、箱１００の操作者又は製造者が任意に決定又は作成することができる。肌色基準値としては、異なった人種それぞれに見本を取って調べた皮膚の色の平均を用いてもよく、カラーチャート１８０は、いくつかの人種に対応したいくつかの肌色基準値を含むことつができる。

箱１００内の被検者の顔の両横には照度センサ（図示しない）が置かれ、予め決められた範囲（例えば１００００Ｌｘ±３％）に照度を保持するよう、照度センサの出力に基づいて光源１３１〜１３６に加えられる電圧が制御される。更に、各検査において、カメラ１２０と光源１３１〜１３６の位置に対して相対的に同じ位置に、押さえ１７０と台１７５によって被検者の顔が固定されるのは、上述したとおりである。故に箱１００は、ある被検者の皮膚の過去と現在の状態を比較し、且つ／又は、ある被検者の状態をデータベースに蓄積された他の実例と比較するための、十分な繰り返し性（再現性）を備える。

カラーチャート１８０の画像は、正面顔画像と同じく点１２４においてＣＣＤカメラ１２０によって取り込まれる。カラーチャート１８０の赤、緑、青、白に対応するＣＣＤカメラ１２０からの出力信号は、色温度を補正してＣＣＤの色感度を実質的に同じ状態に保つのに用いられる。

図３に示すように、カラーチャート画像付き正面顔画像、右側顔画像、左側顔画像は、皮膚画像撮影ボックス１００からコンピュータ１５０のメモリ３１０に読み込まれる。各画像には、多数の画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）信号が含まれている。

コンピュータ１５０にある１つ以上のモジュールは、メモリ３１０に格納された皮膚画像を解析して、皮膚状態を代表する結果を１つ以上生成することができる。これらのモジュールは、ソフトウェアによって、又はソフトウェアとハードウェアの組合せによって実行することができる。各モジュールが生成した結果は、ディスプレイ１５５へ出力できるだけでなく、実例データベース２００に格納することもできる。上記の３つの顔画像のＲＧＢ信号は、生成された結果と一緒にディスプレイ１５５及び実例データベース２００へ送ってもよい。このようにＲＧＢ信号を評価結果と共に実例データベース２００に蓄積することにより、過去の実例についてもそのオリジナル画像を参照しながら検査することが可能になる。実例の名称、被検者の年齢、性別等の個人情報も、評価結果と共に実例データベース２００に蓄積してもよい。

前記コンピュータ１５０は、本発明に係るしわ評価モジュール３２０の他、例えば皮膚の色を代表するデータを生成する皮膚の色評価モジュール３３０、色素沈着部位の程度を示すデータを生成する色素沈着評価モジュール３４０、顕在的（目立つ）毛穴の程度を示すデータを生成する毛穴評価モジュール３５０、皮膚画像を処理して、更に多様な色素班を評価するための色素班タイプ決定モジュール３６０を含むことができる。

前記しわ評価モジュール３２０における、本発明に係るしわの評価は、図４に示すような手順に従って行なわれる。即ち、まずステップ１０１０で、前記ＣＣＤカメラ１２０による画像撮影を行ない、ステップ１０２０でメモリ３１０に記録・保存する。次いでステップ１０３０でＲＧＢのアナログ信号を、コンピュータ１５０での処理に適したデジタル信号に変換し、ステップ１０４０で画像を入力する。

処理対象画像の選択から計測の開始までの表示画面の例を図５に示す。ここで、４００は画像表示領域である。又、右上の３つのボタン４０２は、選択された画像の計測時の処理パターンを選択するための選択ボタンであり、「Ａuto」を選択した場合には、特徴点抽出から鼻唇溝やしわの解析までを一括して実施する。又、「ＳemiＡuto」を選択した場合には、特徴点抽出後に一旦処理を止め、特徴点が正しく抽出されていない場合には手動操作で特徴点を選択してから、鼻唇溝やしわの解析を行なう。又、「Ｍanual」を選択した時は、特徴点を手動操作で選択してから、鼻唇溝やしわの解析を行なう。

又、画像ファイル参照ボタン４０４で正面画像を選ぶと鼻唇溝や額のしわの解析、側面画像を選ぶと目尻しわの解析が行なえる。

図４のステップ１０４０終了後、ステップ１０５０に進み、例えば非特許文献２乃至５に記載されたような方法で、特徴点の抽出を行ない、ステップ１０６０で測定範囲を自動設定する。具体的には、目尻縮緬しわ（単に目尻しわとも称する）の解析時には、図６に示す如く、特徴点として片目の目尻Ｐ（座標を（px，py）とする）を抽出し、該点Ｐを中心とする上下の所定長さＨ（例えば３０ｍｍ）及び後頭部側の所定幅Ｗ（例えば３０ｍｍ）の領域Ｒ１（px，py-Ｈ／２）−Ｒ２（px+Ｗ,py-Ｈ／２）−Ｒ３（px+Ｗ，py+Ｈ／２）−Ｒ４（px，py+Ｈ／２）を測定範囲５１０に自動設定する。

又、鼻唇溝の解析時には、図７に示す如く、特徴点として小鼻の鼻翼端Ｐ１（p1x，p1y）、Ｐ２（p2x，p2y）と口元の口角端Ｑ１（q1x，q1y）、Ｑ２（q2x，q2y）を抽出し、これらを含む所定の領域Ｒ１１（q1x-150，q1y-100）−Ｒ１２（p1x+100，q1y-100）−Ｒ１４（p1x+100，p1y+100）−Ｒ１３（q1x-150，p1y+100）及び領域Ｒ２１（q2x+150，q2y-100）−Ｒ２２（p2x-100，qy-100）−Ｒ２４（p2x-100，p2y+100）−Ｒ２３（q2x+150，p2y+100）を測定範囲５２１、５２２に自動設定する。

又、額の縦しわの解析時には、図８に示す如く、特徴点として両目の目頭Ｐ１（座標を（px1，py1とする）、Ｐ２（同じく（px2，py2）とする）を抽出し、この２点Ｐ１、Ｐ２を下辺の２頂点とする所定高さＨ（例えば６０ｍｍ）の領域Ｒ１（＝Ｐ１）−Ｒ２（px1，py1+60）−Ｒ３（px2，py2+60）−Ｒ４（＝Ｐ２）を測定範囲５３０に設定する。

又、額の横しわを解析する時には、図９に示す如く、特徴点として両目の目尻Ｐ１、Ｐ２を抽出し、この２点Ｐ１、Ｐ２を下辺の頂点とする所定高さＨ（例えば７０ｍｍ）の領域Ｒ１（＝Ｐ１）−Ｒ２（px1，py1+70）−Ｒ３（px2，py2+70）−Ｒ４（＝Ｐ２）を測定領域５４０に設定する。

特徴点抽出画面の例を図１０に示す。右側の特徴点表示ボタン４１０は、鼻唇溝の解析時には鼻翼両端と口角両端の計４点となり、目尻しわの解析時には目尻の１点となる。図において、４１２は表示画像の拡大縮小（虫眼鏡）ボタン、４１４は表示画像の移動ボタン、４１６は上部に表示されている特徴点表示ボタン４１０で選択中の特徴点の手動選択ボタンであり、このボタン４１６を押してから表示画像の特定部位をクリックすることで、特徴点を手動指定することができる。

図４のステップ１０６０で測定範囲が設定された後、しわを評価する際には、ステップ１０７０に進み、注目画素と注目画素を平均化した画素との差分による画素を作成する。平均時の短径サイズは、例えば４ｍｍ×４ｍｍとすることができる。

次いでステップ１０８０に進み、差分画像を２値化する。次いでステップ１０９０に進み、パーティクルアナライズを行ない、毛穴等によるゴミを除去してオブジェクト（しわ）を抽出する。

一方、鼻唇溝を解析する際には、ステップ１１００に進み、輝度を指標とした最暗部を抽出する。具体的には、注目画素と注目画素を中心とした例えば６ｍｍの領域を平均化した画素との差分による画素を作成し、例えばＸ軸の検出範囲内において、注目画素と注目画素を平均した画素との差分が−１０以下になる最大領域（最暗部）を鼻唇溝として検出する。

次いでステップ１１１０に進み、同じ操作を鼻唇溝が伸びる口角の特徴点に向けて繰り返すことによって、ベクトル評価による最暗部追跡を行ない、鼻唇溝オブジェクトを作成する。

ステップ１０９０又は１１１０でオブジェクトが抽出された後、ステップ１１２０に進み、オブジェクトの輪郭スムージングを行なう。

次いでステップ１１３０で、１画素でトレースした細線化画像を得ると共に、しわ領域を決定し、ステップ１１４０で、細線化画像から最大フェレ径間の開始位置と終了位置の距離が最短な区間をしわの長さとして計測する。又、細線化画像の（端点総数＋分岐点総数）／２から、しわの本数を計測する。次いでステップ１１６０でしわの面積を計測し、細線化画像の注目画素の方向ベクトルに対して垂直に引いたオブジェクトの最大幅をしわの幅とする。しわの長さに属する区間において、しわの幅の平均値をしわの平均幅として、又、しわの幅の最大値をしわの最大幅として、それぞれを計測する。

計測結果の表示画面の例を図１１に示す。図において、４２０は原画像表示領域、４２２は計測結果画像（例えばしわのみ）表示領域、４２４は数値結果の表示領域、４２６は表示画像の保存ボタン、４２８は数値結果のテキストファイルへの保存ボタンである。

このようにして、顔面の溝部位を再現性良く撮影した上で、溝を簡易に定量的に評価することが可能となる。

なお、前記説明においては、顔面溝のうち目尻しわ、鼻唇溝、額の縦しわ及び横しわについて説明していたが、本発明の評価対象はこれに限定されず、下眼、上眼瞼、口角、上口唇にある溝やしわ等の解析にも同様に適用できることは明らかである。

本発明の適用対象である皮膚画像処理システムの全体構成を示す図 前記皮膚画像処理システムで用いられている皮膚画像撮影ボックスの例を示す、（Ａ）上方からの透視図、（Ｂ）顔の方向から見た正面図、（Ｃ）中央断面図 前記皮膚画像処理システムのコンピュータが行なう皮膚画像処理の概要を示すブロック図 本発明に係るしわ評価の実施形態の処理手順を示す流れ図 しわ評価における処理対象画像の選択から計測の開始までの画面の例を示す図 同じく目尻しわ解析時の特徴点の抽出と、これにより設定される測定範囲の例を示す図 同じく鼻唇溝解析時の特徴点の抽出と、これにより設定される測定範囲の例を示す図 同じく額の縦しわ解析時の特徴点の抽出と、これにより設定される測定範囲の例を示す図 同じく額の横しわ解析時の特徴点の抽出と、これにより設定される測定範囲の例を示す図 同じく特徴点抽出時の表示画面の例を示す図 同じく計測結果の表示画面の例を示す図

符号の説明

１００…皮膚画像撮影ボックス
１０５…被検者の頭
１２０…ＣＣＤカメラ
１５０…コンピュータ
１５５…ディスプレイ
４００…画像表示領域
４０２…処理パターン選択ボタン
４０４…画像選択ボタン
４１０…特徴点表示ボタン
４１６…特徴点選択ボタン
４２０…原画像表示領域
４２２…計測結果画像表示領域
４２４…数値結果表示領域
５１０、５２０、５３０、５４０…測定範囲
Ｐ、Ｐ１、Ｐ２、Ｑ…特徴点

Claims (10)

1. 顔の全景画像を取得して、
   顔面の特徴点を自動認識し、
   該特徴点に基づいて測定範囲を自動設定し、
   設定された測定範囲内で顔面溝の形状を計測することを特徴とする顔面溝の評価方法。
2. 前記顔面溝が、鼻唇溝、目尻、額、下眼、上眼瞼、口角、上口唇にある溝やしわであることを特徴とする請求項１に記載の顔面溝の評価方法。
3. 前記計測が、溝部分の長さ、幅、面積を、デジタル画像の色信号情報より抽出するものであることを特徴とする請求項１に記載の顔面溝の評価方法。
4. 前記特徴点が片目の目尻であり、これに基づいて、目尻しわの測定範囲を設定することを特徴とする請求項１に記載の顔面溝の評価方法。
5. 前記特徴点が鼻翼端及び口角端であり、これらに基づいて、鼻唇溝の測定範囲を設定することを特徴とする請求項１に記載の顔面溝の評価方法。
6. 前記特徴点が両目の目頭であり、これに基づいて、額の縦しわの測定範囲を設定することを特徴とする請求項１に記載の顔面溝の評価方法。
7. 前記特徴点が両目の目尻であり、これに基づいて、額の横しわの測定範囲を設定することを特徴とする請求項１に記載の顔面溝の評価方法。
8. 前記顔面溝を、注目画素と、該注目画素を平均化した画素との差分を計測し、差分画像を２値化して評価することを特徴とする請求項１に記載の顔面溝の評価方法。
9. 前記顔面溝を、注目画素と、該注目画素を平均化した画素との差分を計測し、差分画像の最暗部を追跡して作成したベクトルで評価することを特徴とする請求項１に記載の顔面溝の評価方法。
10. 顔の全景画像を取得する手段と、
    顔面の特徴点を自動認識する手段と、
    該特徴点に基づいて測定範囲を自動設定する手段と、
    設定された測定範囲内で顔面溝の形状を計測する手段と、
    を備えたことを特徴とする顔面溝の評価装置。

Images