JP2021099749A - ほうれい線の検出方法 - Google Patents

Abstract

【課題】顔画像上でほうれい線を正確に検出する方法の提供。【解決手段】ほうれい線の検出方法。該方法は、ヒトの顔画像における、鼻下領域中の１点から、同側の輪郭上、眉上又は目上の１点までの直線状領域について、輝度プロファイルを取得すること；該プロファイルの両端を結ぶ直線をベースラインとして取得すること；該輝度プロファイルからベースラインを引き算し、補正プロファイルを取得すること；該顔画像における該補正プロファイルの輝度値が最小となる位置を検出すること；該補正プロファイルの輝度値が最小となる位置が、鼻翼端と口角端を結ぶ線分よりも外側且つ鼻翼端よりも下にある場合に、該位置をほうれい線上の点として取得すること、を含む。【選択図】なし

Description

本発明は、顔画像上のほうれい線を検出する方法に関する。

ほうれい線（鼻唇溝）は、顔面の鼻翼端から口角端にかけて伸びる溝である。ほうれい線は、通常、若いうちは目立たないが、加齢によるに周辺皮膚のたるみや骨格の変化に伴って深く刻まれるようになる。ほうれい線の深さは見た目の年齢を大きく左右する。

好印象を与える顔写真を作るため、又はメークアップや美容整形等の手術後の顔のシミュレーションのために、顔の肌色やシミ、シワなどを除去するように顔画像が加工されることがある。特許文献１には、取り込まれた顔画像からシワ部分を切り取った後、残った画像をスムージングして、シワなし顔画像を得ることが記載されている。特許文献２〜３には、顔画像の所定の肌領域の明るさ等に対してフィルタをかけることでシワやシミ成分を除去することが記載されている。

従来、肌のシワの状態は、日本香粧品学会による「抗シワ機能評価試験ガイドライン」に従ったシワグレードに基づいて目視評価されるか、顔のレプリカの表面粗さに基づいて評価されてきた。しかし、これら従来の方法は、時間と手間がかかり、しかも個々のシワの形状等についてのデータを得るための方法ではない。

他方、近年では、画像解析により顔の肌色やシミ、シワなどを検出する技術が発展してきている。特許文献４、５には、顔画像を２値化し、該２値化画像に基づいてシワを検出することが記載されている。特許文献６には、顔画像の明るさの値に基づいてシワ部分を検出することが記載されている。特許文献７には、顔のグレースケール画像の各画素の勾配強度（シワ強度）及び勾配ヒストグラム（シワ方向）を求めることが記載されている。特許文献８には、顔画像から顔の特徴点を自動認識し、該特徴点に基づいて測定範囲を自動設定し、該測定範囲内で、注目画素と平均画素との差分画像の最暗部を追跡することで、ほうれい線や目尻のしわなどの顔面溝の形状を計測することを特徴とする、顔面溝の評価方法が記載されている。

画像解析により顔のシミ、シワなどを検出する技術は、医療や美容の分野に応用することができる。例えば、検出したシミやシワの情報に基づいて、美容カウンセリングや化粧品の効能評価を行うことができる。さらに検出したシミやシワの情報を、上述したようなシミやシワなどを除去する顔写真の加工に利用することも可能である。

特開２００２−３０４６１９号公報 特開２００４−２３４５７１号公報 特開２００６−５３８５９号公報 特開２０１４−２１９７８１号公報 特開２０１５−６４８２３号公報 特開２０１６−２２０９３号公報 特開２０１２−５３８１３号公報 特開２００６−８１８４６号公報

顔画像を加工する場合、加工したことが判らないようにより自然な肌質にみえる修正がなされることが好ましい。しかし、ほうれい線のような顔面の大きな溝を修正する場合、削除しきれなかったり、修正部分と周辺との境界が不自然な見た目になることがある。顔画像をより美しく加工するためには、顔画像におけるほうれい線をより正確に検出することが望まれる。また、顔画像のほうれい線をより正確に検出することができれば、美容カウンセリングや化粧品の評価をより的確に行うことが可能になる。本発明は、顔画像上でほうれい線を正確に検出する方法に関する。

本発明者は、顔画像上で、ほうれい線を横切る直線状領域の輝度プロファイルをベースライン補正した後、該補正したプロファイルの輝度値が最小となる点を抽出し、抽出した点を重ねるか又は結ぶことで、ほうれい線を正確に検出できることを見出した。

したがって、本発明は、ほうれい線の検出方法であって、
ヒトの顔画像における、左右それぞれの鼻翼端と口角端を結ぶ直線に挟まれた鼻下領域中の１点から、輪郭上、眉上、又は目上の１点までの直線状領域について、輝度プロファイルを取得すること；
該輝度プロファイルの両端を結ぶ直線をベースラインとして取得すること；
該輝度プロファイルからベースラインを引き算し、補正プロファイルを取得すること；
該補正プロファイルの輝度値が最小となる位置を検出すること；
該補正プロファイルの輝度値が最小となる位置が、鼻翼端と口角端を結ぶ線分よりも外側且つ鼻翼端よりも下にある場合に、該位置をほうれい線上の点として取得すること、
を含む、方法を提供する。
また本発明は、前記ほうれい線の検出方法を実施するための装置を提供する。
また本発明は、前記ほうれい線の検出方法を実施するためのプログラムを提供する。

本発明によれば、顔画像上のほうれい線を正確に検出することができる。本発明により提供される正確なほうれい線の情報は、美容カウンセリングや化粧品の評価をより的確に行うために有用である。

ほうれい線の検出方法の工程を示すフローチャート。 顔画像におけるほうれい線を横切る直線状領域を示した概念図。点線はほうれい線を示し、線分ＡＢはほうれい線を横切る直線を示す。斜線部は鼻下領域を表す。鼻下領域中の丸印を始点（Ａ点）とし、輪郭上の１点（矢印先端）を終点（Ｂ点）とする例。 顔画像におけるほうれい線を横切る直線状領域を示した概念図。点線はほうれい線を示し、線分ＡＢはほうれい線を横切る直線を示す。斜線部は鼻下領域を表す。鼻下領域中の丸印を始点（Ａ点）とし、目上の１点（矢印先端）を終点（Ｂ点）とする例。 正面顔画像から抽出された顔の特徴点の一例。 輪郭上の点を終点として作成したほうれい線を横切る直線状領域についての輝度プロファイルの一例。矢印はほうれい線に相当する画素を示す。 目上の点を終点として作成したほうれい線を横切る直線状領域についての輝度プロファイルの一例。矢印はほうれい線に相当する画素を示す。 補正プロファイル取得工程の手順のフローチャート。 ベースライン補正で得られた補正プロファイルの一例。ベースライン補正前の輝度プロファイル、及びベースラインが一緒に示されている。矢印はほうれい線の位置を示す。 輝度プロファイル（グレーライン）に重ねられた短縮したプロファイル（点線）。短縮したプロファイルの両端を結ぶ実線は、ベースラインを表す。矢印はほうれい線の位置を示す。 短縮したプロファイルのベースライン補正で得られた補正プロファイルの一例。 本発明に係るほうれい線の検出方法を実施するための装置の一実施形態を示す概念図。 顔画像から検出されたほうれい線の例。

以下、図面を参照して、本発明の態様を詳細に説明する。下記の各図中、同一符号は同一又は同等の構成要素を表す。

なお本明細書において、顔画像上の「同側」及び「反対側」とは、それぞれ顔の正中線に対して同じ側及び異なる側を意味する。例えば、顔画像上の２つの点が正中線に対して共に左側（又は共に右側）にあれば、それらは互いに同側に位置する。また本明細書においては、他の説明のない限り、顔画像上の「上」とは、より頭頂に近い側をいい、「下」とは、より顎側に近い位置をいう。例えば一般に鼻は口よりも上に位置し、逆に口は鼻よりも下に位置する。また本明細書においては、他の説明のない限り、顔画像上の「外側」とは、同側、反対側を問わずより輪郭に近い側をいい、「内側」とは、同側、反対側を問わずより正中線に近い側をいう。また本明細書において、「目」とは、目尻、目頭等を含む目の縁や、瞳などの目の各部を包含する総称である。

〔１．ほうれい線の検出方法〕
一態様において、本発明は、ほうれい線の検出方法を提供する。図１は、本発明に係るほうれい線の検出方法の工程（以下、本方法ともいう）を示すフローチャートである。本方法は、基本的には、輝度プロファイル取得工程（Ｓ１）、補正プロファイル取得工程（Ｓ２）、及びほうれい線検出工程（Ｓ３）を含む。必要に応じて、本方法は、輝度プロファイルの取得に用いられる顔画像を得るための、顔画像取得工程（Ｓ０）を含んでいてもよい。次いで、これら各工程について詳述する。

画像取得工程（Ｓ０）では、ヒトの顔画像が取得される。ここで得られる顔画像は、正面全顔画像であることが好ましいが、少なくとも顔の片側におけるほうれい線の存在する領域を含み、かつ後述する、ほうれい線の検出に用いる顔の特徴点（鼻翼端、口角端、輪郭線上の点など）を含んでいれば、斜め顔又は横顔の画像であってもよく、又はそれらの正面顔、斜め顔又は横顔の一部が欠けた画像であってもよい。

顔画像は、一般的な顔画像の取得手段、例えばカメラによる撮影などによって得ることができる。例えば、該顔画像は、カメラ等での撮影像であってもよく、又は写真、フィルム等をスキャンしたデータであってもよい。また、該顔画像は、カラー画像であってもグレースケール画像であってもよい。得られた顔画像は、後述する輝度プロファイル取得工程（Ｓ１）のために、計算機で読み取り可能な形式にデータ化される。例えば、該顔画像は、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の任意の画像ファイルとして取得されてもよく、又は各画素の明暗情報を羅列したデータとして取得されてもよい。本方法で用いられる顔画像のデータ形式は特に制限されない。

取得された顔画像は、補正されてもよい。例えば、画像上の顔が左右どちらかに傾いていた場合、その傾きをなくして顔が正立するように、顔画像を補正してもよい。

次いで、該ヒトの顔画像における、ほうれい線を横切る直線状領域の輝度プロファイルを取得する（工程Ｓ１）。当該工程で行われる操作の概念を図２に図示する。図２は、正面顔画像の模式図であり、点線で示すほうれい線が存在する。図２に示すような顔画像において、ほうれい線は、通常、鼻翼端と口角端を結ぶ直線（例えば図２中の線分ｘ−ｘ’）のすぐ外側に存在する。したがって、図２に示すように、鼻翼端と口角端を結ぶ直線の内側の領域の１点を始点（Ａ点）とし、該始点よりも外側にある顔の特徴点（例えば輪郭上、眉上、又は目上の１点などの顔の周辺部にある特徴点）を終点（Ｂ点）とする直線（線分ＡＢ）は、ほうれい線を横切る直線となり得る。このほうれい線を横切る直線に重なる領域が、ほうれい線を横切る直線状領域であり、工程Ｓ１では、この領域の輝度プロファイルが取得される。

本発明の方法においては、顔画像における、左右それぞれの鼻翼端と口角端を結ぶ直線上又はその内側であって、鼻より下且つ唇より上の領域（以下、鼻下領域という）中の１点と、それよりも外側にある顔の特徴点（例えば輪郭上、眉上、又は目上の１点）とを結ぶ直線が、ほうれい線を横切る直線として取得される。図２では、斜線で示す領域が鼻下領域であり、これは、左鼻翼端と左口角端を結ぶ線分ｘ−ｘ’及び右鼻翼端と右口角端を結ぶ線分ｙ−ｙ’に囲まれ（線上を含む）、かつ鼻のより下、唇より上の領域として決定される。図２では、該ほうれい線を横切る直線の一例が、該鼻下領域中の丸印を始点（Ａ点）とし、輪郭上の１点（矢印先端）を終点（Ｂ点）とする直線として表されている。図３では、該ほうれい線を横切る直線の一例が、該鼻下領域中の丸印を始点（Ａ点）とし、目上の１点（矢印先端）を終点（Ｂ点）とする直線として表されている。しかし、該ほうれい線を横切る直線の始点（Ａ点）は、該鼻下領域中の任意の点であればよく、かつ終点（Ｂ点）は、該始点よりも外側にある顔の特徴点のいずれか（例えば輪郭上、眉上、又は目上の任意の点）であればよい。したがって、該ほうれい線を横切る直線状領域は、Ａ点とＢ点の位置に依存して、極めて多数存在し得る。なお、好ましくは、該終点は、検出すべき標的のほうれい線と同側の点である。より好ましくは、該始点及び終点は、検出すべき標的のほうれい線と同側の点である。

本発明によるほうれい線の検出方法において、取得されるほうれい線を横切る直線状領域の数は１つ以上であればよいが、ほうれい線の全体的な形状を検出するためには、複数の該直線状領域が取得されることが好ましい。取得される該直線状領域の数は、好ましくは３つ以上、より好ましくは５つ以上、さらに好ましくは１０個以上、さらに好ましくは２０個以上であり、他方、好ましくは１００個以下、より好ましくは５０個以下である。該直線状領域の数が少ない場合、検出されたほうれい線の全体的形状の正確性が低下する。一方、該直線状領域の数が多い場合、検出されたほうれい線の全体的形状の正確性は向上するが、計算プロセスが増えるため、検出に時間を要する。したがって、取得される該直線状領域の数は、好ましくは５〜１００個、より好ましくは１０〜５０個、さらに好ましくは２０〜５０個の範囲であるとよい。

ほうれい線を横切る直線の作成手順について、より具体的な手順の例を以下に述べる。まず、取得された顔画像データにおいて、顔の特徴点を抽出する。顔の特徴点の抽出手順は、公知の手順に従って行うことができる。例えば、Angle Orthodontist, 2008, 78(1):145-151 に記載されるように、顔画像の特徴点を学習させたニューラルネット等の機械学習モデルにより、顔画像の特徴点を検出させることができる。あるいは、顔の特徴点抽出には、iOS の Vison.framework の VNDetectFaceLandmarksRequest クラス、画像ライブラリの一つであるOpen CVやdlib、google cloud Visionなどを用いることができる。抽出する特徴点の種類や数は、該ほうれい線を横切る直線の作成に用いる特徴点（例えば、鼻翼端、口角端、及び輪郭上、眉上、又は目上の１つ以上の点）、ならびに必要に応じて、後述するほうれい線の検出範囲の限定に用いる特徴点を含んでいる限りにおいて、特に限定されない。

図４には、正面顔画像から抽出された顔の特徴点の一例を示す。図４では各特徴点は線で結ばれているが、そのような処理は特に必要ない。図４では、顔の特徴点として、右鼻翼端５３、左鼻翼端５７、右口角端３３、及び左口角端２９が示されており、また、鼻の下縁を表す点５３〜５７、唇の上縁を表す点３３及び点２４〜２９、右眉上の点０〜３、左眉上の点４〜７、ならびに輪郭上の複数の点（点４０〜５０）が抽出されている（後述の表１も参照のこと）。図２に示した鼻翼端と口角端を結ぶ線分ｘ−ｘ’及びｙ−ｙ’は、それぞれ点５７と点２９を結ぶ線、及び点５３と点３３を結ぶ線に相当する。図４の場合、点５３、５４、５５、５６、５７、２９、２８、２７、２６、２５、２４、３３、５３を順につないだ線で囲まれた領域が、鼻下領域である。ほうれい線を横切る直線の始点は、該鼻下領域中の任意の点であり得る。また図４の場合、終点は、顔の左側のほうれい線を検出する際は、輪郭上、眉上、又は目上の点４、５、６、７、１６、１７、１８、１９、２０、２１、２２、２３、６４、５０、４９、４８、４７、４６、及び４５のいずれかから選択され得、一方、顔の右側のほうれい線を検出する際は、輪郭上、眉上、又は目上の点３、２、１、０、８、９、１０、１１、１２、１３、１４、１５、６３、４０、４１、４２、４３、４４及び４５のいずれかから選択され得る。終点となる点は、上記に挙げた点から選択されればよいが、さらに、図４に示すような特徴点に基づいて、ほうれい線の検出に有用な任意の特徴点、例えば輪郭上、眉上、又は目上の任意の点（例えば点４８と点４９の間の任意の輪郭上の点、又は点５と点６の間の任意の眉上の点、又は点２０と点２１の間の任意の目上の点）を特徴点にさらに追加し、ほうれい線を横切る直線の終点として用いてもよい。

図４に基づいて、ほうれい線を横切る直線状領域の取得手順の例を説明する。まず、図４に示す輪郭上、眉上、又は目上の特徴点から任意の点を選び、ほうれい線を横切る直線の終点として用いる。必要に応じて、図４に示す輪郭上、眉上、又は目上の特徴点と同側の輪郭上、眉上、又は目上にさらに任意の数の追加の特徴点を設定して、それらを、ほうれい線を横切る直線の終点として用いてもよい。該終点の数は、上述したほうれい線を横切る直線状領域の取得数と同数、例えば、好ましくは５〜１００個、より好ましくは１０〜５０個、さらに好ましくは２０〜５０個にすればよい。次いで、ほうれい線を横切る直線の始点を決定する。例えば、各々のほうれい線を横切る直線の始点には、鼻下領域中の任意の１点を用いてもよく、又は、鼻下領域から終点と同じ数の点を抽出し、始点としてもよい。なお始点と終点を決定する順序は特に限定されない。
次いで、該始点と終点とを組み合わせた直線を作成する。一実施形態においては、図４に示す、検出すべきほうれい線と同側の鼻翼端及び口角端をそれぞれ表す点５７と点２９を結ぶ線上の特定の１点（例えば中点）を始点とし、次いで輪郭上、眉上、又は目上における終点の位置を徐々に変えながら、複数の直線を作成する。該終点としては、例えば、図４に示す輪郭上、眉上、又は目上の点、及びそれらと同側にある任意の輪郭上、眉上、又は目上の点から選択された好ましくは５〜１００個、より好ましくは１０〜５０個、さらに好ましくは２０〜５０個の点、例えば点５０〜点４７の間の輪郭上の点、又は点４〜点７の間の眉上の点、又は点１６から点２０の間の目上の点を用いる。
こうして作成されたほうれい線を横切る直線と重なる、顔画像上の複数の領域が、ほうれい線を横切る複数の直線状領域として取得される。このように取得された該複数の該直線状領域は、互いに異なる。なお本明細書において、複数の直線状領域が「互いに異なる」とは、個々の直線状領域が完全に重複した領域ではないこと、すなわち、個々の直線状領域が、始点又は終点が異なるほうれい線を横切る直線に基づいていることをいう。

なお、上記の図２〜図４を用いた説明では、顔の左側におけるほうれい線を横切る直線状領域の取得について述べたが、顔の右側線についても同様の手順でほうれい線を横切る直線状領域の取得が可能であることは明らかである。また、ほうれい線を横切る直線の始点と終点は交換可能であり、すなわち輪郭又は眉上の点を始点とし、鼻下領域中の点を終点としてもよい。

好適には、顔画像における該ほうれい線を横切る直線状領域とは、該顔画像における、該ほうれい線を横切る直線が通過する画素からなる領域である。該領域に含まれる画素の輝度（Ｙ）に基づいて、該ほうれい線を横切る直線状領域についての輝度プロファイルを作成することができる。元の顔画像がカラー画像である場合、ＹＣｂＣｒ画像については各画素のＹ値を用いればよく、ＲＧＢ画像については以下の変換式を用いて各画素の輝度（Ｙ）を算出することができる。
Ｙ＝０．２９９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ

得られた輝度プロファイルの一例を図５、６に示す。図５は、輪郭上の点を終点として作成された輝度プロファイルであり、図６は、目上の点を終点として作成された輝度プロファイルである。図５、６の横軸は、画素番号（該直線状領域の画素を始点から終点まで、すなわち顔の内側から外側に向けて順に番号付けしたもの）であり、データ数は、該ほうれい線を横切る直線が通過した画素の数に相当する。図５、６の縦軸は画素の輝度を表す。図５、６中、プロファイルの中央当たりの輝度が急激に変化している変曲点（矢印）がほうれい線の位置に相当する。

正確なほうれい線の検出のため、必要に応じて、上記で取得されたほうれい線を横切る直線状領域についての輝度プロファイルのうち、その標準偏差がほうれい線を含まない対照領域（より詳細には、ほうれい線、鼻部、口唇部等の顔画像上で大きな輝度変化を示す構造を含まない領域）の輝度プロファイルの標準偏差と比べて明確に大きいものを選抜し、以降の本方法の工程に用いることとが好ましい。より好ましくは、得られた該直線状領域の輝度プロファイルの標準偏差が、該対照領域の輝度プロファイルの標準偏差の５倍よりも大きい場合に、該直線状領域の輝度プロファイルを以降の工程に用いる。該対照領域としては、例えば、顔輪郭上の耳の下の点と鼻中央とを結んだ線分（例えば図４に示す点５８から点４９までの線分）に重なる領域（言い換えると、該線分が通過する画素からなる領域）を使用できる。

図５、６のような画素の輝度値自体に基づく輝度プロファイルは、顔画像の撮影時の照明の具合や、顔の曲面によって生じた輝度の変化（バックグラウンド）や、ほうれい線以外の凹凸やシワ、シミなどの存在によって影響を受けることがある。例えば、図５の輝度プロファイルでも、左側（６０〜６５ピクセル目辺り）に、輝度の増減がみられる。あるいは、顔の特徴点抽出の際に、誤って輪郭外の点が抽出される場合がある。したがって、画素の輝度値自体に基づく輝度プロファイルの変曲点を検出するだけでは、正確にほうれい線を検出できないことがある。

そこで本発明によるほうれい線の検出方法では、上記で取得した輝度プロファイルについての補正プロファイルを取得し、該補正プロファイルをほうれい線の検出に用いる（工程Ｓ２）。工程Ｓ２における、輝度プロファイルから補正プロファイルを取得するための手順のフローチャートを図７に示す。

工程Ｓ２では、まず、工程Ｓ１で取得されたほうれい線を横切る直線状領域の輝度プロファイルの両端を結ぶ直線をベースラインとして取得する（工程Ｓ２−２）。ベースラインは、顔画像のバックグラウンドでの輝度の変化を反映している。該ベースラインに基づいて輝度プロファイルを補正することにより、輝度プロファイルからバックグラウンドの影響を除去し、ほうれい線に基づく輝度の変化を抽出することができる。この補正工程をベースライン補正（工程Ｓ２−３）と呼ぶ。ベースライン補正では、輝度プロファイルから該ベースラインを引き算し、得られたデータを補正プロファイルとして取得する。輝度プロファイルのベースライン補正の例を図８に示す。図８には、ベースライン補正前の輝度プロファイル（図中、補正前）、そのベースライン（図中、点線）及び、ベースライン補正で得られた補正プロファイル（図中、補正後）を示す。

好ましくは、ベースライン補正の前に、工程Ｓ１で取得されたほうれい線を横切る直線状領域の輝度プロファイルを外測端に近い側から一部を削除する。例えば、工程Ｓ１で取得された輝度プロファイルから輪郭、眉、又は目付近〜外側端までのプロファイルを削除する。該顔外側部のプロファイルが削除された輝度プロファイルを、以下、短縮したプロファイルと称する（工程Ｓ２−１）。好ましくは、該短縮したプロファイルは、工程Ｓ１で取得された輝度プロファイルの内側端（鼻下領域中の端）から頬部領域までについての輝度プロファイルであり、例えば、工程Ｓ１で取得された輝度プロファイルの内側端に位置する画素から頬部、好ましくは頬の中央部あたりに位置する画素までのプロファイルである。より簡便には、該短縮したプロファイルは、工程Ｓ１で取得された輝度プロファイルから、好ましくは外測１／５領域（ピクセル数）のプロファイルを削除した、内側端を含む４／５の長さ（ピクセル数）のプロファイル、より好ましくは外測１／４領域（ピクセル数）のプロファイルを削除した、内側端を含む３／４の長さ（ピクセル数）のプロファイル、さらに好ましくは外測１／３領域（ピクセル数）のプロファイルを削除した、内側端を含む２／３の長さ（ピクセル数）のプロファイル、に短縮することで得ることができる。図９に短縮したプロファイルの例を示す。図９では、図５の輝度プロファイルの外側（終点）側１／３を削除して２／３の長さに短縮した短縮したプロファイル（破線）を、短縮前の輝度プロファイル（グレーライン）、及び短縮したプロファイルのベースライン（太い実線）とともに示す。該短縮したプロファイルを、上記輝度プロファイルの代わりに用いて、上述と同様の手順で補正プロファイルを得ることができる。すなわち、該短縮したプロファイルの両端を結ぶ直線をベースラインとして取得し（工程Ｓ２−２）、該ベースラインに基づいて該短縮したプロファイルのベースライン補正を行い（工程Ｓ２−３）、図１０に示す補正プロファイルを得る。

次いで、得られた補正プロファイルに基づいてほうれい線を検出する（工程Ｓ３）。具体的には、該顔画像における補正プロファイルの輝度値が最小となる位置（図１０中の矢印で示した画素の位置）を、ほうれい線上の点として検出する。このとき、検出された位置が、ほうれい線が通常存在する領域から外れていた場合、誤検出とみなして検出データを削除することができる。例えば、補正プロファイルの輝度値が最小となる該顔画像の位置が、鼻翼端と口角端を結ぶ線分よりも外側にあり、且つ鼻翼端よりも下にある場合に、該位置をほうれい線上の点として取得することが好ましい。一方、補正プロファイルの輝度値が最小となる該顔画像の位置が、鼻翼端と口角端を結ぶ線分上もしくはその内側にあった場合、又は鼻翼端の高さもしくはそれより上にあった場合、該位置は、ほうれい線上の点としては検出されないことが好ましい。

本方法では、上述したように、ほうれい線を横切る直線状領域が複数個取得され、その各々について、上記と同様の手順で補正プロファイルが取得され、ほうれい線上の点が検出され得る。各々のほうれい線を横切る直線状領域について検出したほうれい線上の点を重ねる又は結ぶことで、ほうれい線の全体的形状を構築することができる。例えば、元の顔画像上において、検出された各ほうれい線上の点の座標を顔画像上にプロットすれば、該顔画像上におけるほうれい線の位置を検出することができる。また例えば、取得されたほうれい線上の点を結ぶ線分を構築し、それらの線分のデータをほうれい線のデータとして取得することができる。その際、構築されたプロットの集合又は線分を、その方向や長さによって、ほうれい線であるか否か選別してもよい。例えば、長さによって選別する場合は、構築されたプロットの集合又は線分のＸ座標（及び／又はＹ座標）での最大値と最小値の差が所定の基準を満たす場合、該線分はほうれい線であると判断され得る。より詳細には、例えば、構築されたプロットの集合又は線分のＸ座標での最大値と最小値の差が鼻翼端と正中線との距離（例えば、図４の特徴点５５から点５７までの距離）よりも小さい場合、該プロットの集合又は線分はほうれい線であると判断され得る。

〔２．装置、プログラム〕
さらなる一態様において、本発明は、上述した本発明に係るほうれい線の検出方法を実施するための装置及びプログラムを提供する。

図１１は、本発明に係るほうれい線の検出方法を実施するための装置（以下、本発明の装置、又は単に装置とも称する）の構成の一実施形態の概念図である。図１１に示す本発明の装置１は、制御ユニット１０、操作ユニット２０、出力ユニット３０を備え、さらに顔画像取得ユニット４０を備えていてもよい。ただし、装置１の構成は、図１１に示される内容に限定されない。

制御ユニット１０は、１つ以上の計算機（コンピュータ）を備え、該計算機は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、及び必要に応じて入出力インタフェース（Ｉ／Ｆ）１３等を備える。ＣＰＵ１１としては、一般的なＣＰＵ、及び特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等が挙げられる。メモリ１２としては、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）が挙げられる。入出力Ｉ／Ｆ１３は、操作ユニット２０及び出力ユニット３０と、さらに存在する場合は顔画像取得ユニット４０と、接続されている。さらに制御ユニット１０は、外部メディア、外部計算機（ホストコンピュータ等）などの他の機器と接続されてもよく、その場合、制御ユニット１０は、通信ユニット１４を備え得る。例えば、通信ユニット１４は、外部メディアや外部計算機などから顔画像データのファイルを直接受け取る場合、又は制御ユニットによる処理結果を外部メディアや外部計算機に送信する場合に使用され得る。

制御ユニット１０は、操作ユニット２０からのオペレータのコマンドの受け取り、顔画像取得ユニット４０からの顔画像データの取り込み、本方法に従う顔画像の処理（輝度プロファイル、短縮プロファイル及び補正プロファイルの取得、ならびにほうれい線の検出）、出力ユニット３０に対する処理結果の出力、などを実施する。制御ユニット１０において、操作ユニット２０からのコマンドの受け取り、顔画像データの取り込み、処理結果の出力などを行う計算機と、本方法に従う顔画像の処理を行う計算機は、同一であっても、異なっていてもよい。

操作ユニット２０は、キーボード、マウス、タッチパネル、マイクロフォン等のオペレータからの指示を受け付けるユーザーインターフェース（ＵＩ）を備える。出力ユニット３０は、表示装置、投影装置（プロジェクタ）、印刷装置（プリンタ）、スピーカ等を備える。表示装置の例としては、ＬＣＤ（Liquid Crystal Display）又はＣＲＴ（Cathode Ray Tube）ディスプレイのような、制御ユニット１０による処理結果を表示する画面を備える装置が挙げられる。顔画像取得ユニット４０は、カメラ、スキャナ等から顔画像データを取得する。顔画像取得ユニット４０は、撮像装置（カメラ、ビデオ等）を備えていてもよい。

本発明の装置において、操作ユニット２０と出力ユニット３０は一体化されて、タッチパネルディスプレイとして構成されてもよい。あるいは、制御ユニット１０、操作ユニット２０、出力ユニット３０、及び顔画像取得ユニット４０が一体化されて、カメラ付きコンピュータ又はカメラ付きモバイル端末などとして構成されてもよい。

装置１は、上述したもの以外の他のハードウェア要素を備えていてもよい。該他のハードウェア要素の数や種類は限定されない。例えば、装置１は複数のＣＰＵ１１、又は複数の出力ユニット３０を備えていてもよい。

装置１による本発明のほうれい線の検出方法の実施プロセスの一実施形態について説明する。まず、顔画像取得ユニット４０により顔画像取得工程（工程Ｓ０）が行われ、得られた顔画像データは、入出力Ｉ／Ｆ１３を介して、制御ユニット１０に送られる。送られる画像データは、上述したようなＪＰＥＧ、ＢＭＰ、ＴＩＦＦ、ＧＩＦ等の形式の画像ファイル、もしくは明暗情報を羅列したデータであることが好ましい。あるいは、外部で取得されたこれらの画像ファイルやデータが入出力Ｉ／Ｆ１３や通信ユニット１４を介して制御ユニット１０に送られてもよい。あるいは、顔画像のアナログデータが制御ユニット１０に送られ、制御ユニット１０において上記形式の画像ファイルに変換されてもよい。得られた画像ファイルやデータはメモリ１２に格納され、必要に応じて呼び出される。

ＣＰＵ１１は、本方法に従う一連の顔画像の処理（輝度プロファイル、短縮プロファイル及び補正プロファイルの取得、ならびにほうれい線の検出；工程Ｓ１〜Ｓ３）を実行する。これらの処理は、本発明のほうれい線の検出方法を実施するためのプログラム（以下、本発明のプログラム）により実行される。本発明のプログラムは、予め制御ユニット１０の計算機にインストールされてメモリ１２に格納されていてもよく、又は制御ユニット１０に接続された外部機器に保存されて、必要に応じて呼び出されてもよい。本発明のプログラムは、必要に応じて操作ユニット２０から受け取ったコマンドに従って、メモリに格納された顔画像のファイルやデータを本方法に従って処理し、ほうれい線の情報を算出する。算出されたほうれい線の情報は、メモリ１２に格納されてもよく、又は直接出力ユニット３０から出力されてもよく、又は通信ユニット１４を介して外部機器に出力されてもよい。

算出されたほうれい線の情報の出力の形式は、特に限定されない。一実施形態においては、出力ユニット３０のディスプレイ等に表示した顔画像の上に、検出したほうれい線上の各点がプロットされることで、該顔画像上に、算出したほうれい線が重ね合わせて表示される。別の一実施形態においては、算出されたほうれい線の情報は単なる数値として保存され、他の分析（例えば、顔認識、表情解析、美容カウンセリングや化粧品の評価等）のために使用される。

以下、実施例に基づき本発明をさらに詳細に説明するが、本発明はこれに限定されるものではない。

実施例１ ほうれい線の検出
１）顔画像の取得
シワグレード３〜４のほうれい線を有する女性５名の顔画像（ｐｎｇ形式、画素数１０８１×１５６１、正面向き）を用いた。

２）顔の特徴点抽出
取得した顔画像から、iOSのVison.frameworkのVNDetectFaceLandmarksRequestクラスを用いて、６５個の顔の特徴点を抽出した。その一覧を表１及び図４に示す。

３）輝度プロファイルの取得
抽出した顔の特徴点のうち、左鼻翼端５７及び左口角端２９を結ぶ直線上の１点（中点）を始点とし、かつ輪郭上の１点を終点とした直線を求め、顔画像上の当該直線が通過する画素を選抜し、選抜した画素の輝度を求めた。輝度の計算では、画素のＲＧＢ値に基づいて、下記の式により画素のＹ値を求めた。
Ｙ＝０．２９９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
得られた各画素のＹ値を顔の内側から外側に向かう方向の順で並べ、輝度プロファイルを作成した。
取得した輝度プロファイルは、その標準偏差（ＳＤ）がほうれい線を含まない領域のプロファイル（特徴点８と４９の線分が通過する画素についての輝度プロファイル）のＳＤの５倍の値より大きい場合にのみ、次の工程で用いられた。

４）ベースライン補正による補正プロファイルの取得
取得した輝度プロファイルの終点側１／３を削除して、始点側を含む２／３の長さのプロファイルに短縮した。短縮したプロファイルの両端を通る直線をベースラインとして取得した。次いで、該短縮したプロファイルからベースラインを引き算し、その差分を補正プロファイルとして取得した。

５）ほうれい線位置の検出
取得した補正プロファイルの輝度値が最小となる画素の顔画像における位置を算出した。算出した位置が、特徴点５７と２９を結ぶ線分を伸ばした直線よりも顔の外側、かつ特徴点５７よりも下に位置していた場合、当該位置をほうれい線上の点として検出した。

６）ほうれい線情報の取得
２）で求めた直線（始点は同じ）の終点を眉上の点（５）から顎の中心（４５）まで順に変えて２）〜５）の工程を繰り返し、２２個のほうれい線上の点を求めた。求めた点を結んで得られた線分をほうれい線として取得した。

実施例２ ほうれい線の検出
実施例１で用いた顔画像において、手動により検出したほうれい線の位置と、実施例１で検出したほうれい線の位置とを比較した。解析者が顔画像から目視によりほうれい線を検出し、検出したほうれい線を顔画像に重ね描きし、描いた線の位置を取得することで、手動検出したほうれい線の顔画像上での位置を取得した。実施例１で検出したほうれい線上の各点と、手動検出したほうれい線との最短距離を算出し、平均平方二乗誤差；ＲＭＳＥ）を求めた。

図１２に、顔画像から手動及び実施例１の手法で検出されたほうれい線の例を示す。表２には、図１２の顔画像から手動及び実施例１の手法で検出されたほうれい線間でのＲＭＳＥと、同じ顔画像から２名の解析者が手動検出したほうれい線の間で同様に求めたＲＭＳＥを表２に示す。実施例１で求めたほうれい線と手動検出されたほうれい線とのずれ（ＲＭＳＥ）は、手動検出同士でのずれと同等であった。したがって、実施例１の手法によるほうれい線の検出が、手動検出と同等の精度を有することが示された。

Claims (7)

1. ほうれい線の検出方法であって、
   ヒトの顔画像における、左右それぞれの鼻翼端と口角端を結ぶ直線に挟まれた鼻下領域中の１点から、輪郭上、眉上又は目上の１点までの直線状領域について、輝度プロファイルを取得すること；
   該輝度プロファイルの両端を結ぶ直線をベースラインとして取得すること；
   該輝度プロファイルからベースラインを引き算し、補正プロファイルを取得すること；
   該補正プロファイルの輝度値が最小となる位置を検出すること；
   該補正プロファイルの輝度値が最小となる位置が、鼻翼端と口角端を結ぶ線分よりも外側且つ鼻翼端よりも下にある場合に、該位置をほうれい線上の点として取得すること、
   を含む、方法。
2. 互いに異なる複数の前記直線状領域についての複数の前記輝度プロファイルを取得すること；
   取得した該複数の輝度プロファイルの各々ついて、前記ベースライン、及び前記補正プロファイルを取得すること；
   取得した各々の補正プロファイルにおいて輝度値が最小となる位置を検出すること；
   各々の補正プロファイルの輝度値が最小となる位置が、鼻翼端と口角端を結ぶ線分よりも外側且つ鼻翼端よりも下にある場合に、各々の該位置をほうれい線上の点として取得すること；
   取得した各々のほうれい線上の点を重ねる又は結ぶことで、ほうれい線を構築すること；
   を含む請求項１記載の方法。
3. 前記輪郭上、眉上又は目上の１点が、検出すべきほうれい線と同側にある輪郭上、眉上又は目上の１点である、請求項１又は２記載の方法。
4. 前記輝度プロファイルの両端を結ぶ直線をベースラインとして取得する工程が、該輝度プロファイルから輪郭、眉、又は目付近〜外側端までのプロファイルを削除して短縮したプロファイルを作成し、次いで該短縮したプロファイルの両端を結ぶ直線をベースラインとして取得することを含む、請求項１〜３のいずれか１項記載の方法。
5. 取得された前記直線状領域についての輝度プロファイルの標準偏差が、ほうれい線を含まない対照領域についての輝度プロファイルの標準偏差の５倍よりも大きい場合に、該輝度プロファイルの短縮したプロファイルを取得する、請求項１〜４のいずれか１項記載の方法。
6. 請求項１〜５のいずれか１項記載の方法を実施するための装置。
7. 請求項１〜５のいずれか１項記載の方法を実施するためのプログラム。

Images