JP2013212177A - 画像解析方法、画像解析装置、及び画像解析プログラム - Google Patents

Abstract

【課題】被験者の撮影画像を用いて肌等の解析を高精度に行う。
【解決手段】所定の波長領域で撮影された被験者の画像を用いて、前記被験者の肌の解析を行う画像解析方法において、前記画像から得られる基準点に基づいてメッシュの形状を設定し、設定されたメッシュの形状に基づいて複数のメッシュを配置するメッシュ配置ステップと、前記メッシュ配置ステップにより得られるメッシュ毎に統計量を算出する統計量算出ステップと、前記統計量算出ステップにより得られる統計量に基づいて前記メッシュ毎の肌の解析する画像解析ステップと、前記画像解析ステップにより得られる解析結果の画像を生成する画像生成ステップとを有することにより、上記課題を解決する。
【選択図】図１

Description

本発明は、画像解析方法、画像解析装置、及び画像解析プログラムに係り、特に被験者の撮影画像を用いて肌等の解析を高精度に行うための画像解析方法、画像解析装置、及び画像解析プログラムに関する。

従来では、被験者を撮影した画像を用いて、被験者の肌（皮膚）の状態を解析する手法が存在する。例えば、従来では、顔の水分変化を可視化するために近赤外カメラを用いて２枚の近赤外分光画像を撮影し、撮影した画像から顔表面に塗布した保湿液の可視化を行う技術が開示されている（例えば、非特許文献１）。また、近年では、近赤外を用いて皮膚水分量を鑑別する技術が開示されている（例えば、特許文献１参照）。

更に、近年では、被験者に皮膚外用剤を塗布する前後における顔画像を取得し、取得した前後の画像の差分量を複数の異なる近赤外領域毎に取得し、取得した差分量に基づいて被験者の皮膚を解析する手法が存在する（例えば、特許文献２参照）。

特開２０１０−２５６２２号公報 特許第４８３２５９０号公報

岩崎宏明他、「２枚の近赤外分光画像を用いた顔の水分変化の可視化」、日本光学会（応用物理学会）、Ｏｐｔｉｃｓ Ｊａｐａｎ ２００５ Ｔｏｋｙｏ、２００５年１１月２３〜２５日

上述したような従来手法によれば、被験者毎の肌の状態を解析することができる。しかしながら、被験者は、顔の形や大きさが異なるため、例えば複数の被験者を対象にした肌の同一領域に対する統計的な解析や評価等を行うことができなかった。したがって、被験者の撮影画像を用いて肌等の解析を高精度に行うことができなかった。

本発明は、上述した課題に鑑みてなされたものであって、被験者の撮影画像を用いて肌等の解析を高精度に行うための画像解析方法、画像解析装置、及び画像解析プログラムを提供することを目的とする。

上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、所定の波長領域で撮影された被験者の画像を用いて、前記被験者の肌の解析を行う画像解析方法において、前記画像から得られる基準点に基づいてメッシュの形状を設定し、設定されたメッシュの形状に基づいて複数のメッシュを配置するメッシュ配置ステップと、前記メッシュ配置ステップにより得られるメッシュ毎に統計量を算出する統計量算出ステップと、前記統計量算出ステップにより得られる統計量に基づいて前記メッシュ毎の肌の解析する画像解析ステップと、前記画像解析ステップにより得られる解析結果の画像を生成する画像生成ステップとを有する。

本発明によれば、被験者の撮影画像を用いて肌等の解析を高精度に行うことができる。

第１実施形態における画像解析装置の機能構成の一例を示す図である。 第１実施形態における画像解析処理が実現可能なハードウェア構成の一例を示す図である。 第１実施形態における画像解析処理手順の一例を示すフローチャートである。 メッシュ形状の違いを説明するための図である。 第１実施形態におけるマップ図への統計量の入力例を説明するための図（その１である。 第１実施形態におけるマップ図への統計量の入力例を説明するための図（その２である。 統計量に対応する解析内容の一例を示す図である。 水分マップの一例を示す図である。 ばらつきマップの一例を示す図である。 肌状態に対応するレベル分布の一例を示す図である。 第２実施形態における画像解析装置の機能構成の一例を示す図である。 第２実施形態における画像解析処理手順の一例を示すフローチャートである。 強調画像の取得方法の一例を説明するための図である。 第２実施形態における解析結果の一例を示す図である

＜本発明について＞
本発明は、画像に含まれる被験者の肌（皮膚）領域をメッシュに分割する際、被験者毎の顔の形状や画像中における顔の大きさ、解像度等に基づいて、メッシュの大きさを可変にできるようにする。つまり、本発明では、例えば被験者毎に分割されるメッシュの数を同じにし、相対的な位置関係に基づいてメッシュの大きさを変化させる。また、本発明は、メッシュ毎の統計量を算出して、これを解析（評価）の指標の１つとする。

したがって、本発明では、予め顔全体で比較する領域を細分化し、被験者毎に細分化された領域の相対位置に基づいて各領域の統計量を比較することで、より高精度な肌解析を実現することができる。

以下に、本発明における画像解析方法、画像解析装置、及び画像解析プログラムを好適に実施した形態について、図面を用いて説明する。

＜第１実施形態：画像解析装置：概略構成例＞
まず、第１実施形態における画像解析装置の機能構成例について、図を用いて説明する。図１は、第１実施形態における画像解析装置の機能構成の一例を示す図である。図１に示す画像解析装置１０は、入力手段１１と、出力手段１２と、記憶手段１３と、画像取得手段１４と、補正手段１５と、メッシュ配置手段１６と、統計量算出手段１７と、画像解析手段１８と、画像生成手段１９と、送受信手段２０と、制御手段２１とを有する。

入力手段１１は、使用者等からの画像取得指示や補正指示、メッシュ配置指示、統計量算出指示、画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。また、入力手段１１は、デジタルカメラや近赤外カメラ等の予め設定された撮像手段等により撮影された被験者の肌画像を入力する機能も有する。

出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段１２は、ディスプレイやスピーカ等からなる。更に、出力手段１２としてプリンタ等の機能を有していてもよく、その場合には、画像解析結果等を紙等の印刷媒体に印刷して、使用者や被験者等に提供することもできる。

なお、入力手段１１と出力手段１２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。

また、記憶手段１３は、撮影画像取得手段１４により得られる撮影画像、補正手段により得られる補正画像、メッシュ配置情報、統計量、画像解析結果、画像生成情報、設定情報等の各種データを蓄積する。また、記憶手段１３は、必要に応じて蓄積されている各種データを読み出すことができる。

また、撮影画像取得手段１４は、カメラ等の撮像手段により撮影された被験者の顔画像を取得する。なお、撮影画像取得手段１４は、例えば予め設定された波長領域に基づく可視画像、近赤外画像、赤外画像、紫外画像等を取得することができるが、これに限定されるものではない。また、取得される画像は、白黒の場合には、グレースケール輝度画像等であってもよく、カラーの場合には、ＲＧＢ輝度画像等であってもよい。

また、撮影画像取得手段１４は、被験者の顔を撮影する際に、撮影する画像の内容に応じて、例えば使用する光源の種類や位置、数等を設定することができる。撮影画像取得手段１４により取得された画像は、記憶手段１３に蓄積される。

補正手段１５は、画像取得手段１４により得られる画像に対して、例えば色補正やコントラスト補正、明るさ補正等の補正処理を行う。なお、補正処理は、必要に応じて行えばよく、例えば補正処理を行うか否かを予め画像解析装置１０を操作する操作者（ユーザ）等が設定しておいてもよい。

メッシュ配置手段１６は、画像に含まれる被験者の肌領域に対して、メッシュ分割するための基準点を設定する。具体的には、メッシュ配置手段１６は、例えば被験者の顔画像に対してメッシュ分割を行う場合には、顔面において動きの少ない部位（特徴点）を基準点として３点以上設定する。第１実施形態では、３点以上設定することで、メッシュの縦と横の比率を算出することができる。なお、基準点としては、例えば目尻、目頭、鼻先、顎先、上唇中央、耳穴等があるが、これに限定されるものではなく、例えば目の中心等であってもよい。また、第１実施形態では、撮影される顔画像が正面画像の場合や側面画像の場合もあるため、撮影画像に含まれる顔領域に応じて、基準点の設定を変更することができる。

また、メッシュ配置手段１６は、設定された基準点に基づいてメッシュの大きさを算出する。例えば、メッシュ配置手段１６は、メッシュを矩形とし、予め基準点に基づくメッシュの縦の個数と横の個数が設定されている場合に、複数の基準点から得られる縦の幅をメッシュの縦の個数で除算することで、メッシュの縦の長さが算出され、また複数の基準点から得られる横の幅をメッシュの横の個数で除算することで、メッシュの横の長さが算出される。これにより、メッシュの縦と横の長さが設定される。

また、メッシュ配置手段１６は、算出されたメッシュの大きさに基づいて、基準点の位置に対応付けて複数のメッシュ（メッシュ群）を配置する。なお、メッシュは、各被験者の同一の顔の向きに対して同一数量を配置する。つまり、第１実施形態では、例えば額、頬等の特定の解析領域におけるメッシュの相対的な位置、数が固定となる。なお、メッシュの形状は、例えば矩形や三角形等の予め選択された多角形を用いることができるが、これに限定されるものではない。

統計量算出手段１７は、各メッシュの統計量を算出する。なお、統計量としては、例えば各メッシュに含まれる画素毎の輝度の平均値、他の画素との輝度のばらつきを示す輝度の標準偏差、又はその両方等があるが、これに限定されるものではない。また、統計量算出手段１７は、被験者毎或いは全被験者の統計量のヒストグラムから統計的な水準を算出する。

画像解析手段１８は、統計量に基づいて被験者群における画像解析を行う。具体的には、画像解析手段１８は、各メッシュに、予め設定された任意のメッシュ群におけるパーセンタイル値を用いて所定数の水準（例えば、５水準）に分類する。例えば、画像解析手段１８は、各メッシュの統計量に基づいて、例えば水分量（水分が多い、少ない等）、肌のばらつき、肌荒れ、かさつき等の解析を行う。

なお、画像解析手段１８は、画像解析を行う部分を撮影した顔の肌全体に対して行ってもよく、また入力手段１１等を用いてユーザ等により指定された所定領域に対してのみ解析を行ってもよい。また、指定される領域は、１つでもよく、複数でもよい。また、画像解析手段１８で解析される画像は、例えば、頬や額等の肌画像であり、また、腕や手、足等の画像でもよい。更に、画像解析手段１８は、頭髪についても解析を行うことができる。

更に、画像解析手段１８は、メッシュ毎の解析ではなく、例えば複数のメッシュを特徴のある部位毎（例えば、瞼、頬、口元）に纏めて１つの領域として、その領域に対するメッシュ統計量から肌解析を行ってもよい。

画像生成手段１９は、統計量をユーザや被験者等に表示させる所定の画像を生成する。具体的には、画像生成手段１９は、例えば、各メッシュに統計量を入力した顔面の数値表（マップ）の画像を生成する。また、画像生成手段１９は、例えば平均値や標準偏差について所定の水準を規定し、その水準に基づいて色分け等を行った画像を生成する。なお、第１実施形態においては、色分けに限定されるものではなく、例えば所定の水準に基づいて模様分け等を行ってもよく、色と模様を組み合わせてもよい。

また、画像生成手段１９は、メッシュ領域全体に対して色や模様を付与するのではなく、例えばメッシュの外枠のみに色や模様を付与してもよい。また、色分け等は、背景となる顔画像が分かるように半透明でもよく、透明にしなくてもよい。また、画像生成手段１９は、被験者毎或いは全被験者の統計量のヒストグラム等を用いて統計的な水準に対応付けた画像を生成することができる。これにより、第１実施形態では、より明確に統計結果等をユーザや被験者等に提供することができる。

なお、画像生成手段１９は、生成した画像を出力手段１２の画面に表示する際、ユーザや被験者に見やすくするために、例えば所定領域の拡大や輝度反転等の処理を行った後、表示させることもできる。また、画像生成手段１９は、画像のうち、ユーザにより設定された領域に対する擬似カラー生成等の処理を行う。

送受信手段２０は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して外部装置とデータの送受信を行うための通信手段である。なお、送受信手段２０は、外部装置等に既に記憶されている顔画像データや被験者情報等を受信することができ、また画像解析装置１０で解析された結果を、通信ネットワークを介して外部装置に送信することもできる。

制御手段２１は、画像解析装置１０の各構成部全体の制御を行う。具体的には、制御手段２１は、例えばユーザ等による入力手段１１からの指示等に基づいて、画像取得処理や補正処理、メッシュ配置処理、統計量算出処理、画像解析処理、画像生成処理等の各制御を行う。

＜画像解析装置１０：ハードウェア構成＞
ここで、上述した画像解析装置１０においては、各機能をコンピュータに実行させることができる実行プログラム（画像解析プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における画像解析処理を実現することができる。ここで、第１実施形態における画像解析処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。

図２は、第１実施形態における画像解析処理が実現可能なハードウェア構成の一例を示す図である。図２におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置３１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置３１は、ネットワーク接続装置３７等に接続された外部装置から通信ネットワークを介して得られる画像や画像取得手段１４により得られる画像を入力することもできる。

出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。また、出力装置３２は、上述の処理結果等を紙等の印刷媒体に印刷して、ユーザや被験者等に提示することができる。

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。

補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。

ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置３４から取得することができ、また実行結果等を格納することもできる。

ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の装置等に提供することができる。

また、ネットワーク接続装置３７は、通信ネットワークに接続された外部装置に記憶された撮影画像や被験者情報等の各種データを取得することもできる。

上述したようなハードウェア構成により、本発明における画像解析処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における画像解析処理を容易に実現することができる。

＜第１実施形態における画像解析処理手順＞
次に、上述した画像解析装置１０や画像解析プログラムを用いた第１実施形態における画像解析処理手順について説明する。図３は、第１実施形態における画像解析処理手順の一例を示すフローチャートである。

図３に示す画像解析処理は、まず、撮影された画像を取得する（Ｓ０１）。なお、取得される画像は、例えば、可視領域撮影画像（可視画像）、近赤外領域撮影画像（近赤外画像）、赤外領域撮影画像（赤外画像）、及び紫外線撮影画像（紫外画像）等のうち少なくとも１つを含むが、これに限定されるものではない。

次に、画像解析処理は、Ｓ０１で取得した画像に対して、例えば色補正、コントラスト補正、及び明るさ補正等のうち、少なくとも１つの補正処理を行う（Ｓ０２）。Ｓ０２の処理は、例えば複数の画像に対して同一の条件で解析できるように、画像の補正を行う。なお、第１実施形態においては、Ｓ０２の処理は実施しなくてもよい。

次に、画像解析処理は、補正された画像に対して、基準点の設定を行う（Ｓ０３）。具体的には、例えば顔面において、動きの少ない部位を基準点に設定する。なお、基準点は、縦と横の比率が算出できるように、同一直線上ではなく異なる地点に３点以上の基準点を設定するのが好ましい。なお、基準点としては、上述したように例えば両目尻、両目頭、鼻先、顎先、上唇中央、耳穴等があるが、これに限定されるものではない。

次に、画像解析処理は、基準点に基づいて予め設定されるメッシュの大きさを算出する（Ｓ０４）。例えば、矩形型のメッシュを配置する場合には、両目尻の幅に対して所定数（例えば、１０〜１５個）のメッシュを配置する際のメッシュの配置数に応じてメッシュ１個の横の長さが設定される。また、第１実施形態では、目尻から上唇中央までの縦の幅に対して所定数（例えば、１０〜１５個）のメッシュを配置する際のメッシュの配置数に応じてメッシュ１個の縦の長さが設定される。これにより、被験者毎のメッシュの縦横の長さが決定される。なお、メッシュの配置数については、例えば画像の画素数や画像中に含まれる顔領域の割合等に対応させて設定することができるが、これに限定されるものではない。例えば、第１実施形態では、メッシュが三角形の場合には、３つの基準点を頂点とする三角形の相似形状に基づいてメッシュの大きさを設定してもよい。

次に、画像解析処理は、所定の基準位置を中心にメッシュ群を配置する（Ｓ０５）なお、Ｓ０５の処理において、メッシュは、被験者毎に同一数量を配置する。また、Ｓ０５の処理では、額や頬等の特定の解析領域におけるメッシュの相対的な位置を固定にすることができる。

次に、画像解析処理は、各メッシュ内の統計量を算出する（Ｓ０６）。なお、統計量としては、例えば、輝度の平均値や標準偏差等があるがこれに限定されるものではない。また、第１実施形態では、例えばメッシュ内に存在するホクロやシミ、傷等がある場合には、画像解析等によりその領域を除いた領域を用いて輝度の平均値や標準偏差を求めることができる。

次に、画像解析処理は、上述した統計量を表示する画面を生成する。具体的には、第１実施形態では、Ｓ０６の処理で得られたメッシュ毎の統計量を、予め設定された顔画像の所定の位置に対応するメッシュのマップ図に入力する（Ｓ０７）。

次に、画像解析処理は、例えば被験者毎又は全被験者の統計量のヒストグラム等を用いて統計的に水準を算出し（Ｓ０８）、算出された任意の水準で顔画像に配置されたメッシュに対して色分け等で表示する（Ｓ０９）。これにより、メッシュ毎の輝度の様子をユーザや被験者が容易に把握させることができる。なお、第１実施形態において画面に表示される画像については、これに限定されるものではなく、他の各種画面を表示させることができる。

＜取得される画像に応じた解析手法について＞
第１実施形態では、取得する画像に応じて多種の解析を行うことができる。例えば、可視画像（例えば、波長領域が約３８０ｎｍ〜約７５０ｎｍ）の場合には、カラー画像から肌の色全体の分布或いは肌の平均的な色とは異なる部分を抽出し、その分布や部分に基づく肌の解析を行うことができる。

また、可視画像の場合には、色彩から見た肌の滑らかさ（綺麗さ）やシミ、赤みといった美容上の問題となる色の解析が可能となる。更に、可視画像の場合には、取得したカラー画像をＲＧＢ分解することで、それぞれ輝度の濃淡を取得することができるため、上述したメッシュ毎の解析ができ、上述した解析手法が適用できる。

また、近赤外画像（例えば、波長領域が約８００ｎｍ〜約２５００ｎｍ）の場合には、近赤外領域の特定の波長についての吸収を画像化し、その分布を用いて解析することができる。また、近赤外画像の場合には、波長により水分や油分の解析が可能である。更に、近赤外画像の場合には、近赤外領域の吸収を輝度情報として画像化することができる。

また、赤外画像（例えば、波長領域が約２５００ｎｍ〜１０００μｍ）の場合には、熱画像を取得できるため、肌表面の温度分布状態を分析することができる。また、赤外画像の場合には、温度変化を取得することができるため、例えば肌のマッサージ後の温度変化や外環境に対する影響等を解析することができる。更に、赤外画像の場合には、取得画像は温度を輝度情報に変換したものであることから、その輝度情報から上述したメッシュ毎の解析ができ、上述した解析手法が適用できる。

更に、紫外画像（例えば、波長領域が約１０ｎｍ〜約４００ｎｍ）の場合には、主にメラニンが強調された画像が取得できるため、シミの部分を抽出し、その分布状態から肌の解析を行うことができる。つまり、紫外画像の場合には、シミに特化した解析が可能となる。更に、紫外画像の場合には、取得画像は輝度情報であるため、その輝度情報から上述したメッシュ毎の解析ができ、上述した解析手法が適用できる。

なお、上述した可視画像は、例えばデジタルカメラで撮影でき、近赤外画像は、例えば水等を可視化する撮像手段等で撮影でき、赤外画像は、例えばサーモグラフィー等で撮影でき、紫外画像は、例えばシミ等を強調するカメラ等により撮影することができるが、これに限定されるものではない。第１実施形態における手法は、広義の意味では、観測対象物へ電磁波を照射したときの反射或いは吸収の状態を定量して画像化したものである。また、画像化する阻止の大きさや数によって情報量が変化する。なお、照明装置や撮影装置等については、例えば、本出願人により出願された特許第４８８２０１９号公報等に示される装置等を利用することができるが、これに限定されるものではない。

なお、上述した各画像については、解析内容等に応じて所定の波長領域で撮影された被験者の顔画像を用いて、被験者の皮膚の解析を行う。

＜メッシュ形状の違いについて＞
ここで、第１実施形態における被験者毎のメッシュ形状の違いについて、図を用いて説明する図４は、メッシュ形状の違いを説明するための図である。図４には、一例として異なる被験者の顔画像４０−１，４０−２を有する。各顔画像４０−１，４０−２は、一例として顔の正面画像を示し、顔領域には、上述した基準点に基づいてメッシュ群が配置され、メッシュで各領域が分割されている。

ここで、図４に示すように各顔画像４０−１，４０−２の同一メッシュ部分を抽出すると、各部分画像４１−１，４１−２のメッシュの大きさは異なっている。具体的には、顔画像４０−１に配置された各メッシュ４２−１は、縦２８ピクセル（ｐｉｘｅｌ）×横２５ピクセルであるのに対し、顔画像４０−２に配置された各メッシュ４２−２は、縦２５ピクセル（ｐｉｘｅｌ）×横２７ピクセルである。そのように被験者毎の顔の形状や大きさに応じてメッシュの大きさを設定して配置するため、各被験者のメッシュの数が等しくなり、同一位置のメッシュ毎の比較等を高精度に行うことができる。なお、第１実施形態では、被験者毎のメッシュの大きさが異なるが、メッシュ毎に平均値や標準偏差等の統計量に基づいて比較を行うため、大きさの差による評価指標としての影響はない。

＜マップ図への入力について＞
ここで、第１実施形態におけるマップ図への統計量の入力例について説明する。図５，図６は、第１実施形態におけるマップ図への統計量の入力例を説明するための図（その１，その２）である。図５の例では、顔領域の正面図を示し、図６の例では、顔領域の左右両側面図を示している。

第１実施形態では、例えば、図５（Ａ）に示す予め設定された顔領域に対して縦、横に所定数配置された矩形の各メッシュ４２に対し、図５（Ｂ）に示すように、被験者が実際に割り当てられた輝度平均値や輝度標準偏差値が入力される。なお、図５（Ｂ）の例では、各メッシュの位置に対応する輝度平均値が入力されている。このメッシュの配置位置や数は、被験者毎に一致する。

また、左右の顔領域に対する統計量を測定した場合には、図６に示すように、左右のメッシュに対して統計量が入力される。また、統計量は、全てのメッシュについて入力しなくてもよく、一部のメッシュに対する入力であってもよい。

なお、図５，６の例では、被験者そのものの顔画像ではなく、サンプルとしてのモデル顔画像４３を表示させているが、これに限定されるものではなく、被験者の顔画像であってもよい。第１実施形態では、メッシュの数が被験者毎に同一になるため、図５，６に示すようなモデル顔画像４３を用いても同一位置での統計量の入力が可能となる。したがって、各被験者間で統合した解析や評価を行うことができる。これにより、第１実施形態では、例えばメッシュ単位で詳細な水分量やメッシュ間の輝度のばらつき度といった解析を行うことができる。

なお、図５，６の例では、各メッシュに位置情報（例えば、メッシュ番号）を割り振っておくことで、メッシュ毎の管理を容易に行うことができる。また、位置情報を用いて複数の被験者の同一位置のメッシュの情報（例えば、統計量）等を容易に抽出することができ、解析や評価に用いることができる。

＜解析内容＞
次に、第１実施形態における統計量からの解析内容について、図を用いて説明する。図７は、統計量に対応する解析内容の一例を示す図である。なお、図７（Ａ）は、輝度平均値に基づく水分マップの一例を示し、図７（Ｂ）は、輝度標準偏差に基づく肌のばらつきマップを示している。

上述した統計量の算出により、メッシュ内の輝度平均値は、図７（Ａ）に示すように明るい方は水分量が少なく、暗い方は水分量が多い。そのため、第１実施形態では、この輝度平均値の明るさの程度に応じて「水分の多い、少ない」を所定の水準に基づいて設定し、例えば水分マップとして水準レベル毎に色分けして画面に表示することができる。

また、輝度の標準偏差においても、例えば肌荒れ（かさつき）がある場合には、輝度標準偏差が不均一になる。そこで、第１実施形態では、メッシュ内の輝度の標準偏差の結果に対応付けて「肌の均一、不均一」を所定の水準に基づいて設定し、例えば肌のばらつきマップとして水準レベル毎に色分けして画面に表示することができる。なお、輝度平均値や輝度標準偏差を用いて解析できる内容については、これに限定されるものではなく、取得される画像に応じて、例えば肌の滑らかさ、かさつき、シミ等の解析、評価等を行ってもよい。

なお、標準偏差の値は、例えば、複数の被験者のデータに基づく標準偏差でもよく、個別の被験者から統計的に取得したデータに基づく標準偏差でもよい。例えば、個別の被験者から統計的に取得したデータを用いる場合には、固有の肌特性に対応させた肌の解析を行うことができ、より高精度な画像解析を実現することができる。

＜画像生成例＞
次に、解析結果に基づく画像生成例について、図を用いて説明する。図８は、水分マップの一例を示す図である。また、図９は、ばらつきマップの一例を示す図である。図８，９の例では、統計量を入力した顔画像の数値表に基づいてマップ化が行われている。

例えば、第１実施形態では、図８に示すように輝度の平均値について、予め設定した水準（例えば、Ｌｅｂｅｌ１〜５）を規定し、その水準に基づいて色分け等によりマップ化を行う。具体的には、図８の例では、「Ｌｅｖｅｌ１：非常に多い」、「Ｌｅｖｅｌ２：多い」、「Ｌｅｖｅｌ３：やや少ない」、「Ｌｅｖｅｌ４：少ない」、「Ｌｅｖｅｌ５：非常に少ない」として水準を設定している。

また、図８には、レベル毎の統計基準量（輝度の平均値、パーセンタイル値（％））を示している。例えば、図８の例では、パーセンタイル２０％の値を区切りとして、輝度平均値０〜６８までをＬｅｖｅｌ１としている。また同様に、パーセンタイル４０％の値を区切りとして、輝度平均値６８〜７４までをＬｅｖｅｌ２としている。また、Ｌｅｖｅｌ３〜５も同様に、図８に示すような輝度の平均値を区切りとして各レベルが設定される。なお、本実施形態におけるレベル数やレベルを区切るための値については、図８の例に限定されるものではなく、任意に設定することができる。

また、本実施形態では、図９に示すように、輝度の標準偏差について、予め設定した水準（例えば、Ｌｅｂｅｌ１〜５）を規定し、その水準に基づいて色分け等によりマップ化を行う。具体的には、図９の例では、「Ｌｅｖｅｌ１：非常に均一」、「Ｌｅｖｅｌ２：均一」、「Ｌｅｖｅｌ３：ややばらついている」、「Ｌｅｖｅｌ４：ばらついている」、「Ｌｅｖｅｌ５：非常にばらついている」として水準を設定している。

また、図９には、レベル毎の統計基準量（輝度の標準偏差値、パーセンタイル値（％））を示している。例えば、図９の例では、パーセンタイル２０％の値を区切りとして、輝度の標準偏差値０〜２．９までをＬｅｖｅｌ１としている。また、同様に、パーセンタイル４０％の値を区切りとして、輝度の標準偏差値２．９〜３．６までをＬｅｖｅｌ２としている。また、Ｌｅｖｅｌ３〜５も同様に、図９に示すような輝度の標準偏差値を区切りとして各レベルが設定される。なお、本実施形態におけるレベル数やレベルを区切るための値については、図９の例に限定されるものではなく、任意に設定することができる。

なお、マップ化は、上述したように水準毎に色分けされていることが好ましい。また、水準の算出方法は、例えば図８，９の例では、任意の群におけるパーセンタイル値を用いて５水準に分類し、色分けしているが、分類する数や色等についてはこれに限定されるものではない。また、図８，９の例では、正面顔、左右顔の両方についてのレベル分布が示されているが、これに限定されるものではなく、正面顔のみ、左右一方の顔のみ、又は一部の顔領域のみの分布図であってもよい。

また、上述したようなレベルの分布図のパターンから、例えば予め設定されたパターンとのパターンマッチングによる認識により肌状態の解析を行うことができる。図１０は、肌状態に対応するレベル分布の一例を示す図である。

第１実施形態では、例えば図１０（Ａ）に示す「かさつきを感じる人のレベル分布」、図１０（Ｂ）に示す「かさつきをやや感じる人のレベル分布、図１０（Ｃ）に示す「かさつきをあまり感じない人のレベル分布」、図１０（Ｄ）に示す「かさつきを感じない人のレベル分布」等を予め設定しておくことで、被験者から得られるレベル分布図と比較（パターンマッチング）して、被験者の肌状態を解析することができる。

また、第１実施形態では、図１０（Ｅ）に示す「Ｎ肌（健康肌）」、図１０（Ｆ）に示す「Ｄ肌（乾燥肌）」、図１０（Ｇ）に示す「Ｏ肌（脂性肌・オイリー肌）」、図１０（Ｈ）に示す「ＤＯ肌（混合肌）」、等を予め設定しておくことで、被験者から得られるレベル分布図と比較して、被験者の肌状態を解析することができる。なお、上述した肌状態に対応するレベル分布は、例えば予め記憶手段１３等に記憶されており、例えば上述した画像解析手段１８によって読み出されて、上述した解析処理等に用いられたり、例えば画像生成手段１９によって読み出されて、上述した画像生成処理等に用いられる。

＜第２実施形態：画像解析装置：概略構成例＞
次に、第２実施形態における画像解析装置の機能構成例について、図を用いて説明する。図１１は、第２実施形態における画像解析装置の機能構成の一例を示す図である。なお、図１１に示す画像解析装置５０において、上述した第１実施形態における画像解析装置１０に含まれる機能構成と略同一の機能を有するものは、同一の符号を付するものとし、ここでの具体的な説明は省略する。

図１１に示す画像解析装置５０は、入力手段１１と、出力手段１２と、記憶手段１３と、画像取得手段１４と、補正手段１５と、画像強調手段５１と、メッシュ配置手段１６と、統計量算出手段１７と、画像解析手段１８と、画像生成手段１９と、送受信手段２０と、制御手段２１とを有する。

第２実施形態では、第１実施形態と比較すると画像強調手段５１を有している。画像強調手段５１は、補正手段１５により補正された画像（補正を行わない場合は、画像取得手段１４により取得された撮影画像）に対して、例えば、色修正、ノイズ除去、エッジ強調、及び暗い箇所を強調するシャドウ強調等のうち、少なくとも１つの強調処理を行う。なお、これらの強調画像は、例えば予め設定されたフィルター等を用いて強調画像を取得することができるが、これに限定されるものではない。

また、メッシュ配置手段１６は、画像強調手段５１により得られる画像を用いてメッシュ配置を行い、統計量算出手段１７により統計量を算出する。したがって、第２実施形態では、強調画像に対する統計量を算出するため、第１実施形態よりも統計量の差を出すことができる。

このように、第２実施形態では、例えば近赤外カメラ等を用いて撮影された画像を用いて肌表層部の水分を可視化し、その分布状態から被験者の肌状態を評価する場合、画像を強調することで、より明確に分布を可視化することができる。

なお、第２実施形態では、肌のうるおいについては、色の暗い部分が水分による吸収であることから、被験者の平均値以下の輝度値を「うるおっている部位」とみなす。また、乾燥については、粉ふき状態等が分かり易いように、例えば所定数の水準程度（例えば、４水準等）に分けて乾燥の程度も指標とする。したがって、第２実施形態では、第１実施形態により得られる効果と同様の効果を得ることができると共に、近赤外線画像の輝度値等を用いて基準を設定することで、「うるおい」や「乾燥」を可視化することができる。

＜画像解析装置５０：ハードウェア構成＞
ここで、上述した画像解析装置５０のハードウェア構成については、例えば上述した画像解析装置１０のハードウェア構成と同様の構成を用いることができるため、ここでの具体的な説明は省略する。

＜第２実施形態における画像解析処理手順＞
次に、上述した画像解析装置５０や画像解析プログラムを用いた第２実施形態における画像解析処理手順について説明する。図１２は、第２実施形態における画像解析処理手順の一例を示すフローチャートである。

図１２に示す画像解析処理は、まず、撮影された画像を取得する（Ｓ１１）。なお、取得される画像は、例えば、可視領域撮影画像、近赤外領域撮影画像、及び紫外線撮影画像のうち少なくとも１つを含むが、これに限定されるものではない。次に、画像解析処理は、Ｓ１１で取得した画像に対して色補正、コントラスト補正、及び明るさ補正等のうち、少なくとも１つの補正処理を行い、例えば複数の画像に対して同一の条件で解析できるようにする（Ｓ１２）。なお、第２実施形態においては、Ｓ１２の処理は実施しなくてもよい。

次に、画像解析処理は、補正された画像に対して、予め設定されたフィルター等を用いて目的の強調画像を取得し（Ｓ１３）、取得した画像を用いて基準点の設定を行う（Ｓ１４）。なお、それ以降のＳ１５〜Ｓ２０処理は、上述した第１実施形態における画像解析処理手順のＳ０４〜０９の処理と同様であるため、ここでの具体的な説明は省略する。

＜強調画像の取得方法＞
ここで、上述した画像強調手段５１による強調画像の取得方法の一例について図を用いて説明する。図１３は、強調画像の取得方法の一例を説明するための図である。

強調画像の取得方法としては、例えば波長領域が１３００ｎｍで撮影した画像（ベース画像）から、波長領域１９５０ｎｍで撮影した画像（水分画像）を差分することで、凹凸を除去した画像（差分画像）を取得する。

また、波長領域１９５０ｎｍで撮影した画像（水分画像）は、予め設定されたハイパスフィルタやローパスフィルタ等により、ノイズ除去や輝度の傾きの除去を行い、解析領域の平均値より白い部分を抽出して強調画像を取得する。ここで、上述した輝度の傾きの除去について説明する。通常は、光源の調整によりほとんど均等に光が照射されるため一様な状態とみなされるが、若干凹凸の大きい所で影のような水分の吸収とは異なる変化が残っている可能性がある。そのため、このノイズとしての変化を、画像処理的に輝度を補正して平らな状態、すなわち、一様に照射された結果としての輝度変化となるように補正するために輝度の傾きの除去を行う。具体的には、光源に対して対象が傾いているような場合に、光源からと遠い部分と近い部分の差が少なくなるように補正を行う。また、図１３に示すように、差分画像は、解析領域の平均値により白い部分を抽出して強調画像を取得することができる。

第２実施形態では、上述した強調画像等を用いることで、例えば濃いグレーの点状の領域を乾燥部分としての解析対象することができ、またグレーのグラデーション部分をうるおい部分としての解析対象とすることができる。また、第２実施形態では、それらの解析対象の情報の１つを用いて解析を行ったり、複数の情報を組み合わせて多種の解析を行うことができる。

＜第２実施形態における解析結果＞
図１４は、第２実施形態における解析結果の一例を示す図である。図１４（Ａ）は、うるおいむらの解析結果の一例を示し、図１４（Ｂ）は、乾燥むらの解析結果の一例を示し、図１４（Ｃ）は、うるおいむら及び乾燥むらの両方の結果が表示された例を示している。

図１４（Ａ）の例では、例えば予め設定された所定の選択領域の輝度平均値よりも水分が多い部分をレベルに応じた所定の色（例えば、青）等の透かしで表現している。なお、所定の選択領域とは、例えば解析をする際に解析対象となる部位を多角形で任意に選択した多角形選択領域等を示し、例えば目・鼻・口を除いた部分を囲むように設定される。また、図１４（Ｂ）の例では、所定の選択領域を所定のバンドパスフィルタ（ＣｕｔＯｆｆ（高周波、低周波））でフィルタリングした画像に対し、乾燥むらの部分をレベルに応じた所定の色（例えば、赤）等で表現している。なお、第２実施形態では、解析結果として、例えば図１４（Ａ）、（Ｂ）に示すように、うるおいむらや乾燥むらに対して、Ｐｏｌｙ領域平均値、指標１（絶対値の積算／Ｐｏｌｙ領域）、指標２（平均との差分の積算／Ｐｏｌｙ領域）を表示してもよい。なお、Ｐｏｌｙ領域とは、例えばポリゴン（例えば、所定の多角形）の領域を意味する。

また、図１４（Ｃ）に示すように、うるおいむらと乾燥むらの両方を正面顔、左右顔に対して表現することができる。これにより、各むらのある部分を強調して表示することができ、ユーザや被験者に対して容易にむらのある部分を認識させることができる。

上述したように、本発明によれば、被験者の撮影画像を用いて肌等の解析を高精度に行うことができる。なお、本発明によれば、例えば近赤外線画像を用いて上述した解析処理により生成されたマップと、予め設定される官能評価によるマップ等とを組み合わせて肌評価することができる。これにより、被験者に対する新たな肌ケアカウンセリングや化粧品提供等のサービスを提供することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０，５０ 画像解析装置
１１ 入力手段
１２ 出力手段
１３ 記憶手段
１４ 画像取得手段
１５ 補正手段
１６ メッシュ配置手段
１７ 統計量算出手段
１８ 画像解析手段
１９ 画像生成手段
２０ 送受信手段
２１ 制御手段
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ
３６ ＣＰＵ
３７ ネットワーク接続装置
３８ 記憶手段
４０ 顔画像
４１ 部分画像
４２ メッシュ
４３ モデル顔画像

Claims (11)

1. 所定の波長領域で撮影された被験者の画像を用いて、前記被験者の肌の解析を行う画像解析方法において、
   前記画像から得られる基準点に基づいてメッシュの形状を設定し、設定されたメッシュの形状に基づいて複数のメッシュを配置するメッシュ配置ステップと、
   前記メッシュ配置ステップにより得られるメッシュ毎に統計量を算出する統計量算出ステップと、
   前記統計量算出ステップにより得られる統計量に基づいて前記メッシュ毎の肌の解析する画像解析ステップと、
   前記画像解析ステップにより得られる解析結果の画像を生成する画像生成ステップとを有することを特徴とする画像解析方法。
2. 前記メッシュ配置ステップは、
   前記基準点に基づいて、他の被験者との間でメッシュの数が同一となるようにメッシュの形状を設定することを特徴とする請求項１に記載の画像解析方法。
3. 前記統計量算出ステップは、
   前記メッシュ毎に含まれる画素の輝度の平均値又は輝度の標準偏差による統計量を算出することを特徴とする請求項１又は２に記載の画像解析方法。
4. 前記画像生成ステップは、
   前記統計量算出ステップにより算出された統計量に基づいて所定の基準に基づいて色分け又は模様分けしたマップを生成することを特徴とする請求項１乃至３の何れか１項に記載の画像解析方法。
5. 前記所定の波長領域で撮影された被験者の画像に強調処理を行う画像強調ステップを有することを特徴とする請求項１乃至４の何れか１項に記載の画像解析方法。
6. 所定の波長領域で撮影された被験者の画像を用いて、前記被験者の肌の解析を行う画像解析装置において、
   前記画像から得られる基準点に基づいてメッシュの形状を設定し、設定されたメッシュの形状に基づいて複数のメッシュを配置するメッシュ配置手段と、
   前記メッシュ配置手段により得られるメッシュ毎に統計量を算出する統計量算出手段と、
   前記統計量算出手段により得られる統計量に基づいて前記メッシュ毎の肌の解析する画像解析手段と、
   前記画像解析手段により得られる解析結果の画像を生成する画像生成手段とを有することを特徴とする画像解析装置。
7. 前記メッシュ配置手段は、
   前記基準点に基づいて、他の被験者との間でメッシュの数が同一となるようにメッシュの形状を設定することを特徴とする請求項６に記載の画像解析装置。
8. 前記統計量算出手段は、
   前記メッシュ毎に含まれる画素の輝度の平均値又は輝度の標準偏差による統計量を算出することを特徴とする請求項６又は７に記載の画像解析装置。
9. 前記画像生成手段は、
   前記統計量算出手段により算出された統計量に基づいて所定の基準に基づいて色分け又は模様分けしたマップを生成することを特徴とする請求項６乃至８の何れか１項に記載の画像解析装置。
10. 前記所定の波長領域で撮影された被験者の画像に強調処理を行う画像強調手段を有することを特徴とする請求項６乃至９の何れか１項に記載の画像解析装置。
11. コンピュータを、請求項６乃至１０の何れか１項に記載の画像解析装置が有する各手段として機能させるための画像解析プログラム。