JP2016112024A - 情報処理装置の制御方法および画像処理方法 - Google Patents

Abstract

【課題】肌状態の分析精度を向上させる。【解決手段】実施形態にかかる被写体の画像を入力するカメラ及び前記被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の画像を入力し、前記入力画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラを動作させて前記被写体のデジタル画像を撮像させ、前記撮像された前記被写体のデジタル画像に含まれる前記被写体の肌領域について、前記肌領域内において複数の類似画素を抽出させ、前記抽出した複数の類似画素を所定の色調へ変換し、前記撮像された前記被写体のデジタル画像へ重畳して前記ディスプレイに表示させる。【選択図】図７

Description

本開示は、ユーザの顔を撮像可能な情報処理装置の制御方法および画像処理方法に関する。

人間の顔の肌をカメラで撮像し、撮像した画像から肌の状態を評価する情報処理装置の制御方法および画像の画像処理方法が検討されている。

特許第４４８５８３７号

しかし、上記情報処理装置の制御方法および画像処理方法は更なる改善が必要であった。

被写体の画像を入力するカメラ及び前記被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の画像を入力し、前記入力画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラを動作させて前記被写体のデジタル画像を撮像させ、前記撮像された前記被写体のデジタル画像に含まれる前記被写体の肌領域について、前記肌領域内において複数の類似画素を抽出させ、前記抽出した複数の類似画素を所定の色調へ変換し、前記撮像された前記被写体のデジタル画像へ重畳して前記ディスプレイに表示させる。

上記態様により、本願に開示された肌分析方法および肌分析装置によれば、肌状態の弁別精度が向上し、シミの種別の弁別が可能となる。

（Ａ）は、本実施の形態における情報提供システムの全体像であり、（Ｂ）および（Ｃ）は、データセンタの構成を示している。 肌分析装置の全体像を示す図である。 （Ａ）は、制御装置３０２の構成を示す図であり、（Ｂ）は、クラウドサーバ３０７の構成を示す図である。 本開示の実施の形態１における撮像装置の機能ブロック図である。 肌の内部の構造を模式的に示す図である。 本開示の実施の形態１において、撮像装置によって、肌の評価を行う手順を示すフローチャートである。 （ａ）、（ｂ）、（ｃ）は、それぞれ顔画像における肌のシミを抽出する過程を模式的に示す図である。 （ａ）は、肌分析前に表示部に表示される表示画面例の一例を示す図である。（ｂ）は、画像の撮像時に表示部に表示される表示画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれ肌分析後に表示部に表示される表示画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれ表示部に表示される表示画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれ表示部に表示される表示画面の一例を示す図である。 実施の形態２における撮像装置の機能ブロック図である。 実施の形態３において、撮像装置によって、肌の評価を行う手順を示すフローチャートである。 （ａ）は、肌領域画像の一例を示す図であり、（ｂ）は、２値画像の一例を示す図であり、（ｃ）は、ラベル画像の一例を示す図である。 （ａ）、（ｂ）、（ｃ）は、それぞれ肌のシワ抽出結果の一例を示す図である。 表示部に表示されるシミ抽出結果の表示画面の一例を示す図である。 サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

（本発明の基礎となった知見）
肌状態をよい状態に保ちたい、改善したいというニーズがあり、肌状態のケアの為には、日常的に肌状態を計測することが必要である。

従来、肌を撮影した画像に基づき、肌の状態を分析し、可視化および定量化することが行われている。この肌分析装置では肌画像に基づいて、肌表面に存在する分析対象を抽出する必要がある。分析対象としては、例えば、肌のシミなどが挙げられる。

ここで肌のシミは、シミの種類に応じて最適な対処方法が異なることから、シミ状態を精度よく検出し、シミの種類を分類することは、シミに対して的確に対処するために重要であり、例えば、シミ形状はシミの種類によって異なり、シミの種類によっては虫食い・散逸的であることがある。

特許文献１には、非接触に撮影されたデジタル画像において、皮膚の浅層における色素斑を抽出する技術が開示されている。

しかし、特許文献１に開示されている技術は、皮膚の浅層における色素斑のエッジ線を検出し、前記エッジ線に囲まれた範囲の大きさを限定することで、皮膚の浅層における色素斑を抽出する。すなわち、エッジ線に囲まれた範囲内が全て色素斑であると判断されてしまう。そのため、前述のような虫食い・散逸的な形状のシミの状態を区別することができず、シミの正確な指標化および種類の弁別には不十分であった。

尚、シミの種類は多岐にわたり、本開示においても、くすみ、肝斑、色素班、色素沈着、そばかすなどを想定しているが、皮膚表面の色が変化している部位に対して一般に適用可能な技術であって、シミの呼称によって限定されるものではない。

そこで、上記課題を解決するために、以下の改善策を検討した。

情報処理装置を制御する制御方法の一態様は、被写体の画像を入力するカメラ及び前記被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の画像を入力し、前記入力画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラを動作させて前記被写体のデジタル画像を撮像させ、前記撮像された前記被写体のデジタル画像に含まれる前記被写体の肌領域について、前記肌領域内において複数の類似画素を抽出させ、前記抽出した複数の類似画素を所定の色調へ変換し、前記撮像された前記被写体のデジタル画像へ重畳して前記ディスプレイに表示させる。

上記態様において、例えば、前記類似画素は、前記撮像された前記被写体のデジタル画像を所定の閾値で２値化処理した２値画像に基づいて抽出されるとしてもよい。

上記態様において、例えば、前記抽出された複数の類似画素のうち、連結した画素の集合である類似画素群について、前記類似画素群毎に所定の基準で複数カテゴリへ分類し、前記複数のカテゴリのうちの一のカテゴリに分類された前記類似画素群に含まれる前記類似画素のみを、前記被写体のデジタル画像へ重畳して前記ディスプレイに表示するとしてもよい。

上記態様において、例えば、前記類似画素群は、前記類似画素群の中に穴が含まれるか否かによって分類されるとしてもよい。

上記態様において、例えば、前記類似画素群は、前記類似画素群における前記類似画素の密度に基づいて分類されるとしてもよい。

上記態様において、例えば、前記類似画素群は、前記類似画素群における前記類似画素の数に基づいて分類されるとしてもよい。

上記態様において、例えば、前記被写体の画像は前記被写体の顔を含む顔画像であり、前記顔画像における被写体の顔に含まれる特徴部位を検出させ、前記類似画素群は、前記検出した特徴部位との相対位置に基づいて分類されるとしてもよい。

上記態様において、例えば、前記類似画素群は、所定形状のフィルタを用いて前記類似画素群の形状が前記所定形状に類似するか否かに基づいて分類されるとしてもよい。

上記態様において、例えば、前記所定形状は楕円形状であるとしてもよい。

また、画像処理方法の一態様は、人の肌を含む画像に処理を施す画像処理方法であって、被験者の肌を含むデジタル画像を取得し、前記取得されたデジタル画像に含まれる肌領域について、前記肌領域内において複数の類似画素を抽出し、前記抽出した複数の類似画素を所定の色調へ変換し、前記撮像された前記被験者のデジタル画像へ重畳して表示装置に表示する。

上記態様において、例えば、前記類似画素は、前記取得されたデジタル画像を所定の閾値で２値化処理した２値画像に基づいて抽出されるとしてもよい。

上記態様において、例えば、前記抽出された複数の類似画素のうち、連結した画素の集合である類似画素群について、前記類似画素群毎に所定の基準で複数カテゴリへ分類し、前記複数のカテゴリのうちの一のカテゴリに分類された前記類似画素群に含まれる前記類似画素のみを、前記被験者のデジタル画像へ重畳して前記表示装置に表示するとしてもよい。

上記態様において、例えば、前記類似画素群は、前記類似画素群の中に穴が含まれるか否かによって分類されるとしてもよい。

上記態様において、例えば、前記類似画素群は、前記類似画素群における前記類似画素の密度に基づいて分類されるとしてもよい。

上記態様において、例えば、前記類似画素群は、前記類似画素群における前記類似画素の数に基づいて分類されるとしてもよい。

上記態様において、例えば、前記被験者の画像は前記被験者の顔を含む顔画像であり、前記顔画像における被験者の顔に含まれる特徴部位を検出させ、前記類似画素群は、前記検出した特徴部位との相対位置に基づいて分類されるとしてもよい。

上記態様において、例えば、前記類似画素群は、所定形状のフィルタを用いて前記類似画素群の形状が前記所定形状に類似するか否かに基づいて分類されるとしてもよい。

上記態様において、例えば、前記所定形状は楕円形状であるとしてもよい。

本開示の一態様によれば、生体の画像を取得する画像取得ステップと、前記画像取得ステップによって得られた画像内に含まれる肌特徴の形状を分類する形状分類ステップと、前記形状分類ステップによって得られた形状分類情報に基づいて、肌状態を分類する肌状態分類ステップと、を備えることを特徴とすることによって、シミ形状に基づいた肌状態の分類を可能とする。

また、前記形状分類ステップは、前記画像取得ステップによって得られた画像内の類似画素群を抽出する類似画素抽出ステップと、前記類似画素群を連結するクラスタリングステップと、前記クラスタリングステップによって連結されたクラスタの形状を分類する、クラスタ分類ステップと、を含むことを特徴とすることによって、連結クラスタの形状に基づいたシミ形状分類を可能とする。

また、前記形状分類ステップは、前記画像取得ステップによって得られた画像内における特徴点を抽出する特徴点抽出ステップであり、前記肌状態分類ステップは、前記特徴点に基づいて肌状態を分類する、ことを特徴とすることによって、画素からクラスタを形成できない場合や、例えば小さい点の集合体をなすような、クラスタでは特徴を正確に記述できない種類のシミについても、特徴点に基づいたシミ形状分類を可能とする。

また、前記形状分類ステップは、前記画像取得ステップによって得られた画像内における楕円形状を抽出する、楕円フィルタリングステップであり、前記肌状態分類ステップは、前記楕円フィルタのフィルタ形状と、フィルタ形状に対応したフィルタ値に基づいて肌状態を分類する、ことを特徴とすることによって、形状特徴が明確なシミを精度よく抽出することが可能となる。

従って本発明によれば、シミの形状等の画像空間上の構造に基づいた、シミ種類の分類が可能となる。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。

（提供するサービスの全体像）
まず、本実施の形態における情報管理システムが提供するサービスの全体像について説明する。

図１（Ａ）は、本実施の形態における情報管理システムが提供するサービスの全体像を示す図である。情報管理システムは、グループ１００、データセンタ運営会社１１０及びサービスプロバイダ１２０を備える。

グループ１００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ１００は、第１の機器及び第２の機器を含む複数の機器１０１およびホームゲートウェイ１０２を備える。複数の機器１０１は、インターネットと接続可能な機器（例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等）、及びそれ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機又は冷蔵庫等）を含む。複数の機器１０１は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ１０２を介してインターネットと接続可能となる機器を含んでもよい。また、ユーザ１０は、グループ１００内の複数の機器１０１を使用する。

データセンタ運営会社１１０は、クラウドサーバ１１１を備える。クラウドサーバ１１１は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ１１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社１１０は、データの管理、クラウドサーバ１１１の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社１１０が行っている役務の詳細については後述する。

ここで、データセンタ運営会社１１０は、データの管理又はクラウドサーバ１１１の管理のみを行っている会社に限らない。例えば、図１（Ｂ）に示すように、複数の機器１０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ１１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社１１０に該当する。また、データセンタ運営会社１１０は一つの会社に限らない。例えば、図１（Ｃ）に示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ１１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社１１０に該当する。

サービスプロバイダ１２０は、サーバ１２１を備える。ここで言うサーバ１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ１２０がサーバ１２１を備えていない場合もある。

なお、上記の情報管理システムにおいて、ホームゲートウェイ１０２は必須ではない。例えば、クラウドサーバ１１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ１０２は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。

次に、上記の情報管理システムにおける情報の流れを説明する。

まず、グループ１００の第１の機器又は第２の機器は、各ログ情報をデータセンタ運営会社１１０のクラウドサーバ１１１にそれぞれ送信する。クラウドサーバ１１１は、第１の機器又は第２の機器のログ情報を集積する（図１（Ａ）の矢印１３１）。ここで、ログ情報とは、複数の機器１０１の例えば運転状況又は動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含むが、これらの情報に限らず、種々の機器から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器１０１自体から直接クラウドサーバ１１１に提供されてもよい。また、ログ情報は、複数の機器１０１から一旦ホームゲートウェイ１０２に集積され、ホームゲートウェイ１０２からクラウドサーバ１１１に提供されてもよい。

次に、データセンタ運営会社１１０のクラウドサーバ１１１は、集積したログ情報を一定の単位でサービスプロバイダ１２０に提供する。ここで、一定の単位とは、データセンタ運営会社１１０が集積した情報を整理してサービスプロバイダ１２０に提供することの出来る単位でもよいし、サービスプロバイダ１２０が要求する単位でもよい。また、一定の単位で提供するとしているが、一定の単位でなくてもよく、状況に応じて提供する情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ１２０が保有するサーバ１２１に保存される（図１（Ａ）の矢印１３２）。

そして、サービスプロバイダ１２０は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器１０１を使用するユーザ１０でもよいし、外部のユーザ２０でもよい。ユーザ１０，２０への情報提供方法としては、例えば、サービスプロバイダ１２０から直接ユーザ１０，２０へ情報が提供されてもよい（図１（Ａ）の矢印１３３，１３４）。また、ユーザ１０への情報提供方法としては、例えば、データセンタ運営会社１１０のクラウドサーバ１１１を再度経由して、ユーザ１０に情報が提供されてもよい（図１（Ａ）の矢印１３５，１３６）。また、データセンタ運営会社１１０のクラウドサーバ１１１は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ１２０に提供してもよい。

なお、ユーザ１０は、ユーザ２０と異なっていても同一であってもよい。

（実施の形態１）
以下、図面を参照しながら、実施の形態に係る情報処理装置およびその制御方法を説明する。本発明の実施形態として、画像内に含まれる肌特徴の形状に基づいて、テンプレートを用いて異なる種類のシミを区別して抽出する場合について説明する。

図２は、本実施の形態に係る撮像装置３０５の全体像を示す図である。撮像装置３０５は、カメラ３００と、照明３０１と、制御装置３０２と、表示部３０３とを備える。ここで、表示部３０３は、タッチパネルを備えていることが好ましく、表示部３０３に表示されるボタンをユーザが指などで触れることによって撮像装置３０５を操作可能としてもよい。

カメラ３００から入力されたユーザ３０４の顔画像は、制御装置３０２によって取得され、クラウドサーバ３０７で評価される。その後、肌状態または肌状態を定量評価された指標が、表示部３０３に提示される。

図３（Ａ）は、制御装置３０２の構成を示す図である。制御装置３０２は、マイクロコンピュータ３０２Ａと、メモリ３０２Ｂと、通信部３０２Ｃとを備える。マイクロコンピュータ３０２Ａは、以下に説明する動作を含む制御装置３０５全体の動作を制御する。また、マイクロコンピュータ３０２Ａは、画像処理等の以下に説明する各種処理を実行する。例えば、撮像装置３０５の各動作を制御するためのコンピュータプログラムがメモリ３０２Ｂに記憶されており、マイクロコンピュータ３０２Ａは、この記憶されたコンピュータプログラムに従って、カメラ３００、照明３０１などの撮像装置３０５の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。

カメラ３００は、ユーザ３０４の顔を撮像し、顔画像データを取得する。この際、本実施形態では、ユーザの顔画像からターゲットとなるシワ、被毛などを正確に抽出するために、照明３０１およびカメラ３００を偏光フィルタが設置され、偏光画像が撮影される。なお、撮像装置３０５は、照明３０１を含んでいなくても良い。

図３（Ｂ）は、クラウドサーバ３０７の構成を示す図である。クラウドサーバ３０７は、マイクロコンピュータ３０７Ａと、メモリ３０７Ｂと、通信部３０７Ｃと、データベース３０７Ｄとを備える。クラウドサーバ３０７は、通信部３０７Ｃを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の撮像装置３０５から受け取る。クラウドサーバ３０７は、複数の撮像装置３０５から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部３０７Ｃを介して、それら統計データや相関関係を各撮像装置３０５に送信する。

なお、ユーザ３０４の顔画像の画像処理等の各種処理は、クラウドサーバ３０７で行われてもよい。また、ユーザ３０４の顔画像の評価は、制御装置３０２で行われてもよい。

図４は、本実施の形態における撮像装置３０５の構成を示すブロック図である。撮像装置３０５は、カメラ３００、画像取得部１１０２、肌領域抽出部１１０３、肌分析部１１０４、形状分類部１１０５、表示部３０３を備える。なお、図示しない入力部を備えて、ユーザが表示部３０３に示されるメニューを選択可能としてもよく、また文字を入力可能としてもよい。また、表示部３０３と図示しない入力部はタッチスクリーンとして一体となっていることが好ましい。

また、図示しない通信部を用いてクラウドサーバ３０７と通信可能としてもよく、顔画像の評価はクラウドサーバ３０７で処理されるとしてもよい。また、評価結果をクラウドサーバ３０７で記憶しておくとしてもよい。

以下、図面を参照して、本発明の撮像装置３０５の動作について説明する。

本実施の形態における撮像装置３０５は、ユーザが撮像装置３０５に備えられたカメラ３００の前に位置した状態で、動作が開始される。

カメラ３００からユーザの顔画像が入力され、入力された顔画像は左右反転され、表示部３０３に提示される。ユーザの撮像開始指示により、撮像装置３０５の動作が開始される。

まず、肌画像の特徴指標の測定方法を説明する。図５は、人肌の断面を模式的に示している。肌画像には肌のシミ、シワ、毛穴、ほうれい線などの種々の情報が含まれる。肌画像からこれらの情報を選択的に抽出することにより、特徴指標が算出される。図５に示すように肌２００は、肌２００の表面２００Ｓから内部に向かって０．０６ｍｍ以上０．２ｍｍ程度の深さの範囲にある表皮２００Ａこれよりも内部に存在する真皮２００Ｂを含む。肌のシミ、シワ、毛穴、ほうれい線は、肌における形状およびこれらが肌２００中に存在する深さ位置が異なる。したがって、肌の異なる深さからの画像を得て、形状による識別を行えば、特徴指標を算出することができる。

肌の異なる深さからの画像の情報は、偏光光や色成分を用いることによって得られる。たとえば、所定の方向に平行な直線偏光光を光源として肌を撮影した場合、直線偏光光は、肌の表面２００Ｓにおいて偏光方向が維持されて反射する。一方、表皮２００Ａの内部で反射した直線偏光光は、散乱によって偏光方向が乱れて表皮２００Ａから出射する。このため、直線偏光光を出射する光源を用い、光源と平行な偏光光を検出すれば（平行偏光条件）、肌の表面の情報が多く内部の情報が少ない画像を得ることができる。また、直線偏光光を出射する光源を用い、光源と直交する偏光光を検出すれば（直交偏光条件）、肌の内部の情報が多く、表面の情報が少ない画像を得ることができる。つまり、偏光光を光源として用いることにより、肌の内部の情報や表面の情報を選択的に含む画像を得ることができる。

また、光源からの光は、波長が長いほど表皮２００Ａの内部にまで入射し、内部で反射する。したがって、肌を撮影した画像のうち、青色（Ｂ）成分は、肌の表面の情報をより多く含み、赤色（Ｒ）や赤外成分は表皮２００Ａの内部の情報をより多く含む。

また、シミやシワ等の特徴指標は、特定の波長領域の光を吸収しやすい等の性質を有する場合がある。このような場合には、その特定の波長領域の光の成分を利用することによって、特定の指標を算出することができる。

肌のシミは表皮２００Ａの内部に存在する。また、シミが濃いほど、シミの部分から得られる光における青色成分と赤色成分との光量の差が小さくなることが知られている。したがって、内部の情報をより多く得ることができる直交偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求め、閾値処理することによって、撮影画像からシミの部分を選択的に抽出することができる。

シワおよびほうれい線は、肌２００の表面２００Ｓ近傍に存在する。表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めると、肌表面における光の反射による影響を抑制し、シワおよびほうれい線の情報を多く含む画像を得ることができる。また、線検出フィルタを用いて画像を処理することによって、シワおよびほうれい線の報を多く含む画像を得ることができる。シワとほうれい線とを区別したい場合には、検出した部分の長さによる閾値処理をさらに行ってもよい。

なお、シミ、シワおよびほうれい線の情報を多く含む画像を得るために、ここでは青と赤との画素値の差分を求めたが、青の画素値のみを求めるとしてもよく、また例えば、緑などの他の色の画素値を用いてもよく、青と赤との画素値の差分を求めることのみに限定されない。

毛穴は、肌２００の表面２００Ｓ近傍に存在する。しかし、表面の情報をより多く得ることができる平行偏光の条件においては、撮像装置３０５が使用される環境における照明の影響を強く受ける。一方、毛穴は画像上、比較的識別しやすい。特に、点検出フィルタを持いた場合、画像上の毛穴をより抽出しやすくなる。このため、画像から毛穴を抽出する場合は、照明の影響を抑制し、再現性よく特徴指標を算出するため、直交偏光の条件で撮影を行う。また、画像の各画素における青色成分を抽出し、点検出フィルタを用いて画像を処理することによって、毛穴の情報を多く含む画像を得ることができる。

図６は、撮像装置３０５の動作フローを示すフローチャートである。

（Ｓ１２０１）制御装置３０２はカメラ３００を動作させ、カメラ３００から入力されるユーザの顔画像を撮像する。画像取得部１１０２によって、撮像したユーザの顔画像が取得される。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を撮像することが好ましい。このとき取得されるユーザの顔画像は、例えば、図７（ａ）に示されるような画像である。

（Ｓ１２０２）肌領域抽出部１１０３にて、Ｓ１２０１で取得されたユーザの顔画像から肌領域が抽出される。例えば、顔画像のうち、目・口といった構造物を除く肌領域のみを切り出し、肌領域画像を生成する。

肌領域の抽出方法としては、例えば、簡単には顔検出を用いて、目領域・口領域を除外するとしてもよい。また、色情報を用いてもよく、例えば、顔画像内において色情報が所定の閾値の範囲にある部分を抽出することで、目領域・口領域を除外するとしてもよい。

（Ｓ１２０３）肌領域抽出部１１０３によって生成された肌領域画像が、肌分析部１１０４に出力される。肌分析部１１０４は、肌領域画像に対して、各画素における青と赤の画素値の差分を求め、閾値処理によってシミの候補を抽出し、シミ候補画像を生成する。このとき生成されるシミ候補画像は、例えば、図７（ｂ）に示されるような画像である。

（Ｓ１２０４）肌分析部１１０４にて抽出されたシミの候補を示す情報を含むシミ候補画像が、形状分類部１１０５に出力される。形状分類部１１０５は、シミ候補画像に対して、所定のテンプレートとのマッチングを行う。テンプレートとの相関値が一定以上となる座標と、その座標におけるテンプレート画像位置のシミのみを抽出対象とすることで、所定のテンプレートに類似した形状および位置のシミを選別する。選別されたシミを、シミ抽出結果として出力する。このとき、例えば、円形のテンプレートを用いることで、図７（ｃ）に示されるような円形のシミが抽出される。

（Ｓ１２０５）画像取得部１１０２が取得した顔画像と、形状分類部１１０５によるシミ抽出結果が、表示部３０３に出力される。このとき、表示されるシミ抽出結果は、ユーザの顔画像に重畳して表示されることが好ましい。

図８（ａ）は、ユーザの顔画像撮像前に撮像装置３０５の表示部３０３に表示される初期画面の一例を示している。表示部３０３の表示領域は、面積が大きいメイン画面７０とメイン画面７０の下側に位置し、面積が小さいサブ画面７２を含む。初期画面では、カメラ３００から入力される画像がメイン画面７０にリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されてもよい。

図８（ｂ）は、撮像開始直前の画面を示している。上述したように表示部３０３の表面にはタッチパネルが設けられており、タッチパネルをユーザが指などで触れることによって、サブ画面７２の上部８０および左側部７８に操作メニューや機能の切り替えメニューが表示される。メイン画面７０には、例えば、ユーザの顔の位置を誘導するためのガイド３５が示されてもよい。また、撮影のタイミングを示すマークやカウントダウンの数字７４などが示されていてもよい。

また、例えば、サブ画面７２の右側７２Ｒにはカメラ３００から入力されるユーザの顔画像３１がリアルタイムで表示され、左側７２Ｌにカレンダーが表示される。カレンダーにはたとえば、過去に官能評価装置１０１を用いて撮影を行ったことを示すマークなどが示されていてもよい。図８（ｂ）に示す表示のあと、上述したようにユーザの顔画像の撮像が行われる。

結果表示ステップＳ１２０５では、画像取得部１１０２が取得したユーザの顔画像と、形状分類部１１０５において出力されたシミ抽出結果が、表示部ターゲット抽出部１１０４が抽出したターゲットの抽出結果が、表示部３０３に出力される。表示部３０３は図９（ａ）および図９（ｂ）で例示されるような結果画面を表示部３０３に表示する。

図９（ａ）で示す表示例では、メイン画面７０に肌状態の評価に使用されたユーザの顔画像が表示されるとともに、当該顔画像に重畳されてシミ抽出結果８１が表示される。また、左側７２Ｌには肌領域の評価に用いられたユーザの顔画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりできる。

図９（ｂ）は、サブ画面７２の右側７２Ｒにて、ユーザの指定した領域８３である肌領域の評価に使用された画像の一部が、拡大されて表示されている例である。シミ抽出結果が表示されている。シミ抽出結果の表示は、例えば、肌領域におけるシミに該当する部分を赤色の領域で表示するとしてもよい。

尚、結果表示ステップＳ１２０５においては、シミ抽出結果を表示部３０３に表示するだけでなく、シミ抽出結果をスコア化して提示してもよい。例えば、上述の手順によって顔画像の評価が終了した場合、図９（ａ）のサブ画面７２の右側７２Ｒのように、ターゲットについて算出された特徴指標が、例えばレーダーチャートで示される。ここでは測定した肌領域全体の平均特徴指標が表示されている。

また、抽出したターゲットについての情報およびレーダーチャートで示されたスコアの履歴が、制御装置３０２またはクラウドサーバ３０７に保存されるとしてもよい。これにより、ユーザは評価結果の履歴をいつでも参照することができ、継時的なケアに役立てることが可能になる。

たとえば、図１０（ａ）に示すように、サブ画面７２にカレンダーを表示してもよい。カレンダーには、日付毎に評価が行われたか否かを示す情報が表示されている。例えば、ユーザがカレンダーの日付を選択すると、図１０（ｂ）の表示例に示すような過去の評価結果を表示部３０３に表示させる。このとき、メイン画面７０には、選択された日付において評価を行ったユーザの顔画像が抽出されたターゲットとともに表示され、サブ画面７２には、カレンダーとともに抽出したターゲットをスコア化したものがレーダーチャートとして表示される。

また、評価結果及び前記履歴に基づいて、個人の肌状態に最適化されたケアに関するアドバイス情報や推奨されるケア用品および化粧品を提示することが可能になる。図１１（ａ）に示すように、評価値の結果に基づく肌の手入れ等の美容に関するアドバイスを表示してもよい。また、図１１（ｂ）に示すように、肌状態を改善するために有用な化粧品や美容機器の情報を詳細に表示してもよい。

（実施の形態２）
以下では、本発明の実施形態として、画像内に含まれる肌特徴の形状に基づいて、クラスタリングに基づいて異なる種類のシミを区別して抽出する場合について説明する。

図１２は、実施の形態２における撮像装置３０５の構成を示すブロック図である。実施の形態１における撮像装置３０５と比較して、肌分析部１１０４の構成が異なる。肌分析部１１０４は、２値画像生成部１１１１およびクラスタリング部１１１２を有する。

２値画像生成部１１１１は、肌領域抽出部１１０３から出力される肌領域画像を２値化する。２値化した結果である２値画像をクラスタリング部１１１２へ出力する。

クラスタリング部１１１２は、２値画像生成部から出力された２値画像を画素の連結情報に基づいてクラスタリング処理を行い、形状分類部１１０５に出力する。

図１３は、実施の形態２における撮像装置３０５の動作フローを示すフローチャートである。

（Ｓ１２０１）制御装置３０２はカメラ３００を動作させ、カメラ３００から入力されるユーザの顔画像を撮像する。画像取得部１１０２によって、撮像したユーザの顔画像が取得される。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を撮像することが好ましい。

（Ｓ１２０２）肌領域抽出部１１０３にて、Ｓ１２０１で取得されたユーザの顔画像から肌領域が抽出される。例えば、顔画像のうち、目・口といった構造物を除く肌領域のみを切り出し、肌領域画像を生成する。

肌領域の抽出方法としては、例えば、簡単には顔検出を用いて、目領域・口領域を除外するとしてもよい。また、色情報を用いてもよく、例えば、顔画像内において色情報が所定の閾値の範囲にある部分を抽出することで、目領域・口領域を除外するとしてもよい。

（Ｓ１２１１）肌領域抽出部１１０３にて生成された肌領域画像が、２値画像生成部１１１１において２値化処理され、２値画像が生成される。生成された２値画像は、クラスタリング部１１１２へ出力される。図１４（ａ）は、肌領域画像の一例を示す図である。この肌領域画像が２値化処理されることで、図１４（ｂ）に一例を示すような２値画像が生成される。この２値画像は、肌領域におけるシミの候補を示している。

ここで、通常、２値画像ではひとまとまりの領域を定義するために、連結という概念を用いる。通常、デジタル画像について値１を持つ領域に注目し、値１を持つ画素を黒く表示することが一般的であるため、黒画素と呼ぶ。

また、値０を持つ画素（白画素）の領域を背景と呼ぶことがある。さらに、この連結という概念は、一つの画素に対する上下左右の位置にある画素を連結しているとみなす４近傍という概念で定義される４連結と、一つの画素に対する上下左右の位置にある画素に、斜め４方向にある画素を加えた８近傍という概念で定義される８連結がある。

連結している画素の集合を連結成分と呼ぶこともあり、この連結成分の中にある背景（白画素）を穴とよぶことがある。

（Ｓ１２１２）クラスタリング部１１１２にて、２値画像において連結した複数の画素の集合に対してクラスタリングを施す。さらに、クラスタリングにて生成された複数の画素の集合であるクラスタに対して、クラスタ毎にラベルを割り振る。このクラスタ毎にラベルが割り振られたラベル画像を、形状分類部１１０５へ出力する。図１４（ｃ）は、２値画像内のクラスタの一部にラベル（Ｃ１およびＣ２）を割り振った様子を示す図である。

（Ｓ１２０４）形状分類部１１０５にて、ラベル画像におけるラベルを割り振られたクラスタ毎に画素数をカウントする。カウントされた画素数に基づいて、クラスタ毎に分類を行う。肌領域画像の２値化処理だけでは、シミと毛穴の両方が抽出されてしまうため、画素数に基づいて分類を行うことで、シミと比較して領域が小さく毛穴と推測されるクラスタを除外することができる。図１５（ａ）は、図１４（ｃ）の画像から、毛穴と推測されるクラスタを除外した様子を示す図である。

また、この分類結果に加えて、テンプレートマッチングを併用することで、外形に基づく詳細な分類が可能となる。図１５（ｂ）は、図１５（ａ）の画像から、円形のテンプレートを用いてテンプレートマッチングを施し、円形に類似するシミを抽出した様子を模式的に示す図である。

また、クラスタを含む範囲の領域におけるクラスタの密度を用いることで、クラスタの粗密に基づくシミの分類が可能となる。図１５（ｃ）は、図１４（ｃ）に示される画像から、所定の閾値よりも密度が低いクラスタを抽出した様子を模式的に示す図である。

このようにして、所望の分類に帰属するシミを抽出できる。

（Ｓ１２０５）画像取得部１１０２が取得した顔画像と、形状分類部１１０５によるシミ抽出結果が、表示部３０３に出力される。このとき、表示されるシミ抽出結果は、ユーザの顔画像に重畳して表示されることが好ましい。図１６は、シミ抽出結果を顔画像の一部に重畳させて表示した一例を示す図である。

本実施形態により、必ずしも外形が定まっていないシミのような肌状態に関しても、分類および抽出が可能となる。

なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。

（サービスの類型１：自社データセンタ型クラウドサービス）
図１７は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１２０が、ビッグデータを管理するクラウドサーバ１１１を保有している。したがって、データセンタ運営会社は存在しない。

本類型では、サービスプロバイダ１２０は、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、オペレーティングシステム（ＯＳ）２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

（サービスの類型２：ＩａａＳ利用型クラウドサービス）
図１８は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

本類型では、データセンタ運営会社１１０が、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、ＯＳ２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

（サービスの類型３：ＰａａＳ利用型クラウドサービス）
図１９は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

本類型では、データセンタ運営会社１１０は、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、アプリケーション２０１を管理する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びサービスプロバイダ１２０が管理するアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

（サービスの類型４：ＳａａＳ利用型クラウドサービス）
図２０は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。

本類型では、データセンタ運営会社１１０は、アプリケーション２０１を管理し、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。

本願に開示された、肌評価装置を制御する制御方法は、肌評価装置による肌領域の評価に好適に用いられる。

３００ カメラ
３０１ 照明
３０２ 制御装置
３０３ 表示部
３０５ 撮像装置
３０６ ネットワーク
３０７ クラウドサーバ
１１０２ 画像取得部
１１０３ 肌領域抽出部
１１０４ 肌分析部
１１０５ 形状分類部
１１１１ ２値画像生成部
１１１２ クラスタリング部

Claims (18)

1. 被写体の画像を入力するカメラ及び前記被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、
   前記カメラから被写体の画像を入力し、前記入力画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
   前記カメラを動作させて前記被写体のデジタル画像を撮像させ、
   前記撮像された前記被写体のデジタル画像に含まれる前記被写体の肌領域について、前記肌領域内において複数の類似画素を抽出させ、
   前記抽出した複数の類似画素を所定の色調へ変換し、前記撮像された前記被写体のデジタル画像へ重畳して前記ディスプレイに表示させる、制御方法。
2. 前記類似画素は、前記撮像された前記被写体のデジタル画像を所定の閾値で２値化処理した２値画像に基づいて抽出される、請求項１に記載の制御方法。
3. 前記抽出された複数の類似画素のうち、連結した画素の集合である類似画素群について、前記類似画素群毎に所定の基準で複数カテゴリへ分類し、
   前記複数のカテゴリのうちの一のカテゴリに分類された前記類似画素群に含まれる前記類似画素のみを、前記被写体のデジタル画像へ重畳して前記ディスプレイに表示する、請求項１または２に記載の制御方法。
4. 前記類似画素群は、前記類似画素群の中に穴が含まれるか否かによって分類される、請求項３に記載の制御方法。
5. 前記類似画素群は、前記類似画素群における前記類似画素の密度に基づいて分類される、請求項３に記載の制御方法。
6. 前記類似画素群は、前記類似画素群における前記類似画素の数に基づいて分類される、請求項３に記載の制御方法。
7. 前記被写体の画像は前記被写体の顔を含む顔画像であり、
   前記顔画像における被写体の顔に含まれる特徴部位を検出させ、
   前記類似画素群は、前記検出した特徴部位との相対位置に基づいて分類される、請求項３に記載の制御方法。
8. 前記類似画素群は、所定形状のフィルタを用いて前記類似画素群の形状が前記所定形状に類似するか否かに基づいて分類される、請求項３に記載の制御方法。
9. 前記所定形状は楕円形状である、請求項８に記載の制御方法。
10. 人の肌を含む画像に処理を施す画像処理方法であって、
    被験者の肌を含むデジタル画像を取得し、
    前記取得されたデジタル画像に含まれる肌領域について、前記肌領域内において複数の類似画素を抽出し、
    前記抽出した複数の類似画素を所定の色調へ変換し、前記撮像された前記被験者のデジタル画像へ重畳して表示装置に表示する、画像処理方法。
11. 前記類似画素は、前記取得されたデジタル画像を所定の閾値で２値化処理した２値画像に基づいて抽出される、請求項１０に記載の画像処理方法。
12. 前記抽出された複数の類似画素のうち、連結した画素の集合である類似画素群について、前記類似画素群毎に所定の基準で複数カテゴリへ分類し、
    前記複数のカテゴリのうちの一のカテゴリに分類された前記類似画素群に含まれる前記類似画素のみを、前記被験者のデジタル画像へ重畳して前記表示装置に表示する、請求項１０または１１に記載の画像処理方法。
13. 前記類似画素群は、前記類似画素群の中に穴が含まれるか否かによって分類される、請求項１２に記載の画像処理方法。
14. 前記類似画素群は、前記類似画素群における前記類似画素の密度に基づいて分類される、請求項１２に記載の画像処理方法。
15. 前記類似画素群は、前記類似画素群における前記類似画素の数に基づいて分類される、請求項１２に記載の画像処理方法。
16. 前記被験者の画像は前記被験者の顔を含む顔画像であり、
    前記顔画像における被験者の顔に含まれる特徴部位を検出させ、
    前記類似画素群は、前記検出した特徴部位との相対位置に基づいて分類される、請求項１２に記載の画像処理方法。
17. 前記類似画素群は、所定形状のフィルタを用いて前記類似画素群の形状が前記所定形状に類似するか否かに基づいて分類される、請求項１２に記載の画像処理方法。
18. 前記所定形状は楕円形状である、請求項１６に記載の画像処理方法。

Images