JP2015080647A - 撮影画像表示装置 - Google Patents

Abstract

【課題】外部の照明等の影響を抑制して正しく肌の特徴部分を示す画像を表示することのできる撮影画像表示装置を提供する。
【解決手段】撮影画像表示装置は、ユーザの顔の少なくとも一部を撮影し、撮影した画像を表示する撮影画像表示装置であって、ユーザの顔を撮像するカメラ２と、カメラから得られた顔画像に基づく表示用の第１の顔画像、または、第１の顔画像から生成された第２の顔画像に基づき、第１の顔画像または第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、顔画像に現れた肌の特徴部分を示す特徴画像を生成し、第１の顔画像に特徴画像が重畳した第３の顔画像を生成する画像処理部と、第３の顔画像を表示するディスプレイ４とを備える。
【選択図】図２

Description

本願は、ユーザの顔等を撮影し、肌の特徴部分を表示する撮影画像表示装置に関する。

美容分野において、肌の状態を観察あるいは評価する装置が求められている。たとえば、肌のシミや皺を測定する装置が実現されている。

特許文献１は、肌にプローブを接触あるいは近接させて、肌の局所的な透明感を評価する方法を開示している。また、特許文献２は、肌の測定を行う被検者が、顔や頭を所定の装置内に挿入し、顔の肌の評価を行う装置を開示している。

特許第４１０５５５４号公報 特許第４４８５８３７号公報

このような従来技術においては、使用者がより手軽に、顔の広い部分における肌の特徴部分を評価あるいは観察できることが求められていた。本願の限定的ではないある実施形態は、種々の撮影環境においても、正しく肌の特徴部分を示す画像を表示することのできる撮影画像表示装置を提供する。

本願の一実施形態に係る撮影画像表示装置は、ユーザの顔の少なくとも一部を撮影し、撮影した画像を表示する撮影画像表示装置であって、前記ユーザの顔の少なくとも一部を撮像するカメラと、前記カメラから得られた顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成し、前記第１の顔画像に前記特徴画像が重畳された第３の顔画像を生成する画像処理部と、前記第３の顔画像を表示するディスプレイとを備える。

本願に開示された撮影画像表示装置によれば、種々の撮影環境においても、肌の特徴部分を示す画像を表示することが可能である。

（ａ）は、第１の実施形態による撮影画像表示装置の正面図であり、（ｂ）は、情報処理装置の構成を示すブロック図である。 （ａ）は、第１の実施形態による撮影画像表示装置のブロック図であり、（ｂ）は、画像処理部のブロック図である。 第１の実施形態による撮影画像表示装置の動作を説明するフローチャートである。 （ａ）から（ｃ）は２値画像処理における画素の膨張処理を説明する図である。 肌の特徴部分の検出方法を説明する図である。 （ａ）は、第１の実施形態による撮影画像表示装置に表示される画像の模式的な一例であり、（ｂ）は、ディスプレイに示される画像の具体的な一例を示している。 （ａ）は、第２の実施形態による撮影画像表示装置の画像処理部のブロック図であり、（ｂ）は、画像処理部の他のブロック図である。 第２の実施形態による撮影画像表示装置の動作を説明するフローチャートである。 第２の実施形態による撮影画像表示装置に表示される画像の模式的な一例である。 （ａ）から（ｃ）は、第２の実施形態における評価区域の位置及び形状を示す一例である。 （ａ）から（ｃ）は、第２の実施形態における、ユーザが設定し得る評価区域の一例である。 第２の実施形態において設定される評価区域の一例を示す図である。 図１２に示す評価区域に縮小した区域を設定した例を示す図である。 第２の実施形態において設定される評価区域、低輝度領域および高輝度領域の一例を示す図である。 図１４に示す評価区域に縮小した区域を設定し、かつ、低輝度領域および高輝度領域を除外した一例を示す図である。 第２の実施形態の他の例による撮影画像表示装置の動作を説明するフローチャートである。 第２の実施形態の他の例による撮影画像表示装置に表示される画像の模式的な一例である。 その他の実施形態による撮影画像表示装置の動作を説明するフローチャートである。 その他の実施形態による画像処理部の構成を示すブロック図である。 その他の実施形態による指標画像の一例を示す図である。

本願発明者は従来技術を詳細に検討した。特許文献１に開示された方法によれば、局所的な肌の状態が分かる。しかし、顔の頬全体等広い部分から求められるものではないため、たとえば、頬や顔全体など、局所的ではない広い領域における肌の状態、たとえば、皺の分布などが分かりにくい。

また、特許文献２に開示された装置によれば、頭を所定の装置内に挿入したり、顔を所定の装置の所定の位置に配置する必要がある。これは、所定の撮影条件を満たさないと、肌の状態の評価が正確ではなくなるからである。

本願発明者はこのような課題に鑑み、一般的なあるいは簡単な条件で撮影が可能であり、かつ肌の状態の評価を正しく行うことのできる撮影画像表示装置を想到した。本願の一実施形態に係る撮影画像表示装置の詳細は以下のとおりである。

本願の一実施形態に係る撮影画像表示装置は、ユーザの顔の少なくとも一部を撮影し、撮影した画像を表示する撮影画像表示装置であって、前記ユーザの顔の少なくとも一部を撮像するカメラと、前記カメラから得られた顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成し、前記第１の顔画像に前記特徴画像が重畳された第３の顔画像を生成する画像処理部と、前記第３の顔画像を表示するディスプレイとを備える。

前記画像処理部は、前記第１の顔画像または前記第２の顔画像の一部に評価区域を設定し、前記評価区域であって、前記評価区域内における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成してもよい。

前記画像処理部は、前記評価区域を示す画像をさらに生成し、前記第１の顔画像に前記特徴画像および前記評価区域が重畳された前記第３の顔画像を生成してもよい。

前記ユーザからの入力を受け付けるユーザインターフェースをさらに備え、前記画像処理部は、前記ユーザインターフェースから入力に基づき前記評価区域を設定してもよい。

前記画像処理部は、前記第１の顔画像から前記顔の特徴点を抽出し、前記顔の特徴点に基づき、前記評価区域を設定してもよい。

前記画像処理部は、前記カメラから得られた画像の鏡像を前記第１の顔画像として生成してもよい。

本願の一実施形態に係る他の撮影画像表示装置は、ユーザの顔の少なくとも一部を撮影し、撮影した画像を表示する撮影画像表示装置であって、前記ユーザの顔の少なくとも一部を撮像するカメラと、前記カメラから得られた顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を指標化した指標画像を生成し、前記第１の顔画像および前記指標画像を合成した第３の顔画像を生成する画像処理部と、前記第３の顔画像を表示するディスプレイとを備える。

前記撮影画像表示装置は、表示面を有する筐体をさらに備え、前記ディスプレイおよび前記カメラは前記表示面に設けられてもよい。

前記撮影画像表示装置は、前記表示面に設けられた、前記ユーザに光を照射する光源をさらに備えていてもよい。

前記光は偏光光であり、前記カメラは偏光フィルタを含んでいてもよい。

前記撮影画像表示装置は、前記光源および前記カメラを制御する制御部をさらに備え、前記カメラは、前記制御部の制御により前記光源を点灯させて前記ユーザの顔を撮影した画像、および前記制御部の制御により前記光源を消灯させて前記ユーザの顔を撮影した画像を生成し、前記画像処理部は、前記光源を点灯させて前記ユーザの顔を撮影した画像を前記第１の顔画像とし、前記第１の顔画像から、前記光源を消灯させて前記ユーザの顔を撮影した画像を減じた画像を前記第２の顔画像として用いてもよい。

本願の一実施形態に係る撮影および画像表示方法は、ユーザの顔の少なくとも一部を撮像することによって、顔画像を取得する工程と、前記顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成する工程と、前記第１の顔画像に前記特徴画像が重畳した第３の顔画像を生成する工程と、前記第３の顔画像を表示する工程とを包含する。

（第１の実施形態）
図１（ａ）は、本実施形態の撮影画像表示装置１の模式的な正面図である。撮影画像表示装置１は、カメラ２と、光源３と、ディスプレイ４、と情報処理装置（マイコン）５とを備える。撮影画像表示装置１は、たとえば、筐体６をさらに備え、筐体６の表示面６ａにカメラ２、ディスプレイ４および光源３が配置される。また、筐体６内に情報処理装置５が収納されている。図１（ｂ）に示すように、情報処理装置５はメモリ５ａおよび演算装置５ｂを含む。

本実施形態では、光源３はディスプレイ４の水平方向の両側に配置されており、白色光を出射する。撮影画像表示装置１は、光源３を備えていなくてもよい。また、光源３は、以下において説明するように、顔の肌の特徴部分を検出するために偏光光を出射してもよいし、無偏光光を出射してもよい。さらに偏光軸の互いに異なる偏光光を順次出射してもよい。

ユーザが表示面６ａに顔を向けて撮影画像表示装置１を動作させると、光源３から出射する光がユーザの顔を照らし、カメラ２がユーザの顔を撮影する。撮影された顔の画像はディスプレイ４に表示される。この際、ディスプレイ４に表示される画像が鏡像となるように画像処理されていると、ユーザは鏡を見ているように違和感なく画像を見ることができる。ディスプレイ４に表示される画像は撮影された画像の鏡像でなくてもよい。

撮影画像表示装置１は、顔の画像の肌領域に見られる肌の特徴であるシミ、皺、毛穴、ほうれい線などを検出し、これらを強調した画像を生成して顔の画像に重ねて表示する。表示面６ａにカメラ２とディスプレイ４とが配置されているため、ユーザは撮影画像表示装置１を鏡（電子鏡）のように使用することができ、顔のシミや皺等をユーザ自身が手軽に観察することができる。また、従来の装置と異なり、頭や顔を特定の位置に配置させなくても、ディスプレイ４に顔が映るようにユーザが姿勢を調整するだけで、鏡を見るように顔のシミや皺等を観察できる。この際、撮影画像表示装置１は外部からの光の影響を受けるが、撮影画像表示装置１は、外部の光による影響によって、顔のシミや皺等が正しく検出できない部分では、シミや皺の表示を行わない。

以下、撮影画像表示装置１の構成および動作を詳細に説明する。図２（ａ）は、撮影画像表示装置１の機能ブロック図である。図２（ａ）に示すように、情報処理装置５は、撮影された画像をカメラ２から受け取り、処理する画像処理部５Ａと、光源３およびカメラ２を制御する制御部５Ｂとしての機能を備える。これらの機能は、画像処理の手順や光源３およびカメラ２の制御の手順を規定したソフトウエアがメモリ５ａ（図１（ｂ））に記憶されており、メモリ５ａからソフトウエアが読みだされ、演算装置５ｂによって実行されることにより、実現する。

図２（ｂ）は、本実施形態における画像処理部５Ａの詳細な機能ブロック図である。画像処理部５Ａは、鏡像生成部１１と、低輝度・高輝度領域除外部１２と、特徴画像生成部１３と、画像合成部１４とを含む。

図３は、本実施形態における撮影画像表示装置１の動作を説明するフローチャートである。図２（ａ）、（ｂ）および図３を参照しながら、撮影画像表示装置１の動作を説明する。

まず、ステップＳ１に示すように、制御部５Ｂは、光源３を点灯させ、カメラ２を動作させることによって、ユーザの顔を撮影する。これにより顔の画像が生成し、生成した画像はカメラ２から情報処理装置５へ出力される。なお、カメラ２は連続的に顔を撮影し、動画を情報処理装置５へ出力してもよいし、静止画を情報処理装置５へ出力してもよい。動画は所定の間隔で生成する静止画の集合である。情報処理装置５は１枚あるいは複数の静止画に対して以下で説明する画像処理を行い、顔のシミや皺等が強調された画像を静止画に重畳し、ディスプレイ４に表示する。このため、情報処理装置５の画像処理能力が高い場合には、動画を構成する各静止画のすべてに画像処理を行い、リアルタイムで顔のシミや皺等が強調された画像を表示してもよい。

情報処理装置５によって構成される画像処理部５Ａは、ステップＳ２に示すように、顔の画像情報を受け取り、鏡像生成部１１が、顔画像の鏡像である第１の顔画像を示す第１の顔画像情報を生成する。前述したように、鏡像処理を行わず、撮影した画像をそのまま第１の顔画像としてもよい。生成した第１の顔画像情報は、低輝度・高輝度領域除外部１２および画像合成部１４へ出力される。

ステップＳ３に示すように、低輝度・高輝度領域除外部１２は、第１の顔画像の肌部分における輝度が低い領域および輝度が高い領域を検出し、これらの領域を含む領域を第１の顔画像から除外する。なお、図３に示すフローチャートでは、輝度が低い領域の検出・除外と、輝度が高い領域の検出・除外とを並行して行うように示しているが、２つの処理を並行して行ってもよいし、いずれか一方の処理を先に行い、他方を後に行ってもよい。

具体的には、第１の顔画像において、たとえば、画像の各画素の色度から、肌部分であるかどうかを判別し、肌部分において、予め設定された輝度の閾値に基づいて、輝度が高い領域を抽出する。また、予め設定された輝度の別の閾値に基づいて輝度が低い領域を抽出する。予め設定されるそれぞれの閾値は、被写体や撮影環境に応じて変更されるよう複数記憶されていてもよいし、ひとつの値に固定されていてもよい。

除外する輝度が高い領域および輝度が低い領域が微小な画素単位で分布し、孤立している場合には、２値画像処理によって、輝度が高い領域および輝度が低い領域を収縮または膨張させ、孤立した領域が存在しないように、画像を変換してもよい。たとえば、図４（ａ）に示すように画像中、３つの孤立した画素（ハッチングされた画素）の輝度が閾値よりも高く、除外する領域として抽出された場合を考える。この場合、孤立した画素を結合させるために、抽出した画素を膨張させる。たとえば、対象画素に隣接する上下および左右の４方向に抽出した画素がある場合には、その対象画素も抽出した画素として扱う。これにより、図４（ｂ）に示すように、除外する領域が拡大される。さらにもう一度同じ処理を行うことによって、図４（ｃ）に示すように、３つの孤立した画素が結合した１つの大きな除外する領域を得ることができる。また、対象画素に隣接する上下、左右の方向に加えて、斜めの方向を含む８方向において抽出した画素のある場合に、その対象画素を抽出した画素として扱ってもよい。２値画像処理はデジタル画像処理分野において公知の技術である。２値画像処理を行う場合、除外される領域は、予め設定された輝度の閾値に基づく条件を満たさない領域を含む。

次に、ステップＳ４に示すように、特徴画像生成部１３は、顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域が除外された第１の顔画像のうち、肌部分において、肌の特徴部分を検出する。

前述したように肌の特徴部分は、シミ、皺、毛穴、ほうれい線などを含む。図５を参照して、肌の特徴部分の検出方法を説明する。図５は、肌の断面を模式的に示している。第１の顔画像の肌部分には、肌のシミ、皺、毛穴、ほうれい線などの種々の情報が含まれる。図５に示すように肌３００は、肌３００の表面３００Ｓから内部に向かって０．０６ｍｍ以上０．２ｍｍ程度の深さの範囲にある表皮３００Ａおよびこれよりも内部に存在する真皮３００Ｂを含む。肌のシミ、皺、毛穴、ほうれい線は、肌における形状およびこれらが肌３００中に存在する深さ位置が異なる。したがって、肌の異なる深さからの画像を得て、形状による識別を行えば、肌部分における特徴部分を抽出することができる。

肌の異なる深さからの画像の情報は、偏光光や色成分を用いることによって得られる。たとえば、所定の方向に平行な直線偏光光を光源として肌を撮影した場合、直線偏光光は、肌の表面３００Ｓにおいて偏光方向が維持されて反射する。一方、表皮３００Ａの内部で反射した直線偏光光は、散乱によって偏光方向が乱れて表皮３００Ａから出射する。このため、直線偏光光を出射する光源３を用い、光源と平行な偏光光を検出するフィルタを用いてカメラ２で撮影を行えば（平行偏光条件）、肌の表面の情報が多く内部の情報が少ない画像を得ることができる。また、直線偏光光を出射する光源を用い、光源と直交する偏光光を検出すれば（直交偏光条件）、肌の内部の情報が多く、表面の情報が少ない画像を得ることができる。つまり、偏光光を光源として用いることにより、肌の内部の情報や表面の情報を選択的に含む画像を得ることができる。このように偏光条件を変えるためには、たとえば、図１（ａ）に示す２つの光源３の一方を水平方向の直線偏光光が出射するようにし、他方を鉛直方向の直線偏光光が出射するように光源３に偏光フィルタを設ける。また、カメラ２に水平方向または鉛直方向の直線偏光光が入射するように偏光フィルタを設ければよい。

一方、光源からの光は、波長が長いほど表皮３００Ａの内部にまで入射し、内部で反射する。したがって、肌を撮影した画像のうち、青色（Ｂ）成分は、肌の表面の情報をより多く含み、赤色（Ｒ）や赤外成分は表皮３００Ａの内部の情報をより多く含む。

また、シミや皺等は、特定の波長領域の光を吸収しやすい等の性質を有する場合がある。このような場合には、その特定の波長領域の光の成分を利用することによって、肌の特徴部分を検出することができる。

このように、カメラから取得する顔画像として偏光光を用いたり、第１の顔画像に含まれる色成を分用いたりすることによって、より検出したい肌の特徴部分を多く含む画像情報を得ることができる。

得られた画像情報からシミや皺等の特徴部分を抽出するには、たとえば、形状による識別を行う。これには、画像情報に線検出フィルタや点検出フィルタなどを用いて画像処理することによって、特徴部分を抽出することができる。たとえば、特徴部分が皺である場合、線検出フィルタを用いたエッジ検出処理を第１の顔画像に施し、ノイズを除去することで皺画像を得ることができる。

シミ、皺、毛穴、ほうれい線等を検出するための画像処理は、上述したように種々の公知の技術を用いることができる。たとえば、特開２００３−１４４３９３号公報は、シミの検出方法を開示している。また、特開２００２−２０００５０号公報は、肌のメラニン成分やヘモグロビン成分を検出する方法を開示している。

特徴画像生成部１３は、得られた特徴画像をそのまま画像合成部１４へ出力してもよいし、肌の特徴部分が目立つように、得られた特徴画像に所定の色を付す画像処理を行ってもよい。

また、特徴画像生成部１３は、第１の顔画像全体において、肌の特徴部分の検出を行い、特徴画像を生成し、生成した顔画像全体の特徴画像から、顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域を除外して（輝度が低い領域および輝度が高い領域を含む領域をマスクして）、特徴画像を生成してもよい。

ステップ５に示すように、画像合成部１４は、鏡像生成部１１から得られる第１の顔画像に特徴画像生成部１３から得られる特徴画像を重畳し、第３の顔画像を生成する。生成した第３の顔画像がディスプレイ４に表示される。

図６（ａ）は、ディスプレイ４に示される画像の一例を模式的に示している。ユーザの顔の画像である第１の顔画像に皺を示す特徴画像が重畳して表示される。図６（ｂ）は、ディスプレイ４に示される画像の具体的な一例であって、図６（ａ）に示す左目（図では右側の目）の目の下の部分を拡大して示している。図６（ｂ）に示す例では、目じり近くの部分において、輝度の高い領域が存在する。この部分では、画像の輝度が高いことによって皺が正しく検出できない。本実施形態によれば、この部分を除外して皺を表示するため、ユーザには正しい肌の特徴部分を表示することができる。

第１の顔画像における輝度の高い領域および輝度の低い領域の位置は、ユーザの頭の位置や撮影画像表示装置１が使用される外部の照明等の環境によって変化する。本実施形態の撮影画像表示装置１によれば、撮影した顔の画像中において、シミ、皺等の検出が困難な輝度の高い領域および輝度の低い領域を除外してシミ、皺等を示す画像を生成するため、使用環境が異なっても、高い精度でシミ、皺等を顔の画像に重ねて表示することができる。

（第２の実施形態）
本実施形態の撮影画像表示装置は、顔の画像において、シミや皺等の肌の特徴部分を検出または表示すべき領域を設定し、その領域内で肌の特徴部分を表示する点で第１の実施形態と異なる。図７（ａ）は、本実施形態の撮影画像表示装置の画像処理部５Ａ’の構成を示すブロック図である。画像処理部５Ａ’は、評価区域設定部１５をさらに含む点で第１の実施形態の画像処理部５Ａと異なる。

図８は、本実施形態における撮影画像表示装置の動作を説明するフローチャートである。図７（ａ）および図８を参照しながら、本実施形態の撮影画像表示装置１の動作を説明する。

まず、第１の実施形態と同様、ステップＳ１において、カメラ２によって、ユーザの顔を撮影し、ステップＳ２において、顔の画像の鏡像である第１の顔画像を示す第１の顔画像情報を生成する。生成した第１の顔画像情報は、評価区域設定部１５および画像合成部１４へ出力される。

ステップＳ６に示すように、評価区域設定部１５は、第１の顔画像において、肌の特徴部分を検出または表示すべき評価区域を決定し、第１の顔画像から評価区域を抽出する。ユーザの顔画像には、シミや皺等を検出する必要がない領域が含まれていたり、また、ユーザは特定の領域においてのみ肌の特徴部分を観察したい場合がある。肌の特徴部分を検出する領域を評価区域に限ることによって、より高速に肌の特徴部分を検出し、特徴画像を生成することが可能となる。また、評価区域は顔の肌部分に設定されるためより精度の高い検出が可能となる。

評価区域設定部１５は、評価区域を設定するためにまず、第１の顔画像において、顔の特徴点を検出する。顔の特徴点を検出する方法には、公知の顔認識技術で用いられる顔の特徴点およびその決定方法を用いることができる。たとえば、眉、目、鼻、口等の端を特徴点として用い、これら特徴点の位置に基づき、評価区域を決定する。

図９は、第１の顔画像上に設定された評価区域２１の一例を示している。評価区域２１は上述した特徴点（図９では丸印で示されている）を直線でつないだ領域であってもよい。図１０（ａ）から（ｃ）は、評価区域２１の他の例を示している。評価区域２１は、検出すべき肌の特徴に応じて異なる位置に配置されたり、異なる形状を有していてもよい。たとえば、皺を検出したい場合には、できるだけ目じり近傍の領域を含むように評価区域２１を設定してもよい。また、図１０（ｂ）に示すように、シミを検出したい場合には、たとえば、できるだけ頬の領域を広く含むように評価区域２１を設定してもよい。さらに毛穴を検出したい場合には、図１０（ｃ）に示すように、鼻を含むように評価区域を設定してもよい。

さらに、ユーザが評価区域２１の位置や形を決定してもよい。ユーザによっては、肌状態が気になる部位が予め撮影画像表示装置に設定されている評価区域と異なることも考えられる。このため、評価区域設定部１５は、たとえば、図１１（ａ）から（ｃ）に示すように、顔特徴点情報をもとに計測可能な複数の評価区域を用意しており、ユーザが複数の評価区域から１つを選択してもよい。また、評価区域の形状をユーザが変更できるように構成されていてもよい。この場合、ディスプレイ４がタッチパネル等であり、ユーザの入力を受け付けるユーザインターフェースを備えていてもよい。

ステップＳ３に示すように、低輝度・高輝度領域除外部１２は、第１の顔画像の評価区域２１内において、輝度が低い領域および輝度が高い領域を検出し、これらの領域を含む領域を評価区域２１から除外する。

図１２は、正面から被験者に対して正面から照明を当て、目を閉じて顔の撮影を行った場合の評価区域２１の例を示す。黒く塗りつぶされた領域の中側が評価区域２１である。正面から照明を当てることにより、頬の外周部付近においては照明光が斜めから照射され、その反射光が小さくなる傾向が顕著となり低輝度部分が発生している。また、目の下部分を特徴点として選択したことにより、上まぶたのまつ毛が評価領域内にはみ出している。まつ毛は、黒いため、輝度が低い領域となる。

このように、評価区域２１の境界近傍に除外すべき輝度が低い領域が存在する場合、本実施形態では、除外すべき輝度が低い領域を含まないように評価区域２１を縮小する。たとえば、図１３に示すように評価区域２１からたとえば１０画素分内側の位置に新たな区域２２を設定し、区域２２内で肌の特徴部分を検出してもよい。区域２２は、評価区域２１から輝度が低い領域および輝度が高い領域を含む周辺領域が除外されることによって決定される。

これにより、評価区域の境界周辺部分で発生しがちな誤検出が生じやすい領域を除外することが可能となる。ここでは、評価区域を境界から一定の距離を隔てた内部に境界を有する区域２２を設定している。つまり評価区域２１と区域２２とは相似形であり評価区域２１から均等に収縮した区域２２を設定している。しかし、除外すべき輝度が低い領域や除外すべき輝度が高い領域を含まない限り、新しい区域２２は評価区域２１の相似形でなくてもよい。たとえば、まつ毛周辺と頬付近は収縮量を多い目に設定し、その他の部分の収縮量は少なめにすることも可能である。これにより、肌の特徴部分を誤検出しやすい領域がより確実に除外される。

また、図１４に示すように、評価区域２１内に高輝度の領域および低輝度の領域が存在する場合、上述した区域２２を設定し、かつ、第１の実施形態で説明したように、閾値を用いて高輝度の領域および低輝度の領域を抽出し、抽出した領域の膨張または収縮を行って、除外する領域を設定してもよい。これにより、たとえば図１５に示すように、評価区域２１から輝度が低い領域および輝度が高い領域を含む領域が除外される。

次にステップＳ４に示すように、第１の実施形態と同様、評価区域２１内であって、評価区域内２１における輝度が低い領域および輝度が高い領域を含む領域以外において、顔画像に現れた肌の特徴部分を示す特徴画像を生成する。具体的には、第１の実施形態で説明したように、評価区域２１内であって、評価区域内２１における輝度が低い領域および輝度が高い領域を含む領域以外において、顔画像に現れた肌の特徴部分を検出し、特徴部分を示す特徴画像を生成する。あるいは、第１の顔画像全体において、肌の特徴部分を検出し、生成した全体の特徴画像から、評価区域２１以外の領域および評価区域内２１における輝度が低い領域および輝度が高い領域を含む領域を除外して（マスクして）、特徴画像を生成する。

さらに、ステップＳ５に示すように、画像合成部１４は、鏡像生成部１１から得られる第１の顔画像に特徴画像生成部１３から得られる特徴画像を重畳し第３の顔画像を生成する。生成した第３の顔画像がディスプレイ４に表示される。

本実施形態の撮影画像表示装置によれば、撮影した顔画像のうち、評価区域内で肌の特徴部分を示す特徴画像を生成するため、より正確にシミ、皺等を顔の画像に重ねて表示することができる。また、ユーザの意図に応じてシミ、皺等の検出あるいは表示を行うことができる。

なお、本実施形態において、ディスプレイ４に表示する顔の画像に、評価区域を示す画像を重畳してもよい。図７（ｂ）および図１６は、評価区域を画像表示させる場合の画像処理部５Ａ’’のブロック図およびフローチャートを示している。図７（ｂ）に示すように、画像処理部５Ａ’’の評価区域設定部１５’は、設定した評価区域の画像を生成し、画像合成部１４へ出力する。画像合成部１４は、第１の顔画像に、特徴画像および評価区域の画像を重畳した第３の画像を生成しディスプレイ４に出力する。

図１７は、評価区域が重畳された第３の画像を表示した例を示す模式図である。評価区域２１を示すことによって、どの部分において、肌の特徴が検出されたかどうかを認識しやすくなる。したがって、評価区域でないため、肌の特徴が示されていない場合と、評価区域内であるが、肌の特徴が検出されなかった場合とをユーザが判別することができ、より肌の状態を観察しやすくなる。

（その他の実施形態）
第１および第２の実施形態では、ステップＳ３には第１の顔画像を用い、第１の顔画像からの肌部分における輝度が低い領域および輝度が高い領域を含む領域を除外していた。しかし、肌の特徴部分をより検出しやすくするために、第１の顔画像に画像処理を施した画像を用い、ステップＳ３以降の手順を行ってもよい。

たとえば、図１８のフローチャートに示すように、ステップＳ１’において、偏光光を照射する光源３を点灯させてユーザの顔を撮影することによる顔画像と、光源３を消灯させてユーザの顔を撮影することによる顔画像とを取得する。次にステップ２’において、これらの顔画像の鏡面像を生成し、それぞれ第１および第１’の顔画像とする。

ステップ７において、第１の顔画像から第１’の顔画像を減算し得られた画像を第２の顔画像とする。このようにして得られた第２の顔画像は偏光光によって得られた顔画像情報のみを含むため、肌の表面のみの情報あるいは肌内部の情報のみを含み、肌の特徴がより正確に検出しやすい。図１８に示すように、ステップＳ３以降は、第１または第２の実施形態と同様の手順でよい。なお、光源３は、複数の偏光軸を持つ光源であってもよい。その場合は、互いに異なる偏光軸を持つ光を順次または同時に点灯したり、全消灯させるなどして、ユーザの顔を撮影してもよい。光源３は、無偏光光である白色光を照射するものでもよい。

このような画像処理を行った第２の顔画像を用いると、より正確にシミや皺等が検出され、強調された画像をディスプレイ４に表示することができる。

また、第１および第２の実施形態では、肌の特徴画像をディスプレイ４に表示していたが、肌の特徴画像とともにあるいは肌の特徴画像に変えて、肌の特徴部分を指標化した指標画像を生成し、ディスプレイ４に表示してもよい。図１９は指標画像を生成する画像処理部５Ａ’’’のブロック図を示す。

図１９に示すように、画像処理部５Ａ’’’は特徴指標画像生成部１６を備えている点で第２の実施形態と異なる。特徴指標画像生成部１６は、輝度が低い領域および輝度が高い領域を含む領域が除外された評価区域２１において、肌特徴の面積、長さ、密度等を数値化した指標およびその指標を示す画像を生成する。たとえば図２０に示すように、１以上の特徴指標のレーダーチャートを示す画像を生成してもよい。この画像を画像合成部１４において、少なくとも第１の顔画像と合成し、ディスプレイ４に表示させることによって、ユーザは、シミや皺等の複数の特徴がどの程度顔に現れているかを把握しやすくなる。

本願に開示された、撮影画像表示装置および撮影画像表示方法は、美容分野や家庭用の美容機器に好適に用いられる。

１ 撮影画像表示装置
２ カメラ
３ 光源
４ ディスプレイ
５ 情報処理装置
５Ａ 画像処理部
５Ｂ 制御部
５ａ メモリ
５ｂ 演算装置
６ 筐体
６ａ 表示面
１１ 鏡像生成部
１２ 低輝度・高輝度領域除外部
１３ 特徴画像生成部
１４ 画像合成部
１５ 評価区域設定部
１６ 特徴指標画像生成部
２１ 評価区域
２２ 区域
３００ 肌
３００Ａ 表皮
３００Ｂ 真皮
３００Ｓ 表面

Claims (12)

1. ユーザの顔の少なくとも一部を撮影し、撮影した画像を表示する撮影画像表示装置であって、
   前記ユーザの顔の少なくとも一部を撮像するカメラと、
   前記カメラから得られた顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成し、
   前記第１の顔画像に前記特徴画像が重畳された第３の顔画像を生成する画像処理部と、
   前記第３の顔画像を表示するディスプレイと
   を備えた撮影画像表示装置。
2. 前記画像処理部は、前記第１の顔画像または前記第２の顔画像の一部に評価区域を設定し、前記評価区域であって、前記評価区域内における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成する請求項１に記載の撮影画像表示装置。
3. 前記画像処理部は、前記評価区域を示す画像をさらに生成し、前記第１の顔画像に前記特徴画像および前記評価区域が重畳された前記第３の顔画像を生成する請求項２に記載の撮影画像表示装置。
4. 前記ユーザからの入力を受け付けるユーザインターフェースをさらに備え、
   前記画像処理部は、前記ユーザインターフェースから入力に基づき前記評価区域を設定する請求項２または３に記載の撮影画像表示装置。
5. 前記画像処理部は、前記第１の顔画像から前記顔の特徴点を抽出し、前記顔の特徴点に基づき、前記評価区域を設定する請求項２または３に記載の撮影画像表示装置。
6. 前記画像処理部は、前記カメラから得られた画像の鏡像を前記第１の顔画像として生成する請求項１から５のいずれかに記載の撮影画像表示装置。
7. ユーザの顔の少なくとも一部を撮影し、撮影した画像を表示する撮影画像表示装置であって、
   前記ユーザの顔の少なくとも一部を撮像するカメラと、
   前記カメラから得られた顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を指標化した指標画像を生成し、
   前記第１の顔画像および前記指標画像を合成した第３の顔画像を生成する画像処理部と、
   前記第３の顔画像を表示するディスプレイと
   を備えた撮影画像表示装置。
8. 表示面を有する筐体をさらに備え、前記ディスプレイおよび前記カメラは前記表示面に設けられている請求項１から７のいずれかに記載の撮影画像表示装置。
9. 前記表示面に設けられた、前記ユーザに光を照射する光源をさらに備える請求項１から８のいずれかに記載の撮影画像表示装置。
10. 前記光は偏光光であり、前記カメラは偏光フィルタを含む請求項９に記載の撮影画像表示装置。
11. 前記光源および前記カメラを制御する制御部をさらに備え、
    前記カメラは、前記制御部の制御により前記光源を点灯させて前記ユーザの顔を撮影した画像、および前記制御部の制御により前記光源を消灯させて前記ユーザの顔を撮影した画像を生成し、
    前記画像処理部は、前記光源を点灯させて前記ユーザの顔を撮影した画像を前記第１の顔画像とし、前記第１の顔画像から、前記光源を消灯させて前記ユーザの顔を撮影した画像を減じた画像を前記第２の顔画像として用いる、請求項９または１０に記載の撮影画像表示装置。
12. ユーザの顔の少なくとも一部を撮像することによって、顔画像を取得する工程と、
    前記顔画像に基づく表示用の第１の顔画像、または、前記第１の顔画像から生成された第２の顔画像に基づき、前記第１の顔画像または前記第２の顔画像の肌部分における輝度が低い領域および輝度が高い領域を含む領域以外において、前記顔画像に現れた肌の特徴部分を示す特徴画像を生成する工程と、
    前記第１の顔画像に前記特徴画像が重畳した第３の顔画像を生成する工程と、
    前記第３の顔画像を表示する工程と
    を包含する、撮影および画像表示方法。