JP2013132447A - 画像処理装置、画像処理システム、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】画像内の体毛等の検出対象が写っている領域を簡単かつ正確に検出する。
【解決手段】体毛領域検出部は、体毛を撮影した第１の画像を、第１の画像と異なる方向から体毛を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、第２の画像と射影画像との間の差分画像を生成する差分画像生成部と、差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、候補領域に対応する第２の画像の領域を体毛が写っている体毛領域とそれ以外の非体毛領域に分ける領域検出部とを備える。本技術は、例えば、肌の状態を解析する装置に適用できる。
【選択図】図４

Description

本技術は、画像処理装置、画像処理システム、画像処理方法、および、プログラムに関し、特に、画像内の所定の対象を検出する場合に用いて好適な画像処理装置、画像処理システム、画像処理方法、および、プログラムに関する。

肌を撮影した画像を用いて肌の状態を解析する場合、画像内に体毛が写っていると、皮溝や皮丘の形状等を正確に検出できないため、解析精度が低下する。そのため、従来、体毛を除去した画像を用いることにより、肌の状態を解析する精度を向上させることが検討されている。そこで、画像内の体毛の領域を正確に検出することが重要になる。

一方、従来、画像内の体毛の領域を構成する体毛画素と体毛でない領域を構成する背景画素とを分ける技術が提案されている（例えば、特許文献１参照）。具体的には、特許文献１に記載の技術では、画像内の画素値の最頻値以上の画素と最頻値未満の画素に２値化することにより体毛画素を検出したり、Sobelフィルタによって体毛の輪郭を抽出することにより体毛画素を検出したりする。

特開２０１０−８２２４５号公報

しかしながら、画素値の最頻値未満の画素には、体毛以外の画素も多く含まれる。また、画像内には体毛以外の輪郭も多く含まれる。従って、特許文献１に記載の技術では、画像内の体毛領域の検出誤差が大きくなることが想定される。

そこで、本技術は、画像内の体毛等の検出対象が写っている領域を簡単かつ正確に検出できるようにするものである。

本技術の第１の側面の画像処理装置は、検出対象を撮影した画像において前記検出対象が写っている領域を検出する検出対象領域検出部を備え、前記検出対象領域検出部は、前記検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける領域検出部とを備える。

前記検出対象を撮影した画像から前記検出対象を除去する検出対象除去部をさらに設け、前記検出対象除去部には、前記検出対象領域検出部と、前記検出対象領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記検出対象が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記検出対象を除去する除去部とを設けることができる。

前記除去部には、少なくとも前記第２の画像の前記検出対象領域に対応する前記第１の画像の領域内の画素を前記第２の画像に射影し、置き換えることにより、前記第２の画像から前記検出対象を除去させることができる。

前記除去部には、少なくとも前記第２の画像の前記非検出対象領域内の画素を前記第１の画像に射影し、置き換えることにより、前記第１の画像から前記検出対象を除去させることができる。

前記検出対象除去部には、それぞれ異なる方向から前記検出対象を撮影した３以上の画像から２つの画像を選択し、選択した２つの画像を用いて、前記検出対象を除去した画像を新たに生成した後、残りの画像がなくなるまで、新たに生成した画像と残りの画像のうちの１つを用いて、前記検出対象を除去した画像を新たに生成する処理を繰り返させることができる。

前記検出対象領域検出部には、前記第１の画像の特徴点および前記第２の画像の特徴点を抽出する特徴点抽出部と、前記第１の画像の特徴点と前記第２の画像の特徴点とを対応付ける対応付け部と、前記対応付け部により対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点のペアの少なくとも一部に基づいて、前記第１の画像を前記第２の画像の座標系に射影する射影行列を算出する射影行列算出部とをさらに設け、前記射影変換部には、前記射影行列を用いて前記射影画像を生成させることができる。

前記射影行列算出部には、複数の前記特徴点のペアの組み合わせに基づいて、複数の前記射影行列を算出させ、前記射影変換部には、複数の前記射影行列をそれぞれ用いて複数の前記射影画像を生成させ、前記差分画像生成部には、前記第２の画像と複数の前記射影画像のそれぞれとの間の複数の前記差分画像を生成させ、前記領域検出部には、複数の前記差分画像のうち前記第２の画像との差が最小となる前記差分画像を用いて前記候補領域を検出させることができる。

前記領域検出部には、前記候補領域に対応する前記第２の画像の領域内の画像を周囲の画像と比較することにより、前記検出対象領域と前記非検出対象領域を分けさせることができる。

前記検出対象領域検出部には、それぞれ異なる方向から前記検出対象を撮影した３以上の各画像における前記検出対象領域を検出させ、３以上の前記画像の中から選択した画像における前記検出対象領域と、残りの画像の前記検出対象領域を前記選択した画像の座標系に射影した領域とを合成する領域合成部をさらに設けることができる。

本技術の第１の側面の画像処理方法は、画像処理装置が、検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成し、前記第２の画像と前記射影画像との間の差分画像を生成し、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分けるステップを含む。

本技術の第１の側面のプログラムは、検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成し、前記第２の画像と前記射影画像との間の差分画像を生成し、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分けるステップを含む。

本技術の第２の側面の画像処理システムは、検出対象を撮影する撮影部と、前記撮影部により撮影した画像において前記検出対象が写っている領域を検出する検出対象領域検出部とを備え、前記検出対象領域検出部は、前記撮影部により前記検出対象を撮影した第１の画像を、前記撮影部により前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける領域検出部とを備える。

前記撮影部により前記検出対象を撮影した画像から前記検出対象を除去する検出対象除去部をさらに設け、前記検出対象除去部には、前記検出対象領域検出部と、前記検出対象領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記検出対象が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記検出対象を除去する除去部とを設けることができる。

前記検出対象除去部には、前記撮影部によりそれぞれ異なる方向から前記検出対象を撮影した３以上の画像から２つの画像を選択し、選択した２つの画像を用いて、前記検出対象を除去した画像を新たに生成した後、残りの画像がなくなるまで、新たに生成した画像と残りの画像のうちの１つを用いて、前記検出対象を除去した画像を新たに生成する処理を繰り返させることができる。

前記検出対象領域検出部には、前記第１の画像の特徴点および前記第２の画像の特徴点を抽出する特徴点抽出部と、前記第１の画像の特徴点と前記第２の画像の特徴点とを対応付ける対応付け部と、前記対応付け部により対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点のペアの少なくとも一部に基づいて、前記第１の画像を前記第２の画像の座標系に射影する射影行列を算出する射影行列算出部とをさらに設け、前記射影変換部には、前記射影行列を用いて前記射影画像を生成させることができる。

前記検出対象領域検出部には、前記撮影部によりそれぞれ異なる方向から前記検出対象を撮影した３以上の各画像における前記検出対象領域を検出させ、３以上の前記画像の中から選択した画像における前記検出対象領域と、残りの画像の前記検出対象領域を前記選択した画像の座標系に射影した領域とを合成する領域合成部をさらに設けることができる。

前記撮影部には、２次元に配置された複数のレンズと、複数の撮像素子とを設け、各前記レンズに対する相対位置がそれぞれ同じになるように、１つの前記レンズに対して複数の前記撮像素子を配置し、前記レンズに対する相対位置が同じ前記撮像素子によりそれぞれ撮影された複数の画像を生成する画像生成部をさらに設けることができる。

前記撮影部には、前記検出対象を含む領域の周囲の少なくとも一部を放射状に囲むミラーに映った像を撮影させ、前記撮影部により前記ミラーに映った像を撮影した画像から複数の画像を切り出す画像切り出し部と、切り出された複数の画像に対して幾何歪補正を行う幾何歪補正部とをさらに設けることができる。

前記第１の画像および前記第２の画像を、前記撮影部により前記検出対象を接写した画像とすることができる。

本技術の第３の側面の画像処理装置は、体毛を撮影した第１の画像を、前記第１の画像と異なる方向から前記体毛を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記体毛が写っている体毛領域とそれ以外の非体毛領域に分ける領域検出部と、前記領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記体毛が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記体毛を除去する除去部とを備える。

本技術の第１の側面においては、検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像が生成され、前記第２の画像と前記射影画像との間の差分画像が生成され、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域が検出され、前記候補領域に対応する前記第２の画像の領域が前記検出対象領域とそれ以外の非検出対象領域に分けられる。

本技術の第２の側面においては、検出対象が撮影され、検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像が生成され、前記第２の画像と前記射影画像との間の差分画像が生成され、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域が検出され、前記候補領域に対応する前記第２の画像の領域が前記検出対象領域とそれ以外の非検出対象領域に分けられる。

本技術の第３の側面においては、体毛を撮影した第１の画像を、前記第１の画像と異なる方向から前記体毛を撮影した第２の画像の座標系に射影変換した射影画像が生成され、前記第２の画像と前記射影画像との間の差分画像が生成され、前記差分画像において差分値が所定の閾値以上の画素からなる候補領域が検出され、前記候補領域に対応する前記第２の画像の領域が前記体毛が写っている体毛領域とそれ以外の非体毛領域に分けられ、体毛領域の検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記体毛が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記体毛が除去される。

本技術の第１または第２の側面によれば、画像内の体毛等の検出対象が写っている領域を簡単かつ正確に検出することができる。

本技術の第３の側面によれば、画像内の体毛が写っている領域を簡単かつ正確に検出することができる。さらに、本技術の第３の側面によれば、画像内の体毛を正確に除去することができる。

本技術を適用した画像処理システムの第１の実施の形態を示すブロック図である。 ２方向から撮影する場合の撮影装置の理想的な配置の一例を示す図である。 ２方向から撮影する場合の撮影装置の理想的な配置の一例を示す図である。 体毛領域検出部の構成例を示すブロック図である。 体毛検出処理の第１の実施の形態を説明するためのフローチャートである。 体毛検出処理の具体例を説明するための図である。 体毛領域検出処理の詳細を説明するためのフローチャートである。 ホモグラフィ行列の算出方法を説明するための図である。 肌画像の射影変換の具体例を説明するための図である。 差分画像の生成方法を説明するための図である。 体毛領域の検出方法を説明するための図である。 体毛領域の検出方法を説明するための図である。 本技術を適用した画像処理システムの第２の実施の形態を示すブロック図である。 体毛除去処理の第１の実施の形態を説明するためのフローチャートである。 肌画像から体毛を除去する第１の方法を説明するための図である。 肌画像から体毛を除去する第２の方法を説明するための図である。 ２方向から肌を撮影する場合の問題点を説明するための図である。 本技術を適用した画像処理システムの第３の実施の形態を示すブロック図である。 ３方向から撮影する場合の撮影装置の理想的な配置の一例を示す図である。 体毛検出処理の第２の実施の形態を説明するためのフローチャートである。 体毛検出処理の具体例を説明するための図である。 体毛検出処理の具体例を説明するための図である。 体毛領域の合成方法を説明するための図である。 本技術を適用した画像処理システムの第４の実施の形態を示すブロック図である。 体毛除去処理の第２の実施の形態を説明するためのフローチャートである。 本技術を適用した画像処理システムの第５の実施の形態を示すブロック図である。 プローブの構成例を示す模式図である。 体毛除去処理の第３の実施の形態を説明するためのフローチャートである。 肌画像の生成方法を説明するための図である。 本技術を適用した画像処理システムの第６の実施の形態を示すブロック図である。 マイクロレンズと撮像素子の配置例、および、肌画像を再構成する方法を説明するための図である。 体毛除去処理の第４の実施の形態を説明するためのフローチャートである。 本技術を適用した画像処理システムの第７の実施の形態を示すブロック図である。 美容解析部の構成例を示すブロック図である。 美容解析処理を説明するためのフローチャートである。 美容解析処理の具体例を説明するための図である。 肌画像から体毛を除去せずに美容解析処理を行った場合の問題点を説明するための図である。 検出対象の変形例を説明するための図である。 検出対象が人である場合の検出対象領域の検出方法を説明するための図である。 検出対象が人である場合の検出対象領域の検出方法を説明するための図である。 本技術の第１の応用例を説明するための図である。 本技術の第２の応用例を説明するための図である。 コンピュータの構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２方向から撮影した肌画像を用いて体毛領域を検出する例）
２．第２の実施の形態（２方向から撮影した肌画像を用いて肌画像から体毛を除去する例）
３．第３の実施の形態（３方向以上から撮影した肌画像を用いて体毛領域を検出する例）
４．第４の実施の形態（３方向以上から撮影した肌画像を用いて肌画像から体毛を除去する例）
５．第５の実施の形態（ミラーを用いて１つの撮影装置で異なる方向から肌を撮影する例）
６．第６の実施の形態（マイクロレンズを用いて異なる方向から肌を撮影する例）
７．第７の実施の形態（美容解析に適用した例）
８．変形例

＜１．第１の実施の形態＞
まず、図１乃至図１２を参照して、本技術の第１の実施の形態について説明する。

［画像処理システム１０１の構成例］
図１は、本技術を適用した画像処理システムの第１の実施の形態である画像処理システム１０１の機能の構成例を示すブロック図である。

画像処理システム１０１は、プローブ１１１および画像処理装置１１２を含むように構成される。画像処置システム１０１は、プローブ１１１を人の肌に接触または近接させて撮影した画像（以下、肌画像と称する）において体毛が写っている領域（以下、体毛領域と称する）を検出するシステムである。

プローブ１１１は、撮影装置１２１−１,１２１−２の２つの撮影装置を含むように構成される。撮影装置１２１−１,１２１−２は、例えば、ごく近距離（例えば、数mm〜数cm）からの接写が可能なカメラにより構成される。なお、撮影装置１２１−１,１２１−２を、カメラ以外の撮影手段により構成することも可能である。

また、撮影装置１２１−１,１２１−２は、プローブ１１１の所定の位置を人の肌に接触または近接させた状態で、人の肌の同じ領域を異なる方向から撮影できるように、プローブ１１１内に配置される。そして、撮影装置１２１−１，１２１−２は、それぞれ撮影した肌画像を画像処理装置１１２に供給する。

ここで、撮影装置１２１−１，１２１−２の配置条件について説明する。

撮影装置１２１−１と撮影装置１２１−２は、撮影領域の少なくとも一部が重なるように配置される。また、撮影装置１２１−１と撮影装置１２１−２は、撮影対象となる人の肌の表面を基準とする光軸中心の方位角または俯角の少なくとも一方が異なるように配置される。これにより、撮影装置１２１−１，１２１−２により、人の肌の同じ領域を異なる方向から同時に撮影することができる。なお、撮影装置１２１−１の光軸中心と撮影装置１２１−２の光軸中心は、必ずしも交わる必要はない。

図２および図３は、撮影装置１２１−１，１２１−２の理想的な配置の一例を示している。図２は、撮影装置１２１−１，１２１−２の位置関係を、補助線を用いて示した図であり、図３は、図２の撮影装置１２１−１，１２１−２の位置関係を横から見た図である。

撮影装置１２１−１は、光軸中心が人の肌の表面で撮影装置１２１−２の光軸中心と交わり、その交点から見て斜め上方向に配置される。これにより、撮影装置１２１−１は、撮影装置１２１−２と共通の肌領域を斜め上方向から撮影することができる。

一方、撮影装置１２１−２は、光軸中心が肌の表面に対して垂直になるように、すなわち、光軸中心の俯角が９０度になるように肌の上方に配置される。これにより、撮影装置１２１−２は、肌を真上から撮影することができ、歪みのない肌画像を得ることができる。

なお、撮影装置１２１−１の光軸中心と撮影装置１２１−２の光軸中心とのなす角θは、体毛の肌表面の離れ具合や体毛の太さなどにより決定される。例えば、角度θは４５度に設定される。なお、撮影装置１２１−１の光軸中心の俯角は、９０度−θとなる。

なお、以下、撮影装置１２１−１と撮影装置１２１−２を個々に区別する必要がない場合、単に、撮影装置１２１と称する。

図１に戻り、画像処理装置１１２は、画像取得部１３１、体毛領域検出部１３２、および、記憶部１３３を含むように構成される。

画像取得部１３１は、撮影装置１２１−１と撮影装置１２１−２により撮影された肌画像を取得し、体毛領域検出部１３２に供給する。

体毛領域検出部１３２は、取得した肌画像内の体毛領域を検出し、肌画像並びに検出結果を示す情報を後段の装置に出力する。

記憶部１３３は、画像処理装置１１２の処理に必要なデータ等を適宜記憶する。

［体毛領域検出部１３２の構成例］
図４は、体毛領域検出部１３２の機能の構成例を示すブロック図である。

体毛領域検出部１３２は、特徴点抽出部１５１、対応付け部１５２、ホモグラフィ行列算出部１５３、射影変換部１５４、差分画像生成部１５５、および、領域検出部１５６を含むように構成される。

特徴点抽出部１５１は、各肌画像の特徴点を抽出する。特徴点抽出部１５１は、肌画像、並びに、抽出した各特徴点を示す情報を対応付け部１５２に供給する。

対応付け部１５２は、２つの肌画像間で特徴点の対応付けを行い、同じ特徴点であると推定されるペアを検出する。対応付け部１５２は、肌画像、並びに、特徴点のペアの検出結果を示す情報をホモグラフィ行列算出部１５３に供給する。

ホモグラフィ行列算出部１５３は、２つの肌画像間の特徴点のペアの少なくとも一部に基づいて、一方の肌画像（以下、射影元画像とも称する）を他方の肌画像（以下、射影先画像とも称する）の座標系に射影変換するためのホモグラフィ行列を算出する。ホモグラフィ行列算出部１５３は、肌画像、並びに、ホモグラフィ行列およびホモグラフィ行列の算出に用いた特徴点のペアを示す情報を射影変換部１５４に供給する。

射影変換部１５４は、ホモグラフィ行列を用いて、射影元画像を射影変換する。射影変換部１５４は、肌画像（射影元画像および射影先画像）、射影変換により生成された画像（以下、射影変換画像と称する）、並びに、ホモグラフィ行列およびホモグラフィ行列の算出に用いた特徴点のペアを示す情報を差分画像生成部１５５に供給する。

差分画像生成部１５５は、射影変換画像と射影先画像との間の差分画像を生成する。差分画像生成部１５５は、差分画像、並びに、差分画像の生成過程で用いられたホモグラフィ行列および特徴点のペアを示す情報を記憶部１３３に記憶させる。また、差分画像生成部１５５は、必要に応じてホモグラフィ行列の算出をホモグラフィ行列算出部１５３に指令する。さらに、差分画像生成部１５５は、差分画像の生成処理が終了したとき、肌画像（射影元画像および射影先画像）を領域検出部１５６に供給する。

領域検出部１５６は、記憶部１３３に記憶されている差分画像に基づいて、射影先画像内の体毛領域を検出する。領域検出部１５６は、肌画像（射影元画像および射影先画像）、並びに、体毛領域の検出結果を示す情報を後段に出力する。また、領域検出部１５６は、必要に応じて、体毛領域の検出に用いた差分画像の生成過程で用いられたホモグラフィ行列または特徴点のペアの少なくとも一方を示す情報を後段に出力する。

［画像処理システム１０１による体毛検出処理］
次に、図５のフローチャートを参照して、画像処理システム１０１により実行される体毛検出処理について説明する。

なお、以下、図６に示されるように、体毛ＢＨ１が存在する肌の領域を、撮影装置１２１−１により左から斜め下に見下ろす方向に撮影し、撮影装置１２１−２により右から斜め下に見下ろす方向に撮影する場合の処理を、適宜具体例に挙げて説明する。

ステップＳ１において、画像処理システム１０１は、異なる方向から撮影した２つの肌画像を取得する。具体的には、撮影装置１２１−１，１２１−２は、それぞれ異なる方向からほぼ同時に人の肌を撮影する。このとき、撮影装置１２１−１，１２１−２は、例えば、プローブ１１１を肌に接触または近接させた状態で、近距離から肌を接写する。そして、撮影装置１２１−１，１２１−２は、撮影の結果得られた肌画像を画像取得部１３１に供給する。画像取得部１３１は、取得した肌画像を体毛領域検出部１３２の特徴点抽出部１５１に供給する。

例えば、図６に示されるように、撮影装置１２１−１により画像ＤＬ１を含む肌画像が撮影され、撮影装置１２１−２により画像ＤＲ１を含む肌画像が撮影される。画像ＤＬ１と画像ＤＲ１は、撮像装置１２１−１と撮影装置１２１−２がそれぞれ撮影した肌画像から、同じ肌領域に対応する部分を抽出したものである。

画像ＤＬ１および画像ＤＲ１には、それぞれ体毛ＢＨ１が写った体毛領域ＡＬ１および体毛領域ＡＲ１が存在する。画像ＤＬ１と画像ＤＲ１はそれぞれ異なる方向から撮影されるため、体毛ＢＨ１により隠蔽される肌領域が異なる。すなわち、画像ＤＬ１において体毛領域ＡＬ１により隠蔽される肌領域と、画像ＤＲ１において体毛領域ＡＲ１により隠蔽される肌領域はそれぞれ異なる。

なお、画像ＤＬ１の左辺が長く、右辺が短くなっているのは、左辺の領域が撮影装置１２１に最も近く大きく写り、右辺に近づくほど小さく写るからである。画像ＤＲ１の右辺が長く、左辺が短くなっているのも同様の理由からである。

なお、以下、画像ＤＬ１および画像ＤＲ１に対して処理を行う場合を、適宜具体例として挙げながら説明する。

ステップＳ２において、体毛領域検出部１３２は、体毛領域検出処理を実行し、その後、体毛検出処理は終了する。

ここで、図７のフローチャートを参照して、体毛領域検出処理の詳細について説明する。

ステップＳ２１において、特徴点抽出部１５１は、各肌画像の特徴点を抽出する。そして、特徴点抽出部１５１は、肌画像、並びに、抽出した各特徴点を示す情報を対応付け部１５２に供給する。

なお、特徴点を抽出する手法には、任意の手法を採用することができる。例えば、肌表面の皮溝の交点、皮丘、毛穴、汗腺、血管パターン等の肌特有の情報を元に、回転、スケール変化、照明変化による画像の変化に不変なSIFT(Scale Invariant Feature Transform)特徴量や、SURF(Speeded Up Robust Features)特徴量を用いて、特徴点を抽出することが可能である。

ステップＳ２２において、対応付け部１５２は、画像間の特徴点の対応付けを行う。すなわち、対応付け部１５２は、一方の肌画像の特徴点と他方の肌画像の特徴点との組み合わせのうち、同じ特徴点であると推定されるペアを検出する。

例えば、SIFT特徴量に基づいて特徴点が抽出されている場合、対応付け部１５２は、画像ＤＬ１の特徴点を１つ選択し、選択した特徴点と画像ＤＲ１の各特徴点との間のSIFT特徴量のベクトル情報を用いたベクトル間距離を算出する。そして、対応付け部１５２は、選択した画像ＤＬ１の特徴点と、ベクトル間距離が最小となる画像ＤＲ１の特徴点とを、同じ特徴点のペアとして対応付ける。対応付け部１５２は、この処理を全ての特徴点について行う。

ステップＳ２３において、ホモグラフィ行列算出部１５３は、特徴点のペアをランダムに４つ選択する。例えば、図８に示されるように、ホモグラフィ行列算出部１５３は、画像ＤＬ１の特徴点ＦＰ１Ｌ乃至ＦＰ４Ｌと、それらとペアになる画像ＤＲ１の特徴点ＦＰ１Ｒ乃至ＦＰ４Ｒとの４つの特徴点のペアを選択する。

ステップＳ２４において、ホモグラフィ行列算出部１５３は、選択した特徴点のペアに基づいて、ホモグラフィ行列を算出する。例えば、ホモグラフィ行列算出部１５３は、図８に示される４つの特徴点のペアに基づいて、画像ＤＬ１（射影元画像）を画像ＤＲ１（射影先画像）の座標系に射影するためのホモグラフィ行列Ｈ_ＬＲを算出する。そして、ホモグラフィ行列算出部１５３は、肌画像、並びに、算出したホモグラフィ行列およびホモグラフィ行列の算出に用いた特徴点のペアを示す情報を射影変換部１５４に供給する。

ステップＳ２５において、射影変換部１５４は、ホモグラフィ行列を用いて、一方の肌画像を射影変換する。例えば、図９に示されるように、射影変換部１５４は、ホモグラフィ行列算出部１５３により算出されたホモグラフィ行列Ｈ_ＬＲを用いて、画像ＤＬ１（射影元画像）を射影変換することにより、画像ＤＬ１’（射影変換画像）を生成する。このとき、画像ＤＬ１の体毛領域ＡＬ１は、画像ＤＬ１’において体毛領域ＡＬ１’に射影される。体毛領域ＡＬ１’は、画像ＤＲにおける体毛領域ＡＲ１とは異なる領域となる。

そして、射影変換部１５４は、肌画像（射影元画像および射影先画像）、射影変換画像、並びに、ホモグラフィ行列およびホモグラフィ行列の算出に用いた特徴点のペアを示す情報を差分画像生成部１５５に供給する。

ステップＳ２６において、差分画像生成部１５５は、射影変換した肌画像（射影変換画像）と射影先の肌画像（射影先画像）との間の差分画像を生成する。例えば、図１０に示されるように、差分画像生成部１５５は、画像ＤＬ１’と画像ＤＲとの対応する画素の差分値の絶対値からなる差分画像ＤＳ１を生成する。なお、差分画像ＤＳ１においては、体毛領域ＡＬ１’に対応する領域ＡＬ２および体毛領域ＡＲ１に対応する領域ＡＲ２の差分値が大きくなる。

ステップＳ２７において、差分画像生成部１５５は、生成した差分画像、並びに、差分画像の生成過程で用いられたホモグラフィ行列および４つの特徴点のペアの組み合わせを示す情報を対応付けて記憶部１３３に記憶させる。

ステップＳ２８において、差分画像生成部１５５は、所定の数の差分画像を生成したか否かを判定する。まだ所定の数の差分画像を生成していないと判定された場合、処理はステップＳ２３に戻る。このとき、差分画像生成部１５５は、ホモグラフィ行列の算出をホモグラフィ行列算出部１５３に指令する。

その後、ステップＳ２３乃至Ｓ２８の処理が所定の回数だけ繰り返し実行される。すなわち、４つの特徴点のペアをランダムに選択し、選択した特徴点のペアに基づいて算出されたホモグラフィ行列を用いて射影変換された射影変換画像と、射影先画像との間の差分画像を生成する処理が繰り返される。

一方、ステップＳ２８において、所定の数の差分画像を生成したと判定された場合、処理はステップＳ２９に進む。このとき、差分画像生成部１５５は、肌画像（射影元画像および射影先画像）を領域検出部１５６に供給する。

ステップＳ２９において、領域検出部１５６は、差分値が最小となる差分画像を選択する。すなわち、領域検出部１５６は、記憶部１３３に記憶されている差分画像の中から、差分値の合計が最小となる差分画像を選択する。

ステップＳ３０において、領域検出部１５６は、選択した差分画像を用いて、体毛領域を検出する。具体的には、まず、領域検出部１５６は、選択した差分画像において差分値が所定の閾値以上の画素からなる領域を体毛候補領域として検出する。例えば、図１０の差分画像ＤＳ１において領域ＡＬ２および領域ＡＲ２からなる領域と対応する射影先画像上の領域が体毛候補領域として検出される。

なお、領域ＡＲ２は、射影先画像（画像ＤＲ１）において実際に体毛が写っている領域（体毛領域）である。一方、領域ＡＬ２は、射影先画像において体毛が写っておらず、射影変換画像（画像ＤＬ１’）において体毛が写っている領域（以下、非体毛領域と称する）である。なお、通常、体毛候補領域は、体毛領域と非体毛領域が根元（生え際）で繋がった連続した領域として検出される。ただし、根元（生え際）が肌画像に写っていない体毛に対応する体毛候補領域は、体毛領域と非体毛領域とが離れた２つの領域として検出される。

さらに、領域検出部１５６は、体毛候補領域を、射影先画像において実際に体毛が写っている領域（体毛領域）と、それ以外の領域（非体毛領域）に分ける。

ここで、体毛領域と非体毛領域の分離方法について説明する。なお、以下、図１１に示されるように、体毛領域Ａ１と非体毛領域Ａ２からなる体毛候補領域が検出されている場合の分離方法について適宜説明する。

例えば、領域検出部１５６は、射影先画像の体毛候補領域の中から１つの画素を注目画素に選択する。さらに、領域検出部１５６は、注目画素を中心とする所定の大きさの矩形の領域（以下、注目領域と称する）内の各画素の画素値の最大値を検出する。この最大画素値は、注目領域内の最大輝度値を示す。

そして、領域検出部１５６は、注目画素の画素値と最大画素値との差が所定の閾値以上である場合、注目画素が体毛領域内の画素であると判定する。一方、領域検出部１５６は、注目画素の画素値と最大画素値との差が所定の閾値未満である場合、注目画素が非体毛領域内の画素であると判定する。

例えば、体毛領域Ａ１内の画素Ｐ１を注目画素とした場合、画素Ｐ１は体毛上の画素であり、画素値が０に近くなるため、画素Ｐ１を中心とする注目領域Ｂ１内の最大画素値との間の画素値の差が大きくなる。従って、画素Ｐ１は、体毛領域Ａ１内の画素であると判定される。一方、例えば、非体毛領域Ａ２内の画素Ｐ２を注目画素とした場合、画素Ｐ２は肌上の画素であり、画素Ｐ２を中心とする注目領域Ｂ２内の最大画素値との間の画素値の差が小さくなる。従って、画素Ｐ２は、非体毛領域Ａ２内の画素であると判定される。

なお、注目領域の一辺の長さ（画素数）は、肌画像内で想定される体毛の太さ方向の最大画素数より大きく、当該最大画素数に近い値に設定することが望ましい。例えば、７０倍の倍率で接写することに得られた１２８０×１０２４画素の解像度の肌画像において、注目領域の一辺の長さは５１画素に設定される。

領域検出部１５６は、以上の処理を、体毛候補領域内の全ての画素が注目画素になるまで繰り返し、体毛候補領域内の各画素を体毛領域内の画素と非体毛領域内の画素に分ける。このようにして、体毛候補領域内の画像を周囲の画像と比較することにより、体毛候補領域が体毛領域と非体毛領域に分離される。

なお、体毛領域と非体毛領域の分離方法は、上述した方法に限定されるものではない。例えば、画素単位で判断するのではなく、図１２に示されるように、体毛候補領域を領域Ａ１と領域Ａ２に分割してから、いずれの領域が体毛領域または非体毛領域であるかを判定するようにしてもよい。この場合、各領域内の全ての画素を用いずに一部の画素のみを用いて判定することが可能である。

領域検出部１５６は、肌画像（射影元画像および射影先画像）、並びに、体毛領域と非体毛領域の検出結果、および、体毛領域の検出に用いた差分画像の生成過程で用いられたホモグラフィ行列を示す情報を、後段に出力する。

なお、以下、体毛領域の検出に用いた差分画像の生成過程で用いられたホモグラフィ行列を、最適ホモグラフィ行列と称する。最適ホモグラフィ行列は、算出された複数のホモグラフィ行列のうち、射影変換画像と射影先画像との差が最も小さくなるホモグラフィ行列である。

以上のようにして、肌画像内の体毛領域を簡単かつ精度良く検出することができる。

＜２．第２の実施の形態＞
次に、図１３乃至図１６を参照して、本技術の第２の実施の形態について説明する。なお、本技術の第２の実施の形態は、第１の実施の形態に肌画像から体毛を除去する機能を追加したものである。

［画像処理システム２０１の構成例］
図１３は、本技術を適用した画像処理システムの第２の実施の形態である画像処理システム２０１の機能の構成例を示すブロック図である。

画像処理システム２０１は、肌画像から体毛を除去する機能を画像処理システム１０１に加えたシステムである。なお、図中、図１と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため適宜省略する。

画像処理システム２０１は、図１の画像処理システム１０１と比較して、画像処理装置１１２の代わりに画像処理装置２１１が設けられている点が異なる。また、画像処理装置２１１は、画像処理装置１１２と比較して、体毛除去部２３１が追加されている点が異なる。

体毛除去部２３１は、体毛領域検出部１３２および除去部２４１を含むように構成される。

除去部２４１は、体毛領域検出部１３２による体毛領域の検出結果に基づいて、肌画像から体毛を除去した画像（以下、体毛除去画像と称する）を生成する。除去部２４１は、生成した体毛除去画像を後段に出力する。

［画像処理システム２０１による体毛除去処理］
次に、図１４のフローチャートを参照して、画像処理システム２０１により実行される体毛除去処理について説明する。

ステップＳ１０１において、図５のステップＳ１の処理と同様に、異なる方向から撮影した２つの肌画像が取得される。

ステップＳ１０２において、図５のステップＳ２の処理と同様に、体毛領域検出処理が実行される。そして、体毛領域検出部１３２の領域検出部１５６は、肌画像（射影元画像および射影先画像）、並びに、体毛領域と非体毛領域の検出結果および最適ホモグラフィ行列を示す情報を除去部２４１に供給する。

ステップＳ１０３において、除去部２４１は、体毛を除去した画像を生成する。具体的には、除去部２４１は、少なくとも射影先画像の体毛領域の画素を射影元画像の対応する画素に置き換えることにより、体毛除去画像を生成する。

例えば、除去部２４１は、最適ホモグラフィ行列の逆行列を算出する。そして、除去部２４１は、最適ホモグラフィ行列の逆行列を用いて、体毛候補領域内の非体毛領域に対応する射影元画像の領域、すなわち、射影元画像における体毛領域を算出する。そして、除去部２４１は、射影元画像の体毛領域以外の画素を、最適ホモグラフィ行列を用いて射影先画像上に射影し、射影先画像の画素と置き換える。これにより、射影先画像において、非体毛領域の一部を含む体毛領域の画素が、射影元画像の対応する画素に置き換えられ、射影先画像から体毛が除去された画像（体毛除去画像）が生成される。

例えば、除去部２４１は、図１５に示されるように、画像ＤＬ１の体毛領域ＡＬ１以外の画素を、最適ホモグラフィ行列Ｈ_ＬＲを用いて、画像ＤＲ１上に射影し、画像ＤＲ１の画素と置き換える。これにより、画像ＤＲ１から体毛領域ＡＲ１が除去され、代わりに体毛領域ＡＲ１により隠蔽されていた肌が写った体毛除去画像が生成される。

あるいは、除去部２４１は、最適ホモグラフィ行列の逆行列を用いて、射影先画像の体毛領域に対応する射影元画像の領域を算出する。この算出した領域は、射影元画像の体毛領域と異なる領域であり、体毛が写っていない。そして、除去部２４１は、算出した射影元画像の領域内の画素を、最適ホモグラフィ行列を用いて射影先画像上に射影し、射影先画像の画素と置き換える。これにより、射影先画像の体毛領域の画素が、射影元画像の対応する画素に置き換えられ、射影先画像から体毛が除去された画像（体毛除去画像）が生成される。

例えば、除去部２４１は、画像ＤＲ１の体毛領域ＡＲ１に対応する画像ＤＬ１の領域を算出する。そして、除去部２４１は、図１６に示されるように、算出した画像ＤＬ１の領域内の画素（図内の丸印で囲まれた画素）を、最適ホモグラフィ行列を用いて画像ＤＲ１に射影し、画像ＤＲ１の画素（体毛領域ＡＲ１内の画素）と置き換える。これにより、画像ＤＲ１から体毛領域ＡＲ１が除去され、代わりに体毛領域ＡＲ１により隠蔽されていた肌が写った体毛除去画像が生成される。

なお、後者の方法の方が、射影する画素の数を削減することができ、処理時間を短縮することが可能である。

そして、除去部２４１は、生成した体毛除去画像を後段に出力する。

このようにして、簡単かつ確実に肌画像から体毛を除去することができる。

＜３．第３の実施の形態＞
次に、図１７乃至図２３を参照して、本技術の第３の実施の形態について説明する。なお、本技術の第３の実施の形態は、異なる３方向以上から肌を撮影することにより取得した３以上の肌画像を用いて、体毛領域を検出するようにしたものである。

体毛は線状であるため、上述した図６に示されるように、体毛が伸びている方向と直交する２方向から肌画像を撮影することが望ましい。なぜなら、一方の肌画像において体毛によって隠蔽された肌領域が、他方の肌画像において体毛により隠蔽されずに写る確率（もしくは面積）が高くなるからである。

しかしながら、体毛の方向は一様でなく様々であるため、必ずしも体毛が伸びている方向と直交する２方向から肌画像を撮影できるとは限らない。例えば、図１７に示されるように、撮影装置１２１−１および撮影装置１２１−２により体毛ＢＨ１１が伸びている方向と平行で、かつ対向する２方向から撮影する場合がある。この場合、２つの撮影装置から見て、体毛ＢＨ１１により隠蔽される肌領域が重なる。すなわち、撮影装置１２１−１により得られる画像ＤＬ１１の体毛領域ＡＬ１１により隠蔽される肌領域と、撮影装置１２１−２により得られる画像ＤＲ１１の体毛領域ＡＲ１１により隠蔽される肌領域が重なる。この場合、差分画像において体毛領域に対応する領域の差分値が小さくなるため、体毛領域を精度良く検出することが困難になる。

そこで、本技術の第３の実施の形態では、３方向以上から肌を撮影するようにして、より精度良く体毛領域を検出できるようにするものである。

［画像処理システム３０１の構成例］
図１８は、本技術を適用した画像処理システムの第３の実施の形態である画像処理システム３０１の機能の構成例を示すブロック図である。なお、図中、図１と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため適宜省略する。

画像処理システム３０１は、プローブ３１１および画像処理装置３１２を含むように構成される。

プローブ３１１は、図１のプローブ１１１と比較して、設けられている撮影装置１２１の数が異なる。すなわち、プローブ３１１には、ｎ台（ｎは３以上）の撮影装置１２１−１乃至１２１−ｎが設けられている。

撮影装置１２１−１乃至１２１−ｎは、プローブ３１１の所定の位置を人の肌に接触または近接させた状態で、人の肌の同じ領域を異なる方向から撮影できるように、プローブ３１１内に配置される。そして、撮影装置１２１−１乃至１２１−ｎは、それぞれ撮影した肌画像を画像処理装置３１２に供給する。

ここで、撮影装置１２１−１乃至１２１−ｎの配置条件について説明する。

撮影装置１２１−１乃至１２１−ｎは、全てに共通に撮影される領域が存在するように配置される。また、任意の２つの撮影装置１２１は、撮影対象となる人の肌の表面を基準とする光軸中心の方位角または俯角の少なくとも一方が異なるように配置される。これにより、任意の２つの撮影装置１２１により、人の肌の同じ領域を異なる方向から同時に撮影することができる。なお、任意の２つの撮影装置１２１の光軸中心が必ずしも交わる必要はない。

図１９は、３つの撮影装置１２１を用いる場合の理想的な配置の一例を示している。

撮影装置１２１−１と撮影装置１２１−２は、上述した図２と同じ位置に配置されている。撮影装置１２１−３は、光軸中心が人の肌の表面上で撮影装置１２１−１および撮影装置１２１−２の光軸中心と交わり、その交点から見て斜め上方向に配置される。

また、撮影装置１２１−１の光軸中心と撮影装置１２１−３の光軸中心の方位角は９０度異なっている。さらに、撮影装置１２１−２の光軸中心と撮影装置１２１−１の光軸中心とのなす角θ１と、撮影装置１２１−２の光軸中心と撮影装置１２１−３の光軸中心とのなす角θ２が、同じ角度に設定されている。

図１８に戻り、画像処理装置３１２は、図１の画像処理装置１１２と比較して、画像取得部１３１の代わりに画像取得部３３１が設けられ、画像選択部３３２および領域合成部３３３が追加されている点が異なる。

画像取得部３３１は、撮影装置１２１−１乃至１２１−ｎにより撮影された肌画像を取得し、記憶部１３３に記憶させる。また、画像取得部３３１は、肌画像を取得したことを画像選択部３３２に通知する。

画像選択部３３２は、記憶部１３３に記憶されている肌画像のうち２つを処理対象の画像として選択し、体毛領域検出部１３２に供給する。また、画像選択部３３２は、全ての肌画像の体毛領域の検出が終了した場合、その旨を領域合成部３３３に通知する。

体毛領域検出部１３２は、画像選択部３３２により選択された肌画像内の体毛領域を検出し、検出結果を示す情報を領域合成部３３３に供給する。

領域合成部３３３は、記憶部１３３に記憶されている肌画像の中から、最終的に体毛領域を検出する対象とする肌画像（以下、検出対象画像と称する）を１つ選択する。また、領域合成部３３３は、検出対象画像以外の各肌画像において検出された体毛領域を、検出対象画像の座標系に射影した体毛領域を算出する。さらに、領域合成部３３３は、検出対象画像における体毛領域と、各肌画像から検出対象画像の座標系に射影した体毛領域を合成することにより、最終的な体毛領域を求める。そして、領域合成部３３３は、検出対象画像、並びに、最終的な体毛領域の検出結果を後段に出力する。

［画像処理システム３０１による画像処理］
次に、図２０のフローチャートを参照して、画像処理システム３０１により実行される体毛領域検出処理について説明する。

なお、以下、図２１に示されるように、体毛ＢＨ１１が存在する肌の領域を、撮影装置１２１−１により左上から斜め下に見下ろす方向に撮影し、撮影装置１２１−２により右上から斜め下に見下ろす方向に撮影し、撮影装置１２１−３により下方から斜め下に見下ろす方向に撮影する場合の処理を、適宜具体例に挙げて説明する。

ステップＳ２０１において、画像処理システム３０１は、異なる方向から撮影した３以上の肌画像を取得する。具体的には、撮影装置１２１−１乃至１２１−ｎは、それぞれ異なる方向からほぼ同時に人の肌を撮影する。このとき、撮影装置１２１−１乃至１２１−ｎは、例えば、プローブ３１１を肌に接触または近接させた状態で、近距離から肌を接写する。そして、撮影装置１２１−１乃至１２１−ｎは、撮影の結果得られた肌画像を画像取得部３３１に供給する。画像取得部３３１は、取得したｎ個の肌画像を記憶部１３３に記憶させる。また、画像取得部３３１は、肌画像を取得したことを画像選択部３３２に通知する。

例えば、図２１に示されるように、撮影装置１２１−１により画像Ｄａを含む肌画像が撮影され、撮影装置１２１−２により画像Ｄｂを含む肌画像が撮影され、撮影装置１２１−３により画像Ｄｃを含む肌画像が撮影される。画像Ｄａ乃至画像Ｄｃは、撮像装置１２１−１乃至撮影装置１２１−３がそれぞれ撮影した肌画像から、同じ肌の領域に対応する部分を抽出したものである。

画像Ｄａ乃至Ｄｃには、それぞれ体毛ＢＨ１１が写った体毛領域Ａａ乃至Ａｃが存在する。そのうち、画像Ｄａにおいて体毛領域Ａａにより隠蔽される肌領域と、画像Ｄｂにおいて体毛領域Ａｂにより隠蔽される肌領域はほぼ同じである。一方、画像Ｄａにおいて体毛領域Ａａにより隠蔽される肌領域と、画像Ｄｃにおいて体毛領域Ａｃにより隠蔽される肌領域はそれぞれ異なる。同様に、画像Ｄｂにおいて体毛領域Ａｂにより隠蔽される肌領域と、画像Ｄｃにおいて体毛領域Ａｃにより隠蔽される肌領域も、それぞれ異なる。

なお、以下、画像Ｄａ乃至Ｄｃに対して処理を行う場合を、適宜具体例として挙げながら説明する。

ステップＳ２０２において、画像選択部３３２は、２つの肌画像を処理対象に選択する。具体的には、画像選択部３３２は、記憶部１３３に記憶されている肌画像の中から、まだ体毛領域を検出していない肌画像を１つ射影先画像として選択する。また、画像選択部３３２は、残りの肌画像のうちの１つを射影元画像として選択する。なお、このとき、過去に選択した肌画像の組み合わせと一致しないように、射影元画像を選択するようにすることが望ましい。そして、画像選択部３３２は、選択した射影元画像および射影先画像を体毛領域検出部１３２の特徴点検出部１５１に供給する。

ステップＳ２０３において、図５のステップＳ２の処理と同様に、選択した射影元画像と射影先画像を用いて、体毛領域検出処理が実行される。そして、射影先画像の体毛領域が検出される。また、体毛領域検出部１３２の領域検出部１５６は、体毛領域の検出結果を示す情報を領域合成部３３３に供給する。

ステップＳ２０４において、画像選択部３３２は、全ての肌画像の体毛領域を検出したか否かを判定する。まだ体毛領域を検出していない肌画像があると判定された場合、処理はステップＳ２０２に戻る。

その後、ステップＳ２０４において、全ての肌画像の体毛領域が検出されたと判定されるまで、ステップＳ２０２乃至Ｓ２０４の処理が繰り返し実行される。これにより、全ての肌画像の体毛領域が検出される。

例えば、図２２に示されるように、画像Ｄａを射影元画像とし、画像Ｄｂを射影先画像とすることにより、画像Ｄｂの体毛領域が検出される。同様に、画像Ｄｂを射影元画像とし、画像Ｄｃを射影先画像とすることにより、画像Ｄｃの体毛領域が検出され、画像Ｄｃを射影元画像とし、画像Ｄａを射影先画像とすることにより、画像Ｄａの体毛領域が検出される。

なお、図２２の画像Ｄａ’、画像Ｄｂ’、画像Ｄｃ’は、画像Ｄａ、画像Ｄｂ、画像Ｄｃの体毛領域の検出結果を示している。また、この例では、画像Ｄａの体毛領域Ａａと画像Ｄｂの体毛領域Ａｂが重なるため、画像Ｄｂの体毛領域が検出されていない。

一方、ステップＳ２０４において、全ての肌画像の体毛領域が検出されたと判定された場合、処理はステップＳ２０５に進む。このとき、画像選択部３３２は、全ての肌画像の体毛領域の検出が終了したことを領域合成部３３３に通知する。

ステップＳ２０５において、領域合成部３３３は、検出した体毛領域を合成する。具体的には、領域合成部３３３は、記憶部１３３に記憶されている肌画像の中から検出対象画像を１つ選択する。そして、領域合成部３３３は、各肌画像を検出対象画像の座標系に射影するホモグラフィ行列を用いて、各肌画像の体毛領域を検出対象画像の座標系に射影した体毛領域を算出する。

なお、各肌画像から検出対象画像の座標系へのホモグラフィ行列は、すでに体毛領域検出処理で用いられ、記憶部１３３に記憶されているものがある場合は、それを用いるようにすればよい。一方、記憶部１３３に記憶されていない場合には、例えば、体毛領域以外の領域における特徴点を用いて、上述した方法によりホモグラフィ行列を算出するようにすればよい。

そして、領域合成部３３３は、検出対象画像における体毛領域と、各肌画像から検出対象画像の座標系に射影した体毛領域を合成（ＯＲ結合）することにより、最終的な体毛領域を求める。すなわち、各肌画像において検出された体毛領域を重ね合わせた領域が、最終的な体毛領域として求められる。

例えば、図２３に示されるように、画像Ｄｂにおいて検出された体毛領域および画像Ｄｃにおいて検出された体毛領域を画像Ｄａの座標系に射影し、各体毛領域を重ね合わせた領域が、最終的な体毛領域として求められる。

そして、領域合成部３３３は、検出対象画像、並びに、最終的な体毛領域の検出結果を後段に出力する。

このようにして、肌画像内の体毛領域をより精度良く検出することができる。

＜４．第４の実施の形態＞
次に、図２４および図２５を参照して、本技術の第４の実施の形態について説明する。なお、本技術の第４の実施の形態は、異なる３方向以上から肌を撮影することにより取得した３以上の肌画像を用いて、肌画像から体毛を除去するようにしたものである。

［画像処理システム４０１の構成例］
図２４は、本技術を適用した画像処理システムの第４の実施の形態である画像処理システム４０１の機能の構成例を示すブロック図である。なお、図中、図１３または図１８と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため適宜省略する。

画像処理システム４０１は、図１３の画像処理システム２０１と比較して、プローブ１１１の代わりに図１８の画像処理システム３０１と同じプローブ３１１が設けられ、画像処理装置２１１の代わりに画像処理装置４１１が設けられている点が異なる。画像処理装置４１１は、画像処理装置２１１と比較して、画像取得部１３１の代わりに図１８の画像処理システム３０１と同じ画像取得部３３１が設けられ、体毛除去部２３１の代わりに体毛除去部４３１が設けられている点が異なる。体毛除去部４３１は、体毛除去部２３１と比較して、除去部２４１の代わりに除去部４４２が設けられ、画像選択部４４１が追加されている点が異なる。

画像選択部４４１は、まず記憶部１３３に記憶されている肌画像のうち２つを処理対象の画像として選択し、体毛領域検出部１３２に供給する。以降、画像選択部４４１は、記憶部１３３に記憶されている未処理の画像のうちの１つと、除去部４４２から供給される体毛除去画像を処理対象の画像として選択し、体毛領域検出部１３２に供給する。また、画像選択部４４１は、全ての肌画像の体毛領域の検出が終了した場合、その旨を除去部４４２に通知する。

除去部４４２は、体毛領域検出部１３２による体毛領域の検出結果に基づいて、肌画像から体毛を除去した体毛除去画像を生成する。除去部４４２は、生成した体毛除去画像を画像選択部４４１に供給したり、後段に出力したりする。

［画像処理システム４０１による画像処理］
次に、図２５のフローチャートを参照して、画像処理システム４０１により実行される体毛除去処理について説明する。

ステップＳ３０１において、図２０のステップＳ２０１の処理と同様に、異なる方向から撮影した３以上の肌画像が取得される。

ステップＳ３０２において、画像選択部４４１は、２つの肌画像を処理対象に選択する。具体的には、画像選択部４４１は、記憶部１３３に記憶されている肌画像の中から、任意の２つの肌画像を選択し、一方を射影元画像とし、他方を射影先画像とする。そして、画像選択部３３２は、選択した射影元画像および射影先画像を体毛領域検出部１３２の特徴点検出部１５１に供給する。

ステップＳ３０３において、図５のステップＳ２の処理と同様に、選択した射影元画像と射影先画像を用いて、体毛領域検出処理が実行される。これにより、射影先画像の体毛領域が検出される。

ステップＳ３０４において、除去部４４２は、図１４のステップＳ１０３の処理と同様に、射影先画像から体毛を除去した画像（体毛除去画像）を生成する。除去部４４２は、生成した体毛除去画像を画像選択部４４１に供給する。

ステップＳ３０５において、画像選択部４４１は、全ての肌画像の処理が終了したか否かを判定する。まだ処理していない肌画像が残っていると判定された場合、処理はステップＳ３０６に進む。

ステップＳ３０６において、画像選択部４４１は、未処理の肌画像のうち１つと、体毛を除去した画像を処理対象に選択する。具体的には、画像選択部４４１は、記憶部１３３に記憶されている未処理の肌画像のうちの１つを射影元画像に選択する。また、画像選択部４４１は、除去部４４２から供給された体毛除去画像を射影先画像に選択する。そして、画像選択部３３２は、選択した射影元画像および射影先画像を体毛領域検出部１３２の特徴点検出部１５１に供給する。

その後、処理はステップＳ３０３に戻り、ステップＳ３０５において、全ての肌画像の処理が終了したと判定されるまで、ステップＳ３０３乃至Ｓ３０６の処理が繰り返し実行される。すなわち、未処理の肌画像のうちの１つを射影元画像とし、新たに生成された体毛除去画像を射影先画像として、射影先画像である体毛除去画像からさらに体毛を除去した体毛除去画像を新たに生成する処理が繰り返し実行される。

一方、ステップＳ３０５において、全ての肌画像の処理が終了したと判定された場合、処理はステップＳ３０７に進む。このとき、画像選択部４４１は、全ての肌画像の処理が終了したことを除去部４４２に通知する。

ステップＳ３０７において、除去部４４２は、体毛を除去した画像を出力する。すなわち、除去部４４２は、現時点で最新の体毛除去画像を後段に出力する。

例えば、図２１の画像Ｄａ乃至Ｄｃを用いて、体毛除去画像を生成する場合について説明する。まず画像Ｄａを射影元画像とし、画像Ｄｂを射影先画像として、画像Ｄｂから体毛を除去した体毛除去画像Ｄｂ’（不図示）が生成される。次に、画像Ｄｃを射影元画像とし、体毛除去画像Ｄｂ’を射影先画像として、体毛除去画像Ｄｂ’からさらに体毛を除去した体毛除去画像Ｄｂ”が生成される。そして、体毛除去画像Ｄｂ”が後段に出力される。

このようにして、より確実に肌画像から体毛を除去することができる。

＜５．第５の実施の形態＞
次に、図２６乃至図２９を参照して、本技術の第５の実施の形態について説明する。なお、本技術の第５の実施の形態は、ミラーを用いて１つの撮影装置で異なる方向から肌を撮影することにより得られた肌画像を用いて、体毛を除去した画像を生成するようにしたものである。

［画像処理システム５０１の構成例］
図２６は、本技術を適用した画像処理システムの第５の実施の形態である画像処理システム５０１の機能の構成例を示すブロック図である。なお、図中、図２４と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため適宜省略する。

画像処理システム５０１は、プローブ５１１および画像処理装置５１２を含むように構成される。

プローブ５１１は、撮影装置５２１およびミラー５２２を含むように構成される。

図２７は、プローブ５１１内を横から見た場合の模式図である。

ミラー５２２は、円錐台の側面を上下逆にした筒状の形状を有し、内面にミラーが設けられている。そして、ミラー５２２の開口５２２Ａ内に撮影対象となる肌の領域が入り、当該領域の周囲をミラー５２２により放射状に囲むように、プローブ５１１を人の肌に接触または近接させた状態で、撮影装置５２１により肌画像が撮影される。

撮影装置５２１は、魚眼レンズ等を用いて画角の広い撮影装置により構成される。そして、撮影装置５２１は、ミラー５２２に映った肌を撮影することにより、開口５２２Ａ内の肌の領域を３６０度に渡って周囲から見た画像を得ることができる。撮影装置５２１は、撮影した肌画像を画像処理装置５１２に供給する。

画像処理装置５１２は、図２４の画像処理装置４１１と比較して、画像取得部３３１の代わりに画像取得部５３１が設けられ、画像切り出し部５３２および幾何歪補正部５３３が設けられている点が異なる。

画像取得部５３１は、撮影装置５２１により撮影された肌画像を取得し、画像切り出し部５３２に供給する。

画像切り出し部５３２は、肌画像内のミラー５２２に映った肌の画像を、所定の間隔および切り出し幅で切り出す。そして、画像切り出し部５３２は、その結果得られた複数の肌画像を幾何歪補正部５３３に供給する。

幾何歪補正部５３３は、画像切り出し部５３２から供給された各肌画像に対して幾何歪補正を施し、補正後の肌画像を記憶部１３３に記憶させる。また、幾何歪補正部５３３は、肌画像を取得したことを体毛除去部４３１の画像選択部４４１に通知する。

［画像処理システム５０１による画像処理］
次に、図２８のフローチャートを参照して、画像処理システム５０１により実行される体毛除去処理について説明する。

ステップＳ４０１において、画像処理システム５０１は、肌画像を取得する。具体的には、撮影装置５２１は、ミラー５２２越しに人の肌を撮影する。このとき、撮影装置５２１は、例えば、プローブ５１１を肌に接触または近接させた状態で、近距離からミラー５２２越しに肌を接写する。そして、撮影装置５２１は、撮影の結果得られた肌画像を画像取得部５３１に供給する。画像取得部５３１は、取得した肌画像を画像切り出し部５３２に供給する。

このとき得られる肌画像には、図２９Ａに示されるように、ミラー５２２に映った肌を撮影することにより、肌の同じ領域を３６０度に渡って周囲から見た輪状（ドーナツ型）の画像（以下、輪状画像と称する）が含まれる。

ステップＳ４０２において、画像切り出し部５３２は、肌画像を切り出す。具体的には、画像切り出し部５３２は、図２９Ｂに示されるように、肌画像内の輪状画像から所定の間隔と切り出し幅で複数の肌画像を切り出す。そして、画像切り出し部５３２は、切り出した複数の肌画像を幾何歪補正部５３３に供給する。

なお、このとき、輪状画像の全ての領域を切り出す必要はない。例えば、輪状画像を適当な間隔で間引いて切り出すようにしてもよいし、輪状画像の一部の範囲から肌画像を切り出すようにしてもよい。また、例えば、画像処理上、隣接する肌画像の領域が一部重なるように肌画像を切り出すようにしてもよい。

ステップＳ４０３において、幾何歪補正部５３３は、肌画像の幾何歪補正を行う。具体的には、幾何歪補正部５３３は、画像切り出し部５３２により切り出された各肌画像に対して、歪曲収差補正、アフィン変換、射影変換等による幾何歪補正を行う。これにより、図２９Ｂに示される肌画像から、図２９Ｃに示される肌の平面画像が生成される。そして、幾何歪補正部５３３は、補正後の肌画像を記憶部１３３に記憶させる。また、幾何歪補正部５３３は、肌画像を取得したことを体毛除去部４３１の画像選択部４４１に通知する。

その後、ステップＳ４０４乃至Ｓ４０９において、図２５のステップＳ３０２乃至Ｓ３０７と同様の処理が行われ、肌画像から体毛を除去した体毛除去画像が生成され、後段に出力される。

このようにして、複数の撮影装置を用いずに、肌画像から体毛を除去した画像を得ることが可能になる。

なお、図１８の画像処理システム３０１にプローブ５１１を適用し、プローブ５１１により撮影された輪状画像を用いて、体毛領域を検出するようにすることも可能である。

また、ミラー５２２を肌領域の周囲を３６０度囲むような形状にする必要はなく、一部のみを囲むような形状にすることも可能である。

＜６．第６の実施の形態＞
次に、図３０乃至図３２を参照して、本技術の第６の実施の形態について説明する。なお、本技術の第６の実施の形態は、MLA（Micro Lens Array）技術を用いて１つの撮影装置で異なる方向から肌を撮影することにより得られた肌画像を用いて、体毛を除去した画像を生成するようにしたものである。

［画像処理システム６０１の構成例］
図３０は、本技術を適用した画像処理システムの第６の実施の形態である画像処理システム６０１の機能の構成例を示すブロック図である。なお、図中、図２６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため適宜省略する。

画像処理システム６０１は、プローブ６１１および画像処理装置６１２を含むように構成される。

プローブ６１１は、MLA技術を採用した撮影装置６２１を含むように構成される。撮影装置６２１は、マイクロレンズが格子状に配置されるとともに、撮像素子が１つのマイクロレンズに対して複数配置されるように格子状に配置されている。

図３１の左側の図は、マイクロレンズと撮像素子の配置例を模式的に示している。

横方向に並べられたマイクロレンズ６５１Ａ乃至６５１Ｄに対して、撮像素子６５２Ａ乃至６５２Ｄおよび撮像素子６５３Ａ乃至６５３Ｄが、それぞれ１つずつ配置されている。また、撮像素子６５２Ａ乃至６５２Ｄは、マイクロレンズ６５１Ａ乃至６５１Ｄに対する相対位置がそれぞれ同じになるように配置されている。また、撮像素子６５３Ａ乃至６５３Ｄは、撮像素子６５２Ａ乃至６５２Ｄとは異なる位置に、マイクロレンズ６５１Ａ乃至６５１Ｄに対する相対位置がそれぞれ同じになるように配置されている。

なお、以下、マイクロレンズ６５１Ａ乃至６５１Ｄを個々に区別する必要がない場合、単にマイクロレンズ６５１と称する。また、以下、撮像素子６５２Ａ乃至６５２Ｄを個々に区別する必要がない場合、単に撮像素子６５２と称し、撮像素子６５３Ａ乃至６５３Ｄを個々に区別する必要がない場合、単に撮像素子６５３と称する。

なお、この図では配置の一部しか示していないが、マイクロレンズ６５１、撮像素子６５２、および、撮像素子６５３は、同様の位置関係で格子状に配置される。

そして、撮影装置６２１は、撮影した肌画像を画像取得部６３１に供給する。

画像取得部６３１は、撮影装置６２１により撮影された肌画像を画像再構成部６３２に供給する。

画像再構成部６３２は、肌画像の各画素を同じグループの撮像素子に対応する画素毎に分けて集約することにより、複数の肌画像を生成する。例えば、図３１の撮像素子６５２のグループに対応する画素を集約した画像Ｄａと、撮像素子６５３のグループに対応する画素を集約した画像Ｄｂとが生成される。そして、画像Ｄａと画像Ｄｂとは、同じ肌の領域を異なる２方向から見た視差のついた画像となる。従って、例えば、体毛ＢＨ２１が存在する肌の領域を撮影したとき、２つの撮影装置により異なる方向から撮影した場合と同様に、画像Ｄａの体毛領域Ａａにより隠蔽される肌領域と、画像Ｄｂの体毛領域Ａｂにより隠蔽される肌領域が異なるようになる。

なお、マイクロレンズに対する撮像素子の相対位置を変えることにより、肌を撮影する方向を変えることができる。また、１つのマイクロレンズに対して配置する撮像素子の数を増やすことにより、肌を撮影する方向を増やすことができる。

そして、画像再構成部６３２は、生成した肌画像を記憶部１３３に記憶させる。また、画像再構成部６３２は、肌画像を取得したことを体毛除去部４３１の画像選択部４４１に通知する。

［画像処理システム６０１による画像処理］
次に、図３２のフローチャートを参照して、画像処理システム６０１により実行される体毛除去処理について説明する。

ステップＳ５０１において、画像処理システム６０１は、肌画像を取得する。具体的には、撮影装置６２１は、人の肌を撮影する。このとき、撮影装置６２１は、例えば、プローブ６１１を肌に接触または近接させた状態で、近距離から肌を接写する。そして、撮影装置６２１は、撮影の結果得られた肌画像を画像取得部６３１に供給する。画像取得部６３１は、取得した肌画像を画像再構成部６３２に供給する。

ステップＳ５０２において、画像再構成部６３２は、肌画像を再構成する。具体的には、画像再構成部６３２は、撮影装置６２１により撮影された肌画像の画素を、撮影された撮像素子のグループ毎に分けて、それぞれ集約することにより、異なる方向から撮影した複数の肌画像を生成する。そして、画像再構成部６３２は、生成した肌画像を記憶部１３３に記憶させる。また、画像再構成部６３２は、肌画像を取得したことを体毛除去部４３１の画像選択部４４１に通知する。

その後、ステップＳ５０３乃至Ｓ５０８において、図２５のステップＳ３０２乃至Ｓ３０７と同様の処理が行われ、肌画像から体毛を除去した画像が生成される。

このようにして、複数の撮影装置を用いずに、肌画像から体毛を除去した画像を得ることが可能になる。

なお、図１８の画像処理システム３０１に、プローブ６１１を適用し、プローブ６１１により撮影された肌画像を用いて、体毛領域を検出するようにすることも可能である。

＜７．第７の実施の形態＞
次に、図３３乃至図３７を参照して、本技術の第７の実施の形態について説明する。なお、本技術の第７の実施の形態は、図３０の画像処理システム６０１に、肌の状態を解析する美容解析の機能を追加したものである。

［画像処理システム７０１の構成例］
図３３は、本技術を適用した画像処理システムの第７の実施の形態である画像処理システム７０１の機能の構成例を示すブロック図である。なお、図中、図３０と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため適宜省略する。

画像処理システム７０１は、図３０の画像処理システム６０１と比較して、画像処理装置６１２の代わりに画像処理装置７１１が設けられ、表示装置７１２が追加されている点が異なる。画像処理装置７１１は、画像処理装置６１２と比較して、美容解析部７３１が追加されている点が異なる。

美容解析部７３１は、体毛除去部４３１から供給される体毛除去画像に基づいて、人の肌の状態を解析する。美容解析部７３１は、解析結果を示す情報を表示装置７１２に供給する。

表示装置７１２は、人の肌の状態の解析結果を表示する。

［美容解析部７３１の構成例］
図３４は、美容解析部７３１の機能の構成例を示すブロック図である。なお、ここでは、美容解析部７３１が、人の肌のキメの状態を解析する場合の構成例を示している。美容解析部７３１は、周辺光量補正部７５１、ぼかし処理部７５２、色変換部７５３、２値化処理部７５４、皮丘検出部７５５、キメ解析部７５６、および、提示制御部７５７を含むように構成される。

周辺光量補正部７５１は、体毛除去画像の周辺光量を補正し、補正後の体毛除去画像をぼかし処理部７５２に供給する。

ぼかし処理部７５２は、体毛除去画像に対してぼかし処理を行い、ぼかし処理を行った体毛除去画像を色変換部７５３に供給する。

色変換部７５３は、体毛除去画像の色変換を行い、色変換後の体毛除去画像を２値化処理部７５４に供給する。

２値化処理部７５４は、体毛除去画像に対して２値化処理を行い、生成した２値化画像を皮丘検出部７５５に供給する。

皮丘検出部７５５は、２値化画像に基づいて、肌画像（体毛除去画像）内の各皮丘の面積を検出し、皮丘の面積の分布を示すヒストグラムを生成する。皮丘検出部７５５は、生成したヒストグラムを示す情報をキメ解析部７５６に供給する。

キメ解析部７５６は、皮丘の面積の分布を示すヒストグラムに基づいて、肌のキメの状態を解析し、解析結果を提示制御部７５７に供給する。

提示制御部７５７は、肌のキメの状態の解析結果を表示装置７１２に提示させる。

［画像処理システム７０１による美容解析処理］
次に、図３５のフローチャートを参照して、画像処理システム７０１により実行される美容解析処理について説明する。

ステップＳ６０１において、図３２を参照して上述した体毛除去処理が行われる。これにより、肌画像から体毛が除去された体毛除去画像が生成され、生成された体毛除去画像が、体毛除去部４３１から美容解析部７３１の周辺光量補正部７５１に供給される。例えば、図３６に示されるように、体毛ＢＨ３１が写っている画像Ｄ３１から体毛ＢＨ３１を除去した画像Ｄ３１ａが生成され、周辺光量補正部７５１に供給される。

ステップＳ６０２において、周辺光量補正部７５１は、体毛除去画像の周辺光量を補正する。周辺光量補正部７５１は、補正後の体毛除去画像をぼかし処理部７５２に供給する。

ステップＳ６０３において、ぼかし処理部７５２は、体毛除去画像に対してぼかし処理を行う。ぼかし処理部７５２は、ぼかし処理を行った体毛除去画像を色変換部７５３に供給する。

ステップＳ６０４において、色変換部７５３は、色変換を行う。例えば、色変換部７５３は、体毛除去画像の色空間を、輝度と色差を分離するL*a*b*表色系やＨＳＶ空間などの所定の色空間に変換する。色変換部７５３は、色変換後の体毛除去画像を２値化処理部７５４に供給する。

ステップＳ６０５において、２値化処理部７５４は、２値化処理を行う。例えば、L*a*b*表色系やＨＳＶ空間に体毛除去画像の色空間が変換されている場合には、２値化処理部７５４は、予め設定されている閾値に基づいて、明度が閾値以上の画素と閾値未満の画素との２階調の白黒の２値化画像に体毛除去画像を変換する。２値化処理部７５４は、生成した２値化画像を皮丘検出部７５５に供給する。

例えば、図３６に示されるように、このステップＳ６０２乃至Ｓ６０５の処理により、画像Ｄ３１ａから２値化画像Ｄ３１ｂが生成される。

なお、肌画像の色変換を行わずに、ＲＧＢの肌画像の１色（Ｒ、ＧまたはＢ）のみを用いて２値化処理を行うようにしてもよい。

ステップＳ６０６において、皮丘検出部７５５は、皮丘の面積の分布を検出する。具体的には、皮丘検出部７５５は、２値化画像において、黒の画素により囲まれた白の画素の領域を、皮溝に囲まれた皮丘の領域として認識し、各皮丘の面積を検出する。さらに、皮丘検出部７５５は、検出した皮丘の面積の分布を示すヒストグラムを生成する。そして、皮丘検出部７５５は、生成したヒストグラムを示す情報をキメ解析部７５６に供給する。

これにより、例えば、図３６に示されるように、２値化画像Ｄ３１ｂに基づいて、横軸を皮丘の面積に基づく階級とし、縦軸を度数とするヒストグラムが生成される。

ステップＳ６０７において、キメ解析部７５６は、皮丘の面積の分布に基づいて、肌のキメの状態を解析する。例えば、キメ解析部７５６は、ヒストグラムの度数の偏りに基づいて、キメが整った肌であるか否かを判定する。例えば、キメ解析部７５６は、ヒストグラムの度数が特定の階級（面積）に大きく偏っている場合、キメが整った肌であると判定する。また、例えば、キメ解析部７５６は、ヒストグラムの度数が大きくなる階級（面積）に基づいて、キメの細かさを解析する。例えば、キメ解析部７５６は、度数がピークとなる階級の面積が小さい場合、キメの細かい肌であると判定する。そして、キメ解析部７５６は、解析結果を提示制御部７５７に供給する。

ステップＳ６０８において、表示装置７１２は、解析結果を表示する。具体的には、提示制御部７５７は、肌のキメの状態の解析結果を提示するためのデータを生成し、表示装置７１２に供給する。表示装置７１２は、取得したデータに基づいて、肌のキメの状態の解析結果を示す画像を表示することにより、解析結果をユーザに提示する。

その後、美容解析処理は終了する。

なお、図３７は、画像Ｄ３１から体毛ＢＨ３１を除去せずに、美容解析を行った場合の例を示している。この場合、画像Ｄ３１から直接生成された２値化画像Ｄ３１ｂ’において、体毛ＢＨ３１が除去されないため、皮丘の面積が正確に検出されなくなる。より具体的には、体毛ＢＨ３１により皮丘が細分化されるため、通常より小さい面積の皮丘が検出されたり、皮丘の数が多く検出されたりする。従って、皮丘の面積の分布を示すヒストグラムにおいて、通常存在しない面積に対応する階級の度数が増加したり、度数の分布が不均一になったりする。従って、肌のキメの状態の解析精度が低下する。

これに対して、上述したように肌画像から体毛を除去した画像を用いて美容解析を行うことにより、肌のキメの状態の解析精度が向上する。

＜８．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。

［変形例１：システム構成の変形例］
例えば、差分画像を記憶する代わりに各差分画像の差分値の合計を記憶し、体毛領域を検出する際に、差分値が最小となる差分画像に対応するホモグラフィ行列を用いて、差分画像を再生成するようにしてもよい。これにより、記憶部１３３の容量を削減することができる。

さらに、例えば、ホモグラフィ行列も記憶せずに、体毛領域を検出する際に、差分値が最小となる差分画像の生成過程で用いた特徴点のペアに基づいてホモグラフィ行列を再計算し、再計算したホモグラフィ行列を用いて、差分画像を再生成するようにしてもよい。

また、例えば、射影先画像から体毛を除去する場合に、射影元画像から画素単位で射影するのではなく、ホモグラフィ行列を用いて、所定の面積の領域単位で画素を射影して、体毛を除去することも可能である。なお、この場合、撮影方向の違いによる画像の歪みを補正してから射影するようにすることが望ましい。

さらに、以上の説明では、射影元画像の画素を射影先画像に射影することにより射影先画像から体毛を除去する例を示した。一方、逆に、射影先画像から射影元画像の座標系に射影するホモグラフィ行列を算出し、射影先画像の体毛領域以外の画素を射影元画像に射影することにより射影元画像から体毛を除去するようにすることも可能である。すなわち、射影元画像において、射影先画像の体毛領域に対応する領域以外の画素を射影先画像の対応する画素に置き換えることにより、射影元画像から体毛を除去した体毛除去画像を生成することが可能である。

あるいは、射影先画像の非体毛領域の画素を射影元画像に射影することにより射影元画像から体毛を除去するようにすることも可能である。すなわち、射影元画像において、射影先画像の非体毛領域に対応する領域（射影元画像の体毛領域）の画素を射影先画像の対応する画素（非体毛領域の画素）に置き換えることにより、射影元画像から体毛を除去した体毛除去画像が生成することが可能である。

なお、例えば、上述した図２または図１９の撮影装置１２１−２のように肌の真上から撮影する撮影装置が設けられている場合、歪みが少ない画像を最終的に得るために、その撮影装置により撮影された肌画像から体毛を除去するようにするのが望ましい。

また、例えば、図１３および図２４の体毛領域検出部１３２において、上述した手法と異なる任意の手法により、複数の肌画像を用いて体毛領域を検出するようにすることが可能である。この場合、体毛領域を検出した後、上述したように各画像間のホモグラフィ行列を算出し、算出したホモグラフィ行列を用いて画像間で画素の射影を行うことにより、肌画像から体毛を除去するようにすればよい。

さらに、例えば、プローブを肌に密着させることにより、撮影装置と肌の位置関係がほとんど変化しない場合、特徴点の抽出やホモグラフィ行列の算出処理を省略して、予め求めたホモグラフィ行列を用いて射影変換を行うようにしてもよい。

この場合、例えば、プローブを肌に押し当てる力により撮影装置と肌の間の距離等が変化し、ホモグラフィ行列の誤差が生じることが想定される。これに対して、圧力センサ等によりプローブが肌を押下する力を測定し、一定の圧力を保持するようにプローブを制御したり、ユーザに警告したりすることが考えられる。また、例えば、肌画像の解像度を落として処理することにより、ホモグラフィ行列の誤差の影響を減らすようにしてもよい。

また、以上の説明では、４つの特徴点のペアの組み合わせを複数用いて、複数の差分画像を生成してから、最も差分値が小さい差分画像を用いて、体毛領域を検出する例を示した。一方、例えば、処理速度を重視する場合、４つの特徴点のペアの組み合わせを１つ用いて、１つの差分画像のみを生成して、体毛領域を検出するようにしてもよい。あるいは、例えば、検出精度を重視する場合、４つの特徴点のペアの組み合わせを全て用いて、最大限の差分画像を生成してから、最も差分値が小さい差分画像を用いて、体毛領域を検出するようにしてもよい。

さらに、以上の説明では、ホモグラフィ行列を用いて射影変換する例を示したが、他の射影行列や他の方法を用いて射影変換するようにしてもよい。例えば、特開２００９−２５８８６８号公報に記載されたアフィン変換を拡張した方法を用いて、射影変換を行うことが可能である。

［変形例２：体毛領域の検出結果の適用例］
以上の説明では、体毛領域の検出結果に基づいて、肌画像から体毛を除去する例を示したが、体毛領域の検出結果を他の用途に適用することが可能である。

例えば、体毛領域を１、その他の肌領域を０とした体毛領域のマスキング画像を生成することが可能である。

また、例えば、肌画像の体毛領域の色を変えた画像を生成することが可能である。

さらに、例えば、体毛領域の検出結果に基づいて体毛の量を検出することが可能である。例えば、肌画像に占める体毛領域の面積の割合に基づいて、毛深さの度合い等を求めることが可能である。

また、例えば、検出された体毛領域の形状、長さ、太さ等に基づいて、毛質診断（傷んでいる、カサついている等）を行うことが可能である。

また、以上の説明では、体毛除去画像を用いた美容解析処理として、肌のキメの状態を解析する例を示したが、美容解析の対象は、肌画像を用いて解析できるものであれば、特に限定されるものではない。例えば、体毛除去画像を用いて、キメ以外の肌の形状（例えば、シワなど）や、肌の色合い（例えば、赤み、くすみ、メラニン量など）等を解析することが可能である。また、例えば、体毛除去画像を用いて、肌の健康状態（例えば、湿疹、かぶれ等）を解析することも可能である。

［変形例３：検出対象の変形例］
本技術において、検出対象は体毛に限定されるものではない。例えば、検出対象の少なくとも一部が背景より手前（撮影装置側）に存在し、背景の少なくとも一部が重なるように異なる方向から検出対象を撮影した複数の画像において、検出対象により隠蔽される背景の領域が異なる場合に、本技術を用いて、検出対象が写っている領域を検出することができる。なお、上述した一連の実施の形態では、検出対象が体毛となり、背景が肌となる例が示されている。

例えば、図３８に示されるように、検出対象が人８１２であり、背景が風景である場合にも本技術を適用することができる。具体的には、例えば、撮影装置８１１Ｌと撮影装置８１１Ｒにより、背景である風景の少なくとも一部が重なるように、異なる方向から人８１２を撮影する。画像ＤＬ５１は撮影装置８１１Ｌにより撮影された画像であり、画像ＤＲ５１は撮影装置８１１Ｒにより撮影された画像である。

次に、画像ＤＬ５１を射影元画像とし画像ＤＲ５１を射影先画像として、上述した処理により差分画像ＤＳ５１が生成される。この差分画像ＤＳ５１において、画像ＤＬ５１において人８１２が写っている領域ＡＬ５１に対応する領域ＡＬ５２および画像ＤＲ５１において人８１２が写っている領域ＡＲ５１に対応する領域ＡＲ５２における差分値が大きくなる。従って、領域ＡＬ５２および領域ＡＲ５２からなる領域が検出対象候補領域として検出される。そして、検出対象候補領域が、射影先画像である画像ＤＲ５１において実際に人８１２が写っている領域（以下、検出対象領域と称する）と、それ以外の領域（以下、非検出対象領域と称する）とに分離される。

なお、この場合、体毛を検出する場合と比べて、検出対象である人８１２も背景である風景も色数が多い。また、検出対象候補領域も、検出対象領域と非検出対象領域の２つの領域に分離されて検出される。そこで、体毛を検出する場合と異なる方法により、検出対象領域と非検出対象領域が分離される。

例えば、図３９に示されるように、射影先画像である画像ＤＲ５１において、差分画像ＤＳ５１の領域ＡＲ５２に対応し、実際に人８１２が写っている領域ＡＲ５３内の画像は周囲の領域の画像と大きく異なる。一方、画像ＤＲ５１において、差分画像ＤＳ５１の領域ＡＬ５２に対応する領域ＡＬ５３内の画像は周囲の領域の画像とよく似ている。例えば、この性質を利用して、２つの領域が分離される。なお、領域ＡＲ５３および領域ＡＬ５３は、実際にはそれぞれ領域ＡＲ５１および領域ＡＬ５１とほぼ同じ形状の領域となるが、ここでは、説明を分かりやすくするために簡略化して矩形の領域として示している。

具体的には、図４０に示されるように、領域ＡＲ５３内、領域ＡＬ５３内、並びに、２つの領域の周辺の領域において小領域がいくつか設定され、各小領域内の画素の特徴量の分布を示すヒストグラムが生成される。なお、ここで用いる画素の特徴量としては、例えば、輝度、色信号、周辺の周波数情報等を用いることができる。また、それらの特徴量を単独で用いるようにしてもよいし、複数を組み合わせて用いるようにしてもよい。

また、各小領域の形状および面積は任意に設定することができる。例えば、各小領域の形状は矩形でも楕円でもよく、面積が異なっていてもよい。なお、各小領域の面積が異なる場合、度数の合計が等しく１になるように、各小領域のヒストグラムが正規化される。また、各小領域間で重なりがあってもよい。ただし、検出対象候補領域の周辺の小領域は、検出対象候補領域に重ならず、かつ、検出対象候補領域のできるだけ近くに設定するようにすることが望ましい。

次に、検出対象候補領域内の小領域とその周囲の小領域との間で、ヒストグラムの類似度が算出される。なお、ヒストグラムの類似度を示すヒストグラム類似度指標には、Bhattacharyya係数、Cos類似度、ピアソンの相関係数、ベクトル間距離（Euclid距離等）等の指標を用いることが可能である。また、これらの指標を単独で用いるようにしてもよいし、複数を組み合わせて用いるようにしてもよい。

そして、ヒストグラム類似度指標と所定の閾値に基づいて、ヒストグラムが類似するか否かが判定される。そして、検出対象候補領域を構成する２つの領域のうち、周辺の小領域とヒストグラムが類似する小領域を多く持つ領域が非検出対象領域とされ、もう一方の領域が検出対象領域とされる。例えば、図４０の例では、領域ＡＬ５３が非検出対象領域とされ、領域ＡＲ５３が検出対象領域とされる。

なお、この場合、検出対象である人８１２の面積が大きく、撮影装置８１１Ｌ，８１１Ｒから人８１２までの距離も長くなる。従って、画像ＤＬ５１の領域ＡＬ５１により隠蔽される背景の領域と、画像ＤＲ５１の領域ＡＲ５１により隠蔽される背景の領域とが重なり、差分画像ＤＳ５１の領域ＡＲ５２と領域ＡＲ５２が重なるのを防止するために、撮影装置８１１Ｌと撮影装置８１１Ｒの間の距離を十分離す必要がある。

一方、実際に撮影装置８１１Ｌと撮影装置８１１Ｒを必要な距離だけ離して設置するのが困難である場合、例えば、撮影者が互いに離れた２地点間を移動して撮影するようにしてもよい。なお、これは、検出対象が建築物等の動かない物体である場合に特に有効である。

また、複数の撮影者が各地点から検出対象を撮影した複数の画像を用いるようにしてもよい。この場合、SNS（Social Network Service）やクラウドサービス等のネットワークを利用したサービスを用いて、各地点で撮影された画像を共有することが可能である。

なお、各地点での撮影日時や日照条件等の撮影条件が異なり、各画像の写り映えが異なる場合、画像間の写り映えを合わせるように事前に各画像を修正してから、検出対象の検出処理を行うようにすることが望ましい。

また、検出対象によっては、検出対象を除去するのではなく、検出対象を残し、背景を除去するようなアプリケーションが考えられる。

例えば、検出対象が体毛である場合、体毛を抽出したサンプル画像を生成することが可能である。例えば、部位ごとに肌画像から体毛だけを抽出した画像を生成し、腕の毛、足の毛、髪の毛等を比較することが可能である。

また、例えば、図４１に示されるように、画像Ｄ１０１から検出対象である人８３１を検出した後、画像Ｄ１０１から人８３１以外の背景を除去し、さらに文字等を追加して絵葉書Ｄ１０２を作成するようなアプリケーションが考えられる。

さらに、例えば、画像Ｄ１１１から検出対象である人８４１,８４２を検出し、画像Ｄ１１１から人８４１,８４２以外の背景を除去した画像Ｄ１１２を生成し、画像Ｄ１１２に別の背景を追加することにより、画像Ｄ１１３を作成するアプリケーションが考えられる。

［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、例えば、本技術は以下のような構成も取ることができる。

（１）
検出対象を撮影した画像において前記検出対象が写っている領域を検出する検出対象領域検出部を備え、
前記検出対象領域検出部は、
前記検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、
前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、
前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける領域検出部と
を備える画像処理装置。
（２）
前記検出対象を撮影した画像から前記検出対象を除去する検出対象除去部を
さらに備え、
前記検出対象除去部は、
前記検出対象領域検出部と、
前記検出対象領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記検出対象が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記検出対象を除去する除去部と
を備える前記（１）のいずれかに記載の画像処理装置。
（３）
前記除去部は、少なくとも前記第２の画像の前記検出対象領域に対応する前記第１の画像の領域内の画素を前記第２の画像に射影し、置き換えることにより、前記第２の画像から前記検出対象を除去する
前記（２）に記載の画像処理装置。
（４）
前記除去部は、少なくとも前記第２の画像の前記非検出対象領域内の画素を前記第１の画像に射影し、置き換えることにより、前記第１の画像から前記検出対象を除去する
前記（２）に記載の画像処理装置。
（５）
前記検出対象除去部は、それぞれ異なる方向から前記検出対象を撮影した３以上の画像から２つの画像を選択し、選択した２つの画像を用いて、前記検出対象を除去した画像を新たに生成した後、残りの画像がなくなるまで、新たに生成した画像と残りの画像のうちの１つを用いて、前記検出対象を除去した画像を新たに生成する処理を繰り返す
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記検出対象領域検出部は、
前記第１の画像の特徴点および前記第２の画像の特徴点を抽出する特徴点抽出部と、
前記第１の画像の特徴点と前記第２の画像の特徴点とを対応付ける対応付け部と、
前記対応付け部により対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点のペアの少なくとも一部に基づいて、前記第１の画像を前記第２の画像の座標系に射影する射影行列を算出する射影行列算出部と
をさらに備え、
前記射影変換部は、前記射影行列を用いて前記射影画像を生成する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記射影行列算出部は、複数の前記特徴点のペアの組み合わせに基づいて、複数の前記射影行列を算出し、
前記射影変換部は、複数の前記射影行列をそれぞれ用いて複数の前記射影画像を生成し、
前記差分画像生成部は、前記第２の画像と複数の前記射影画像のそれぞれとの間の複数の前記差分画像を生成し、
前記領域検出部は、複数の前記差分画像のうち前記第２の画像との差が最小となる前記差分画像を用いて前記候補領域を検出する
前記（６）に記載の画像処理装置。
（８）
前記領域検出部は、前記候補領域に対応する前記第２の画像の領域内の画像を周囲の画像と比較することにより、前記検出対象領域と前記非検出対象領域を分ける
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記検出対象領域検出部は、それぞれ異なる方向から前記検出対象を撮影した３以上の各画像における前記検出対象領域を検出し、
３以上の前記画像の中から選択した画像における前記検出対象領域と、残りの画像の前記検出対象領域を前記選択した画像の座標系に射影した領域とを合成する領域合成部を
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
画像処理装置が、
検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成し、
前記第２の画像と前記射影画像との間の差分画像を生成し、
前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、
前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける
ステップを含む画像処理方法。
（１１）
検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成し、
前記第２の画像と前記射影画像との間の差分画像を生成し、
前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、
前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける
ステップを含む処理をコンピュータに実行させるためのプログラム。
（１２）
検出対象を撮影する撮影部と、
前記撮影部により撮影した画像において前記検出対象が写っている領域を検出する検出対象領域検出部と
を備え、
前記検出対象領域検出部は、
前記撮影部により前記検出対象を撮影した第１の画像を、前記撮影部により前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、
前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、
前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける領域検出部と
（１３）
前記撮影部により前記検出対象を撮影した画像から前記検出対象を除去する検出対象除去部を
さらに備え、
前記検出対象除去部は、
前記検出対象領域検出部と、
前記検出対象領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記検出対象が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記検出対象を除去する除去部と
を備える前記（１２）に記載の画像処理システム。
（１４）
前記検出対象除去部は、前記撮影部によりそれぞれ異なる方向から前記検出対象を撮影した３以上の画像から２つの画像を選択し、選択した２つの画像を用いて、前記検出対象を除去した画像を新たに生成した後、残りの画像がなくなるまで、新たに生成した画像と残りの画像のうちの１つを用いて、前記検出対象を除去した画像を新たに生成する処理を繰り返す
前記（１３）に記載の画像処理システム。
を備える画像処理システム。
（１５）
前記検出対象領域検出部は、
前記第１の画像の特徴点および前記第２の画像の特徴点を抽出する特徴点抽出部と、
前記第１の画像の特徴点と前記第２の画像の特徴点とを対応付ける対応付け部と、
前記対応付け部により対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点のペアの少なくとも一部に基づいて、前記第１の画像を前記第２の画像の座標系に射影する射影行列を算出する射影行列算出部と
をさらに備え、
前記射影変換部は、前記射影行列を用いて前記射影画像を生成する
前記（１２）乃至（１４）のいずれかに記載の画像処理システム。
（１６）
前記検出対象領域検出部は、前記撮影部によりそれぞれ異なる方向から前記検出対象を撮影した３以上の各画像における前記検出対象領域を検出し、
３以上の前記画像の中から選択した画像における前記検出対象領域と、残りの画像の前記検出対象領域を前記選択した画像の座標系に射影した領域とを合成する領域合成部を
さらに備える前記（１２）乃至（１５）に記載の画像処理システム。
（１７）
前記撮影部は、
２次元に配置された複数のレンズと、
複数の撮像素子と
を備え、各前記レンズに対する相対位置がそれぞれ同じになるように、１つの前記レンズに対して複数の前記撮像素子が配置されており、
前記レンズに対する相対位置が同じ前記撮像素子によりそれぞれ撮影された複数の画像を生成する画像生成部を
さらに備える前記（１２）乃至（１６）のいずれかに記載の画像処理システム。
（１８）
前記撮影部は、前記検出対象を含む領域の周囲の少なくとも一部を放射状に囲むミラーに映った像を撮影し、
前記撮影部により前記ミラーに映った像を撮影した画像から複数の画像を切り出す画像切り出し部と、
切り出された複数の画像に対して幾何歪補正を行う幾何歪補正部と
さらに備える前記（１２）乃至（１６）のいずれかに記載の画像処理システム。
（１９）
前記第１の画像および前記第２の画像は、前記撮影部により前記検出対象を接写した画像である
前記（１２）乃至（１８）のいずれかに記載の画像処理システム。
（２０）
体毛を撮影した第１の画像を、前記第１の画像と異なる方向から前記体毛を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、
前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、
前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記体毛が写っている体毛領域とそれ以外の非体毛領域に分ける領域検出部と、
前記領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記体毛が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記体毛を除去する除去部と
を備える画像処理装置。

１０１ 画像処理システム， １１１ プローブ, １１２ 画像処理装置, １２１−１乃至１２１−ｎ 撮影装置, １３１ 画像取得部, １３２ 体毛領域検出部, １５１ 特徴点抽出部, １５２ 対応付け部, １５３ ホモグラフィ行列算出部, １５４ 射影変換部, １５５ 差分画像生成部, １５６ 領域検出部, ２０１ 画像処理システム, ２３１ 体毛除去部, ２４１ 除去部, ３０１ 画像処理システム, ３１１ プローブ, ３１２ 画像処理装置, ３３１ 画像取得部, ３３２ 画像選択部, ３３３ 領域検出部, ４０１ 画像処理システム, ４１１ 画像処理装置, ４３１ 体毛除去部, ４４１ 画像選択部, ４４２ 除去部, ５０１ 画像処理システム, ５１１ プローブ, ５１２ 画像処理装置, ５２１ 撮影装置, ５２２ ミラー, ５３１ 画像取得部, ５３２ 画像切り出し部, ５３３ 幾何歪補正部, ６０１ 画像処理システム, ６１１ プローブ, ６１２ 画像処理装置, ６２１ 撮影装置, ６３１ 画像取得部, ６３２ 画像再構成部, ６５１Ａ乃至６５１Ｄ マイクロレンズ, ６５２Ａ乃至６５２Ｄ,６５３Ａ乃至６５３Ｄ 撮像素子, ７０１ 画像処理システム, ７１１ 画像処理装置, ７３１ 美容解析部

Claims (20)

1. 検出対象を撮影した画像において前記検出対象が写っている領域を検出する検出対象領域検出部を備え、
   前記検出対象領域検出部は、
   前記検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、
   前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、
   前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける領域検出部と
   を備える画像処理装置。
2. 前記検出対象を撮影した画像から前記検出対象を除去する検出対象除去部を
   さらに備え、
   前記検出対象除去部は、
   前記検出対象領域検出部と、
   前記検出対象領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記検出対象が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記検出対象を除去する除去部と
   を備える請求項１に記載の画像処理装置。
3. 前記除去部は、少なくとも前記第２の画像の前記検出対象領域に対応する前記第１の画像の領域内の画素を前記第２の画像に射影し、置き換えることにより、前記第２の画像から前記検出対象を除去する
   請求項２に記載の画像処理装置。
4. 前記除去部は、少なくとも前記第２の画像の前記非検出対象領域内の画素を前記第１の画像に射影し、置き換えることにより、前記第１の画像から前記検出対象を除去する
   請求項２に記載の画像処理装置。
5. 前記検出対象除去部は、それぞれ異なる方向から前記検出対象を撮影した３以上の画像から２つの画像を選択し、選択した２つの画像を用いて、前記検出対象を除去した画像を新たに生成した後、残りの画像がなくなるまで、新たに生成した画像と残りの画像のうちの１つを用いて、前記検出対象を除去した画像を新たに生成する処理を繰り返す
   請求項２に記載の画像処理装置。
6. 前記検出対象領域検出部は、
   前記第１の画像の特徴点および前記第２の画像の特徴点を抽出する特徴点抽出部と、
   前記第１の画像の特徴点と前記第２の画像の特徴点とを対応付ける対応付け部と、
   前記対応付け部により対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点のペアの少なくとも一部に基づいて、前記第１の画像を前記第２の画像の座標系に射影する射影行列を算出する射影行列算出部と
   をさらに備え、
   前記射影変換部は、前記射影行列を用いて前記射影画像を生成する
   請求項１に記載の画像処理装置。
7. 前記射影行列算出部は、複数の前記特徴点のペアの組み合わせに基づいて、複数の前記射影行列を算出し、
   前記射影変換部は、複数の前記射影行列をそれぞれ用いて複数の前記射影画像を生成し、
   前記差分画像生成部は、前記第２の画像と複数の前記射影画像のそれぞれとの間の複数の前記差分画像を生成し、
   前記領域検出部は、複数の前記差分画像のうち前記第２の画像との差が最小となる前記差分画像を用いて前記候補領域を検出する
   請求項６に記載の画像処理装置。
8. 前記領域検出部は、前記候補領域に対応する前記第２の画像の領域内の画像を周囲の画像と比較することにより、前記検出対象領域と前記非検出対象領域を分ける
   請求項１に記載の画像処理装置。
9. 前記検出対象領域検出部は、それぞれ異なる方向から前記検出対象を撮影した３以上の各画像における前記検出対象領域を検出し、
   ３以上の前記画像の中から選択した画像における前記検出対象領域と、残りの画像の前記検出対象領域を前記選択した画像の座標系に射影した領域とを合成する領域合成部を
   さらに備える請求項１に記載の画像処理装置。
10. 画像処理装置が、
    検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成し、
    前記第２の画像と前記射影画像との間の差分画像を生成し、
    前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、
    前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける
    ステップを含む画像処理方法。
11. 検出対象を撮影した第１の画像を、前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成し、
    前記第２の画像と前記射影画像との間の差分画像を生成し、
    前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、
    前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける
    ステップを含む処理をコンピュータに実行させるためのプログラム。
12. 検出対象を撮影する撮影部と、
    前記撮影部により撮影した画像において前記検出対象が写っている検出対象領域を検出する検出対象領域検出部と
    を備え、
    前記検出対象領域検出部は、
    前記撮影部により前記検出対象を撮影した第１の画像を、前記撮影部により前記第１の画像と異なる方向から前記検出対象を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、
    前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、
    前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記検出対象が写っている検出対象領域とそれ以外の非検出対象領域に分ける領域検出部と
    を備える画像処理システム。
13. 前記撮影部により前記検出対象を撮影した画像から前記検出対象を除去する検出対象除去部を
    さらに備え、
    前記検出対象除去部は、
    前記検出対象領域検出部と、
    前記検出対象領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記検出対象が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記検出対象を除去する除去部と
    を備える請求項１２に記載の画像処理システム。
14. 前記検出対象除去部は、前記撮影部によりそれぞれ異なる方向から前記検出対象を撮影した３以上の画像から２つの画像を選択し、選択した２つの画像を用いて、前記検出対象を除去した画像を新たに生成した後、残りの画像がなくなるまで、新たに生成した画像と残りの画像のうちの１つを用いて、前記検出対象を除去した画像を新たに生成する処理を繰り返す
    請求項１３に記載の画像処理システム。
15. 前記検出対象領域検出部は、
    前記第１の画像の特徴点および前記第２の画像の特徴点を抽出する特徴点抽出部と、
    前記第１の画像の特徴点と前記第２の画像の特徴点とを対応付ける対応付け部と、
    前記対応付け部により対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点のペアの少なくとも一部に基づいて、前記第１の画像を前記第２の画像の座標系に射影する射影行列を算出する射影行列算出部と
    をさらに備え、
    前記射影変換部は、前記射影行列を用いて前記射影画像を生成する
    請求項１２に記載の画像処理システム。
16. 前記検出対象領域検出部は、前記撮影部によりそれぞれ異なる方向から前記検出対象を撮影した３以上の各画像における前記検出対象領域を検出し、
    ３以上の前記画像の中から選択した画像における前記検出対象領域と、残りの画像の前記検出対象領域を前記選択した画像の座標系に射影した領域とを合成する領域合成部を
    さらに備える請求項１２に記載の画像処理システム。
17. 前記撮影部は、
    ２次元に配置された複数のレンズと、
    複数の撮像素子と
    を備え、各前記レンズに対する相対位置がそれぞれ同じになるように、１つの前記レンズに対して複数の前記撮像素子が配置されており、
    前記レンズに対する相対位置が同じ前記撮像素子によりそれぞれ撮影された複数の画像を生成する画像生成部を
    さらに備える請求項１２に記載の画像処理システム。
18. 前記撮影部は、前記検出対象を含む領域の周囲の少なくとも一部を放射状に囲むミラーに映った像を撮影し、
    前記撮影部により前記ミラーに映った像を撮影した画像から複数の画像を切り出す画像切り出し部と、
    切り出された複数の画像に対して幾何歪補正を行う幾何歪補正部と
    をさらに備える請求項１２に記載の画像処理システム。
19. 前記第１の画像および前記第２の画像は、前記撮影部により前記検出対象を含む領域を接写した画像である
    請求項１２に記載の画像処理システム。
20. 体毛を撮影した第１の画像を、前記第１の画像と異なる方向から前記体毛を撮影した第２の画像の座標系に射影変換した射影画像を生成する射影変換部と、
    前記第２の画像と前記射影画像との間の差分画像を生成する差分画像生成部と、
    前記差分画像において差分値が所定の閾値以上の画素からなる候補領域を検出し、前記候補領域に対応する前記第２の画像の領域を前記体毛が写っている体毛領域とそれ以外の非体毛領域に分ける領域検出部と、
    前記領域検出部による検出結果に基づいて、少なくとも前記第１の画像および前記第２の画像のうち一方の画像の前記体毛が写っている領域に対応する他方の画像の領域内の画素を前記一方の画素に射影し、置き換えることにより前記一方の画像から前記体毛を除去する除去部と
    を備える画像処理装置。

Images