JP2013205571A - 撮像装置と撮像方法、プログラム、撮像システム、および付属装置 - Google Patents

Abstract

【課題】良好な肌画像を容易に得ることができるようにする。
【解決手段】付属装置７１は、被写体の照明を行う照明部が設けられており、照明部は、被写体の照明方向が切り替え可能とされている。制御部３１は、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。さらに、制御部３１は、算出した評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像を行う。最適な方向で照明が行われてフォーカス調整が行われて被写体の撮像が行われることから、フォーカス状態が良好な肌画像を容易に得ることができるようになる。
【選択図】 図１３

Description

この技術は、撮像装置と撮像方法、プログラム、撮像システム、および付属装置に関し、良好な肌画像を容易に得ることができるようにする。

従来、美容業界等では、撮像装置を用いて肌を撮像して、得られた肌画像から肌の状態を解析することが行われている。例えば特許文献１では、複数の方向から順に照明を行って肌の撮像を行い、得られた画像信号から皮膚表面の３次元の形状を復元することで、より正確な皮膚表面形状の特徴を抽出して解析が行われている。

特開平６−１０５８２６号公報

ところで、肌の状態の解析等を行う場合、鮮明な肌画像を用いなければ精度よく解析を行うことができない。しかし、店頭等で簡易に肌の状態等を確認するために用いられる撮像装置は、一般に固定焦点であったり、熟練した担当者等がマニュアルで焦点を合わせる必要がある。このため、一般ユーザが解析に適した肌画像を撮影することは難しい。

そこで、本技術では、良好な肌画像を容易に得ることができる撮像装置と撮像方法とプログラム、撮像システムおよび付属装置を提供することを目的とする。

この技術の第１の側面は、被写体の照明方向が切り替え可能とされている照明部と、前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う制御部とを備える撮像装置にある。

この技術において、照明部は被写体の照明方向が切り替え可能とされている。例えば、撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで照明方向の切り替えが行われる。また、照明光の照射角度の切り替えが行われる。照明部では、被写体の撮像画像を用いて行われる解析処理に適した発光波長の光源を用いて照明が行われる。また、照明部は、照明光を出射する光源の切り替え、または光源から出射された照明光の通過をシャッタで制御することにより、照明方向の切り替えが行われる。

制御部は、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像を行う。また、制御部は、例えば照明方向について周方向で間引きして、間引き後の照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出し、算出された評価値から前記間引きされた照明方向についての評価値を算出する。または、照明方向について周方向にグループ化を行い、１グループ内で前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。なお、１グループ内には、直交する照明方向を含めるようにする。さらに制御部は、評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させるようにしてもよい。

この技術の第２の側面は、照明方向を切り替え可能に被写体の照明を行う工程と、前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う工程と含む撮像方法にある。

この技術の第３の側面は、被写体の照明方向が切り替え可能とされている照明部を備えた撮像装置の動作制御をコンピュータで実行させるプログラムであって、前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う手順を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、被写体の撮像画像を生成する撮像装置と、前記撮像画像を用いて前記被写体の解析を行う解析装置とを有し、前記撮像装置は、前記被写体の解析に適した光源を用いて構成されており、前記被写体の照明方向が切り替え可能とされている照明部と、前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う制御部とを備える撮像システムにある。

この技術の第５の側面は、被写体の照明方向が切り替え可能とされている照明部を備え、前記照明部は、外部機器からの指示に応じて照明方向の切り替えを行い、または、照明方向を自動的に切り替え、照明方向を示す情報を外部機器に出力する付属装置にある。

この技術の第６の側面は、被写体を撮像するための調整に用いる基準パターンが撮像画角内に含まれるように設けられた基準パターン部と、前記基準パターンを利用した前記被写体を撮像するための調整後に前記被写体の撮像を行う制御部とを備える撮像装置にある。

この技術の第７の側面は、被写体を撮像するための調整に用いる基準パターンが撮像画角内に含まれるように設けられた基準パターン部を備える付属装置にある。

この技術によれば、被写体の照明方向が切り替え可能とされており、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、この評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像が行われる。このため、最適な方向で照明が行われてフォーカス調整が行われて、フォーカス状態が良好な肌画像を容易に得ることができるようになる。

肌状態解析システムの構成を例示した図である。 撮像装置と解析装置および表示装置の接続状態を例示した図である。 撮像装置の外観を簡略化して示した図である。 付属装置に設けられた光源を例示した図である。 撮像装置の内部構成を簡略化して示した図である。 光源について他の構成を例示した図である。 照明モジュールを複数設けた場合を示す図である。 照明光の通過を制御して、照明方向の変更を行う場合の構成を例示した図である。 肌表面の状態と肌表面に対する照明光の照射角度の関係を例示した図である。 照明光の出力位置と照明方向の変更を行う場合の付属装置の構成を例示した図である。 外部光源から照明光を肌表面に照射する場合を例示した図である。 照明方向を指示する指示表示部を設けた場合を示す図である。 撮像装置２０の機能構成を示すブロック図である。 撮像装置の動作を示すフローチャートである。 間引きして光源を発光させる場合の撮像装置の動作を示すフローチャートである。 間引きして光源を発光させる場合の撮像装置の動作を説明するための図である。 照明方向の調整範囲を０〜１８０度の範囲内とする場合の撮像装置の動作を示すフローチャートである。 照明方向の調整範囲を０〜１８０度の範囲内とする場合の撮像装置の動作を説明するための図である。 照明方向の調整範囲をさらに狭めた場合の撮像装置の動作を説明するための図である。 ２０個の光源を連続する１０個の２グループにグループ分けを行った場合を示す図である。 ２０個の光源を連続する５個の４グループにグループ分けを行った場合を示す図である。 照明方向を変化させた場合に撮像された画像を例示した図である。 付属装置に設けられた光源を例示した図である。 撮像装置の内部構成を簡略化して示した図である。 光源と導光路を組み合わせた場合を例示した図である。 光源と導光路を組み合わせた場合を例示した図である。 体毛等がある場合を例示した図である。 肌内部にフォーカスを合わせて情報を取得する場合を示す図である。 解析装置の構成を例示した図である。 表皮画像処理部および表皮パターン検出部の機能構成を例示したブロック図である。 後天的要素解析部の機能構成を例示したブロック図である。 撮像装置の内部構成を簡略化して示した図である。 基準パターンを例示した図である。 基準パターンの変形例を示す図である。 基準パターンの変形例を示す図である。 基準パターンの変形例を示す図である。 基準パターンの変形例を示す図である。 軟性部材に基準パターンを形成した場合を示す図である。 撮像装置の動作を示すフローチャートである。 校正処理動作を示すフローチャートである。 基準パターンに厚みがある場合を示した図である。 被写体内部にフォーカスを合わせて情報を取得する場合を示す図である。 弾性体を介して鏡胴と付属装置を接続する構成を示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．肌解析システムについて
２．第１の実施の形態
２−１．撮像装置について
２−１−１．撮像装置の構成
２−１−２．撮像装置の動作
２−１−３．付属装置の他の構成
２−１−４．撮像装置のフォーカス動作
２−２．解析装置について
２−３．表示装置について
３．第２の実施の形態
３−１．撮像装置の構成
３−２．撮像装置の動作
３−３．付属装置の他の構成
３−４．画像処理装置と表示装置について

＜１．肌解析システムについて＞
図１は、肌状態解析システムの構成を例示している。肌状態解析システム１０は、撮像装置２０と解析装置４０および表示装置６０を有する構成とされている。撮像装置２０は、照明方向を切り替えて方向毎にフォーカス調整を行い、最適フォーカス位置を決定する。また、撮像装置２０は、決定した最適フォーカス位置で撮影を行うことにより得られた肌画像の画像信号を解析装置４０に出力する。解析装置４０は、撮像装置２０から供給された肌画像の画像信号に基づいて肌の状態の解析等を行い、解析結果を示す表示信号を生成して表示装置６０に出力する。表示装置６０は、解析装置４０から供給された表示信号に基づき画像表示を行い、肌の状態の解析結果等を画面上に表示する。

図２は、撮像装置２０と解析装置４０および表示装置６０の接続状態を例示している。例えば、図２の（Ａ）に示すように、撮像装置２０と解析装置４０および解析装置４０と表示装置６０は、有線伝送路を介して接続される。また、図２の（Ｂ）に示すように、撮像装置２０と解析装置４０、および解析装置４０と表示装置６０は、それぞれ無線伝送路を介して接続される構成であってもよい。さらに、図２の（Ｃ）に示すように、撮像装置２０と解析装置４０が一体に構成されていてもよい。なお、図示せずも、解析装置４０と表示装置６０が一体に構成されていてもよく、撮像装置２０と解析装置４０および表示装置６０が一体に構成されていてもよい。

＜２．第１の実施の形態＞
［２−１．撮像装置について］
［２−１−１．撮像装置の構成］
撮像装置２０は、照明方向を切り替えて肌の撮像を行うことができるように構成されている。図３は撮像装置２０の外観を簡略化して示している。なお、図３の（Ａ）は撮像装置２０の正面図、図３の（Ｂ）は撮像装置２０の側面図である。撮像装置２０の鏡胴２１の先端には、付属装置７１が設けられている。また、付属装置７１は、鏡胴２１と一体に構成されていてもよく、鏡胴２１に対して着脱可能に構成されていてもよい。

付属装置７１は、被写体の照明方向が切り替え可能とされている照明部を有している。例えば、付属装置７１の先端には、図４に示すように、照明部を構成する複数の光源７１１（例えばＬＥＤ（Light Emitting Diode）1〜ＬＥＤn）がリング状に配されており、発光させる光源を切り替えて、被写体である肌表面の照明方向を変更できるように構成されている。光源の波長帯は、可視域（４００〜７００ｎｍ）でよく、後述する画像センサの分光感度も可視域に感度がある一般的な画像センサ、例えばＲＧＢの三原色のフィルタを用いた画像センサでよい。

図５は、撮像装置２０の内部構成を簡略化して示している。鏡胴２１の内部には撮像光学系２２と画像センサ２５が設けられている。

図４では、複数の光源を鏡胴の先端側に被写体側を向けてリング状に配置して照明部を構成した場合を示したが、照明部は図４に示す構成に限らない。次に、照明部について他の構成を例示する。

図６は、照明光出射位置と複数の光源７１１をそれぞれ光ファイバ７１２で結び、光源７１１から出射された光を、光ファイバ７１２を介して照明光出射位置から肌表面に出射させる場合を示している。なお、図６では、４つの光源を設けた場合を示している。このように、光ファイバ等の導光路を用いて光源からの照明光を導くことで、光源７１１のサイズ等の制約が少なくなり、付属装置のデザインの自由度を高めることができる。

図７は、照明モジュールを複数設けて、照明光を出射するモジュールを切り替えることで、肌表面の照明方向を切り替える場合を例示している。照明モジュール７１３は、図７の（Ａ）に示すように、筐体内に光源７１３ａと導光板７１３ｂが設けられており、光源７１３ａは導光板７１３ｂの端部に設けられている。筐体の照明光出射面には拡散板７１３ｃが設けられており、他面側には反射板７１３ｄが設けられている。

光源７１３ａから出射された光は、直接または反射板７１３ｄで反射されて導光板７１３ｂに入射される。また、導光板７１３ｂに入射された光は、反射板７１３ｄで反射されて導光板７１３ｂに再度入射される。導光板７１３ｂの照明光出射面から出射される光は、拡散板７１３ｃで拡散されて、照明モジュール７１３から出射される。

図７の（Ｂ）は、照明モジュール７１３を複数設けた付属装置７１を例示している。付属装置７１に用いられている複数の照明モジュール７１３は、照明光出射面が肌表面の方向を向いて取り付けられている。なお、図７の（Ｂ）では４つの照明モジュールを用いた場合を例示している。

このように、複数の照明モジュール７１３を用いて、照明光を出射する照明モジュール７１３を切り替えることで肌表面の照明方向を変更できる。

上述の構成では、照明光を出射する光源を切り替えることで肌表面の照明方向を変更する場合について例示したが、照明方向の変更は光源に切り替えに限らず他の方法を用いるようにしてもよい。例えば、光源から出射された照明光の通過をシャッタで制御して、照明方向の切り替えを行うようにしてもよい。

図８は、照明光の通過を制御して、照明方向の変更を行う場合の構成を例示している。付属装置７１は、図８の（Ａ）に示すように、リングライト７１４とリング状のシャッタ７１５を有している。リングライト７１４は、肌表面の方向に照明光を出射する。シャッタ７１５は、リングライト７１４の照明光出射側に設けられている。シャッタ７１５は、例えば液晶素子を用いて構成されており、複数に区分された領域毎に照明光の通過を制御できるように構成されている。このように構成された付属装置７１では、図８の（Ｂ）に示すように、照明光を通過させる領域（シャッタ開領域）を移動させることで、照明方向の変更が行われる。

以上のように、付属装置７１は、点灯する光源を切り替えて、またはシャッタ開領域を切り替えることにより、すなわち撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで照明方向の切り替えを行う。

ところで、肌表面の段差が小さい場合、照明方向を制御することで肌表面の窪み（しわ部分等）を精度よく検出できる。しかし、肌表面の段差が大きい場合、照明方向を制御しても肌表面の窪みを検出できない部分を生じてしまうおそれがある。

図９は、肌表面の状態と肌表面に対する照明光の照射角度の関係を例示している。例えば、図９の（Ａ）は肌表面の段差が小さく照明光の照射角度が大きい場合（照明光の出力位置が高い場合）、図９の（Ｂ）は肌表面の段差が小さく照明光の照射角度が小さい場合（照明光の出力位置が低い場合）を示している。また、図９の（Ｃ）は肌表面の段差が大きく照明光の照射角度が大きい場合、図９の（Ｄ）は肌表面の段差が大きく照明光の照射角度が小さい場合を示している。

図９の（Ａ）（Ｂ）に示すように、肌表面の段差が小さい場合には照明光の照射角度にかかわらず、肌表面の窪み部分で影（矢印で示す）を生じることから、肌表面の窪みを精度よく検出できる。また、図９の（Ｃ）に示すように、肌表面の段差が大きい場合でも照明光の照射角度が大きい場合には、肌表面の窪み部分で影（矢印で示す）を生じることから、肌表面の窪みを精度よく検出できる。しかし、図９の（Ｄ）に示すように、肌表面の段差が大きく照明光の照射角度が小さい場合、肌表面の窪み部分が影（矢印で示す）で隠れてしまい、肌表面の窪みを精度よく検出することが出来なくなってしまうおそれがある。そこで、照明光の照射角度を切り替え可能とすることで、照明方向の変更を行うようにしてもよい。

図１０は、照明光の出力位置と照明方向の変更を行う場合の付属装置７１の構成を例示している。なお、図１０では、照明光の照射角度を２段階、照明方向を４方向で変更可能とされている構成を示している。

付属装置７１は、第１の出力位置で照明光を出力する光ファイバ７１６-1〜７１６-4と、第１の出力位置よりも肌表面から離れた第２の出力位置で照明光を出力する光ファイバ７１７-1〜７１７-4を有している。光ファイバ７１６-1〜７１６-4の照明光出射面に対して逆面側にはシャッタ７１８を介して光源７１９が設けられている。また、光ファイバ７１７-1〜７１７-4の照明光出射面に対して逆面側にはシャッタ７２０を介して光源７２１が設けられている。このように構成された付属装置は、例えば光源７１９から照明光をシャッタ７１８に向けて出力する。シャッタ７１８は、光ファイバ７１６-1〜７１６-4に対する光源７１９から出射された照明光の入射を制御することで、照明光の照射角度を小さくして照明方向の切り替えを行う。また、光源７２１から照明光をシャッタ７２０に向けて出力する。シャッタ７２０は、光ファイバ７１７-1〜７１７-4に対する光源７２１から出射された照明光の入射を制御することで、照明光の照射角度を大きくして照明方向の切り替えを行う。このようにすれば、肌表面の段差が大きい場合であっても、肌表面の窪みを精度よく検出できるようになる。また、光源からの照明光を、液晶等を利用したシャッタを介して各光ファイバに入射することで、照明の切り替え部分を一か所に集約することが可能となる。したがって、シャッタを小さくすることができる、また、シャッタ動作制御のための制御線に必要な領域等を小さくできる。なお、図１０では、光ファイバを用いた構成を例示しているが、光ファイバの照明光出射面の位置に光源を設けて、照明光を出力する光源を切り替えることにより、照明光の照射角度と照明方向の変更を行うようにしてもよい。

さらに、撮像装置２０では、鏡胴２１の先端に透明の付属部品８１を設けて、図１１に示すように外部光源９１から照明光を肌表面に照射するようにしてもよい。また、図１２に示すように、何れの方向から照明光が照射されているか判別可能するため、付属部品８１に照明方向を指示する指示表示部８２を設けて、指示表示部８２で指示された方向から照明光を肌表面に照射するようにしてもよい。

図１３は、撮像装置２０の機能構成を示すブロック図である。撮像装置２０は、撮像光学系２２、撮像光学系駆動部２３、画像センサ２５、信号処理部２６、制御部３１、メモリ部３２、付属装置７１を有している。

撮像光学系２２は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像を画像センサ２５の撮像面上に所望のサイズとして結像させる。

撮像光学系駆動部２３は、制御部３１からの制御信号に基づき、撮像光学系２２のフォーカスレンズやズームレンズを駆動する。

画像センサ２５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。画像センサ２５は、光源変換を行い、被写体光学像に応じた画像信号を生成して信号処理部２６に出力する。

信号処理部２６は、画像センサ２５から供給された画像信号に対して、種々のカメラ信号処理、例えば輝度や色等の調整、高画質化のための処理等を行い、処理後の画像信号を解析装置４０に出力する。

制御部３１は、画像センサ２５や信号処理部２６および付属装置７１の動作を制御して、肌画像の画像信号を生成する。また、制御部３１は、肌画像の画像信号の生成において、照明方向毎に被写体である肌表面に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。制御部３１は、算出した評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像を行う。

メモリ部３２は、撮像装置２０の動作制御を行うために必要な情報等を記憶する。例えば、制御部３１で算出された照明方向毎の評価値を記憶して、記憶された評価値に基づき、制御部３１で、最適なフォーカス状態での撮像を行うことができるようにする。

付属装置７１は、最適なフォーカス状態等で撮像を行うことができるように、撮像装置２０の制御部３１からの指示に応じて照明方向の切り替え等を行う。また、付属装置７１は、照明方向を自動的に切り替えて、照明方向を示す情報を撮像装置２０の制御部３１に出力する構成であってもよい。

［２−１−２．撮像装置の動作］
次に、撮像装置の動作について説明する。図１４は、撮像装置の動作を示すフローチャートである。ステップＳＴ１で撮像装置２０は、初期設定を行う。撮像装置２０は点灯する光源を示すパラメータ「ｉ」を例えば「ｉ＝１」に設定してステップＳＴ２に進む。

ステップＳＴ２で撮像装置２０は、付属装置７１のｉ番目の光源を点灯させてステップＳＴ３に進む。

ステップＳＴ３で撮像装置２０は、フォーカス調整を行う。撮像装置２０は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置２０は、フォーカス状態を示す評価値を算出してステップＳＴ４に進む。評価値は、フォーカス状態に応じて変化する情報であればよい。撮像装置２０は、例えばコントラスト方式を用いてフォーカス調整を行う場合、式（１）に示すように、撮像画像の画素毎に隣接画素との輝度レベル差を算出して、画素毎に算出した輝度レベル差の絶対値の総和を評価値Ｆvとして用いる。なお、式（１）において、「Ｉ(x,y)」は画素位置（ｘ，ｙ）における画素値（輝度レベル）を示している。また、撮像画像内に複数の評価領域を設定して、式（２）に示すように、各評価領域内で隣接画素との輝度レベル差の絶対値の総和を算出して、領域毎に算出した総和を合計して評価値としてもよい。なお、式（２）において、「Ｂi」はｉ番目の領域、「Ｉ(x,y)」は、ｉ番目の領域Ｂi内の画素位置（ｘ，ｙ）における画素値（輝度レベル）を示している。また、撮像装置２０は、例えば位相差方式を用いてフォーカス調整を行う場合、位相差方式のフォーカスセンサ上に形成される光学像の位相差を評価値として用いればよい。さらに、撮像装置２０は、撮像画像から所定帯域の高周波成分を抽出し、抽出した高周波成分の絶対値の総和を評価値として用いるようにしてもよい。

ステップＳＴ４で撮像装置２０は、全光源で調整を行ったか判別する。撮像装置２０は、例えば照明方向が異なるｎ個の光源が設けられている場合、ｉ＝ｎである場合には全光源で調整を行ったと判別してステップＳＴ６に進む。また、ｉ＜ｎである場合には全光源での調整が完了していない判別してステップＳＴ５に進む。

ステップＳＴ５で撮像装置２０は、「ｉ＝ｉ＋１」の演算を行い、パラメータｉを更新してステップＳＴ２に戻る。

ステップＳＴ６で撮像装置２０は、最適フォーカスを決定する。撮像装置２０は、照明方向毎に算出した評価値に基づき、フォーカス状態が最も良好となる照明方向を決定してステップＳＴ７に進む。

ステップＳＴ７で撮像装置２０は、撮影を行う。撮像装置２０は、ステップＳＴ６で決定した照明方向で照明を行って撮像動作を行い肌画像の画像信号を取得する。

このような処理を行うことで、撮像装置２０は良好な肌画像を容易に得ることができる。なお、付属装置７１で照明方向を自動的に切り替える場合、撮像装置２０は照明方向を示す情報と評価値を関連付けることで、フォーカス状態が最も良好となる照明方向を決定できる。

ところで、図１４の動作では、ｎ個の光源を順次発光させる場合を示しているが、ｎ個の光源を順次発光させると、光源が多い場合に最適フォーカスを決定するまでに要する時間が長くなってしまう。そこで、撮像装置２０は、照明方向について周方向で間引きを行い、例えばリング状に配された光源を間引きして点灯されて、間引き後の照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。また、間引きされた照明方向、すなわち発光が行われていない光源に対する評価値は補間によって算出する。このようにして、照明方向毎に評価値を算出して、算出された評価値からフォーカス状態が最も良好となる照明方向を短時間で決定できるようにする。

図１５は、間引きして光源を発光させる場合の撮像装置の動作を示すフローチャートである。なお、図１５では、例えば光源の数が「２４」で間引き間隔が「２」である場合を示している。ステップＳＴ１１で撮像装置２０は、初期設定を行う。撮像装置２０は点灯する光源を示すパラメータ「ｉ」を例えば「ｉ＝１」に設定してステップＳＴ１２に進む。

ステップＳＴ１２で撮像装置２０は、付属装置７１のｉ番目の光源を点灯させてステップＳＴ１３に進む。

ステップＳＴ１３で撮像装置２０は、フォーカス調整を行う。撮像装置２０は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置２０は、フォーカス状態を示す評価値を算出してステップＳＴ１４に進む。

ステップＳＴ１４で撮像装置２０は、発光を行う全光源で調整を行ったか判別する。撮像装置２０は、発光を行う全光源で調整を行ったと判別した場合にステップＳＴ１６に進む。また、発光を行う全光源において、調整が完了していない光源が残っている場合にステップＳＴ１５に進む。

ステップＳＴ１５で撮像装置２０は、「ｉ＝ｉ＋３」の演算を行い、パラメータｉを更新してステップＳＴ１２に戻る。

ステップＳＴ１６で撮像装置２０は、発光が行われていない間引き光源の評価値を算出する。撮像装置２０は、間引きにより発光が行われていない間引き対象光源に対する評価値を、発光が行われた光源に対する評価値から補間、例えばスプライン補間等によって算出する。

ステップＳＴ１７で撮像装置２０は、最適評価値を検出する。撮像装置は、フォーカス状態が最良となる評価値を最適評価値として検出してステップＳＴ１８に進む。

ステップＳＴ１８で撮像装置２０は、最適光源での照明を行う。撮像装置２０は、最適評価値に対応した光源で照明を行いステップＳＴ１９に進む。

ステップＳＴ１９で撮像装置２０は、フォーカス調整を行う。撮像装置２０は、ステップＳＴ１８で行われた照明の状態でフォーカス調整を行いステップＳＴ２０に進む。

ステップＳＴ２０で撮像装置２０は、撮影を行う。撮像装置２０は、ステップＳＴ１８で行われた照明の状態およびステップＳＴ１９で調整されたフォーカス状態で撮像動作を行い肌画像の画像信号を取得する。

このような動作を行うと、図１６の（Ａ）に示すように、黒丸で示す光源を間引き対象光源として白丸で示す光源を順に用いて照明が行われて、例えば図１６の（Ｂ）に示すように評価値（白丸）が算出される。また、他の光源について補間等によって評価値（黒丸）が算出される。さらに光源毎の評価値からフォーカス状態が最良となる光源、例えば評価値が最大となる５番目の光源（丸印の数字で示す光源）を、撮像に用いる照明用の光源として撮像が行われる。

また、最適フォーカスを決定するまでに要する時間が長くなってしまうことを防止する方法として、照明方向の調整範囲を狭めてもよい。

図１７は、照明方向の調整範囲を０〜１８０度の範囲内とする場合の撮像装置の動作を示すフローチャートである。なお、図１７では、例えば光源の数が「２４」で１番目から１２番目までの光源を順に選択して照明に用いる場合を示している。ステップＳＴ３１で撮像装置２０は、初期設定を行う。撮像装置２０は点灯する光源を示すパラメータ「ｉ」を例えば「ｉ＝１」に設定してステップＳＴ３２に進む。

ステップＳＴ３２で撮像装置２０は、付属装置７１のｉ番目の光源を点灯させてステップＳＴ３３に進む。

ステップＳＴ３３で撮像装置２０は、フォーカス調整を行う。撮像装置２０は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置２０は、フォーカス状態を示す評価値を算出してステップＳＴ３４に進む。

ステップＳＴ３４で撮像装置２０は、発光を行う全光源で調整を行ったか判別する。撮像装置２０は、発光を行う全光源で調整を行ったと判別した場合、すなわちｉ＝１２である場合にステップＳＴ３６に進む。また、発光を行う全光源での調整が完了していない場合にステップＳＴ３５に進む。

ステップＳＴ３５で撮像装置２０は、「ｉ＝ｉ＋１」の演算を行い、パラメータｉを更新してステップＳＴ３２に戻る。

ステップＳＴ３６で撮像装置２０は、最適評価値を検出する。撮像装置は、フォーカス状態が最良となる評価値を最適評価値として検出してステップＳＴ３７に進む。

ステップＳＴ３７で撮像装置２０は、最適光源での照明を行う。撮像装置２０は、最適評価値に対応した光源で照明を行いステップＳＴ３８に進む。

ステップＳＴ３８で撮像装置２０は、フォーカス調整を行う。撮像装置２０は、ステップＳＴ３７で行われた照明の状態でフォーカス調整を行いステップＳＴ３９に進む。

ステップＳＴ３９で撮像装置２０は、撮像を行う。撮像装置２０は、ステップＳＴ３７で行われた照明の状態およびステップＳＴ３８で調整されたフォーカス状態で撮像動作を行い肌画像の画像信号を取得する。

このような動作を行うと、図１８の（Ａ）に示すように、白丸で示す光源のみを順に用いて照明が行われて、例えば図１８の（Ｂ）に示すように評価値が算出される。また、光源毎の評価値からフォーカス状態が最良となる光源、例えば評価値が最大となる５番目の光源（丸印の数字で示す光源）を、撮像に用いる照明用の光源として撮像が行われる。

さらに、図１９に示すように、白丸で示す光源のみを順に用いて照明を行うようにすれば、照明方向の調整範囲をさらに狭めて、撮像を行うことができる。この場合、図１７のステップＳＴ３４では、ｉ＝６である場合にステップＳＴ３６に進むように処理を行えばよい。

さらに、ｎ個の光源をグループ化して、発光させる光源をグループ単位で切り替えるようにしても、最適フォーカスを決定するまでに要する時間が長くなってしまうことを防止できる。

図２０は２０個の光源を連続する１０個の２グループにグループ分けを行った場合、図２１は２０個の光源を連続する５個の４グループにグループ分けを行った場合を例示している。

さらに、撮像装置２０は、ｎ個の光源を順次発光させる場合、ｎ個の光源をグループ単位で順次発光させる場合に限らず、全ての光源を発光させて評価値の算出を行い、算出した評価値も含めて、最適フォーカスを決定するようにしてもよい。

図２２は、照明方向を変化させた場合に撮像された画像を例示している。図２２の（Ａ）は、しわの溝方向に対して直交方向から照明を行った画像、図２２の（Ｂ）は、しわの溝方向に対して平行方向から照明を行った画像、図２２の（Ｃ）は、全方向から照明を行った場合を例示している。なお、図２２の（Ｄ）は、２４個の光源を順に切り替えて点灯させた場合の評価値を例示しており、しわが目立つ場合、しわに直交した方向から照射したときに評価値が大きくなるので、照明方向を３６０度移動差させた場合にはピークが２つ存在する。したがって、例えば図２２の（Ａ）に示す画像から算出した評価値が、最もフォーカス状態が良好となる照明方向の評価値と判別された場合、しわの溝方向に対して直交方向から照明を行ってフォーカス調整を行い、撮像が行われることになる。また、図２２の（Ｅ）〜（Ｇ）は、しわが目立たない肌の撮像画像を示しており、図２２の（Ｅ）は、図２２の（Ａ）と等しい照明方向、図２２の（Ｆ）（Ｇ）は、図２２の（Ｂ）（Ｃ）と等しい照明方向である。しわの目立たない部位の皮丘形状が例えば四角形状である場合、照明方向を３６０度移動差させた場合には、図２２の（Ｈ）に示すように４つのピークが存在することになる。

また、しわの溝方向に対して直交方向から照明を行った場合には例えば評価値か大きくなり、しわの溝方向に対して平行方向から照明を行った場合には評価値が小さくなる。したがって、上述のグループ分けでは、１つのグループ内に、直交する照明方向を含むようにすれば、１つのグループ内で、フォーカス状態が良好となる照明方向を判別できるようになる。

［２−１−３．付属装置の他の構成］
次に、付属装置の他の構成について説明する。他の構成では、付属装置７１の光源や外部光源として、解析に適した発光波長の光源を用いる。例えば、肌のきめやしわなど、見た目を解析する場合、光源として可視白色ＬＥＤ（Light Emitting Diode）を用いる。また、メラニンの状態を解析する場合、可視赤色ＬＥＤと近赤外ＬＥＤを用いる。また、毛穴に詰まった皮脂を測定する場合には近紫外光ＬＥＤを用いる。さらに、表面の反射光と内部の反射光を分離して撮像できるように、光源に偏光フィルタを設けてもよい。図２３は図４，図２４は図５と対応しており、複数の光源７１１として、白色ＬＥＤ７１１ａ、可視赤色ＬＥＤ７１１ｂ、近赤外ＬＥＤ７１１ｃ、近紫外ＬＥＤ７１１ｄを用いた場合を例示している。また、白色ＬＥＤ７１１ａは、所定の偏光面の偏光フィルタが設けられた白色ＬＥＤ７１１ａ-1と、所定の偏光面に対して例えば偏光面が直交している偏光フィルタが設けられた白色ＬＥＤ７１１ａ-2が設けられている場合を例示している。なお、偏光フィルタが設けられた光源を用いる場合、撮像装置２０において画像センサ２５までの光路上に偏光フィルタ２４が設けられて、所望の偏光状態の被写体光が撮像光学系２２を介して画像センサ２５に入射される。

また、付属装置７１は、光源と導光路を組み合わせて構成するようにしてもよい。図２５，２６は、光源と導光路を組み合わせた場合を例示している。例えば白色ＬＥＤ７１１ａ-1から出力された照明光は、導光路７５１を介して被写体（肌表面）に照射する。また導光路７５１の照明光出斜面には偏光フィルタ７６１を設ける。白色ＬＥＤ７１１ａ-2から出力された照明光は、導光路７５２を介して被写体（肌表面）に照射する。また導光路７５２の照明光出斜面には偏光フィルタ７６２を設ける。なお、偏光フィルタ７６１と偏光フィルタ７６２の偏光面は直交させる。さらに、可視赤色ＬＥＤ７１１ｂ、近赤外ＬＥＤ７１１ｃ、近紫外ＬＥＤ７１１ｄから出射される照明光は導光路７５３を介して被写体（肌表面）に照射する。また、図示せずも、偏光フィルタを用いない場合は、白色ＬＥＤ７１１ａから出力された照明光を、導光路７５３を介して被写体（肌表面）に照射するようにしてもよい。

このように、発光波長の異なる光源を用いた場合や偏光フィルタを用いた場合、撮像装置２０は、解析に適した光源を選択して、選択した光源を順に点灯させて、フォーカス状態が最適となる照明方向を上述のように決定して、決定した照明状態で撮像を行う。このようにすれば、撮像装置２０は、解析内容に応じて最適な撮像画像を生成できる。また、光源の発光波長によってフォーカス状態が異なる場合には、光源の発光波長に応じて予め算出されている調整量を用いてフォーカス調整を行えばよい。また、解析に用いる光源を用いてフォーカス調整を行うようにしてもよい。

［２−１−４．撮像装置のフォーカス動作］
撮像装置２０は、コントラスト方式や位相差方式などのオートフォーカス機構を有している。このようなオートフォーカス機構を用いる場合、評価値の高くなる距離が複数生じることが想定される。例えば、肌表面を撮像する場合に例えば図２７に示すように体毛等があると、肌表面までの距離で評価値が高くなるだけでなく、体毛までの距離で評価値が高くなる。このような場合、体毛にはフォーカスが合っているが、肌表面にはフォーカスが合っていないという状態が生じる場合が想定される。

したがって、撮像装置２０は、評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させる。例えば評価値の高くなる距離が複数生じた場合、最も近い距離を体毛部分として、この距離から距離ｄａ（体毛と肌表面との間隔）だけ離れた位置に合焦するようにフォーカス制御を行い、被写体表面に合焦するようにしてもよい。また、撮像装置２０は、体毛と肌表面の双方が合焦範囲に含まれるように、距離ｄａの範囲にフォーカスが合うような被写界深度のレンズを用いるようにしてもよい。さらに、フォーカス位置を距離ｄａだけ移動させることにより、肌表面だけでなく、図２８に示すように、肌内部にフォーカスを合わせて情報を取得することも可能である。

［２−２．解析装置について］
図２９は、解析装置の構成を例示している。解析装置４０は、解析対象例えば被評価者の肌を撮像して、その結果得られた画像（以下、表皮画像と称する）に基づいて、肌のきめ状態等を評価する。また、解析装置４０は、表皮画像に対してセグメンテーション（領域分割）を行い、その結果をもとに、肌のきめの評価を行う。

解析装置４０は、表皮画像処理部４１、表皮パターン検出部４２、後天的要素解析部４３、きめ評価部４４を含むように構成されている。

表皮画像処理部４１は、補正やノイズ除去等の所定の画像処理を表皮画像に施して、画像処理後の表皮画像を、表皮パターン検出部４２および後天的要素解析部４３に供給する。

表皮パターン検出部４２は、皮丘または皮溝により表皮に形成されている表皮画像内の表皮のパターン（以下、表皮パターンと称する）を検出し、検出結果（以下、表皮パターン検出結果と称する）を後天的要素解析部４３に供給する。

後天的要素解析部４３は、画像処理後の表皮画像、および、表皮パターン検出結果に基づいて、肌のきめの状態を示す要素のうち後天的な要素の解析を行う。後天的要素解析部４３は、解析結果をきめ評価部４４に供給する。

きめ評価部４４は、後天的要素解析部４３による解析結果に基づいて、肌のきめの状態を評価し、評価結果を表示装置６０に出力する。

図３０、表皮画像処理部４１および表皮パターン検出部４２の機能構成を例示したブロック図である。

表皮画像処理部４１は、画像補正部４１１、単一チャネル抽出部４１２、および、ノイズ除去部４１３を含むように構成される。また、表皮パターン検出部４２は、２値化部４２１よびラベリング処理部４２２を含むように構成される。

画像補正部４１１は、表皮画像に対してシェーディング補正やレンズ歪補正、表皮画像の中央領域の切り出し等を行う。また、画像補正部４１１は、例えば、処理コストを下げるために、補正後の画像を縮小する。画像補正部４１１は、補正後の表皮画像を単一チャネル抽出部４１２に供給する。

単一チャネル抽出部４１２は、補正した表皮画像から所定のチャネル例えばＢ（Blue）チャネルの信号成分を抽出し、抽出した信号成分からなる表皮画像（以下、単一チャネル表皮画像と称する）をノイズ除去部４１３に供給する。

ノイズ除去部４１３は、単一チャネル表皮画像のノイズを除去する。ノイズ除去部４１３は、ランダムノイズや、皮丘、皮溝上のテクスチャ成分を除去するために、単一チャネル表皮画像に対してエッジ保存型平滑化フィルタを適用する。また、ノイズ除去部４１３は、例えば、汗腺などの影響による高輝度領域や鏡面反射成分を除去するために、単一チャネル表皮画像に対して孤立点除去フィルタを適用する。ノイズ除去部４１３は、ノイズ除去後の単一チャネル表皮画像（以下、ノイズ除去表皮画像と称する）を、表皮パターン検出部４２の２値化部４２１および後天的要素解析部４３に供給する。

２値化部４２１は、ノイズ除去表皮画像に対して２値化処理を行う。２値化部４２１は、一様な光源下において、表皮画像の明るい領域は手前にある皮丘、暗い領域は奥にある皮溝であるという前提のもと、皮丘、皮溝のセグメンテーションを行うために、ノイズ除去表皮画像を２値化する。２値化部４２１は、得られた２値化画像（以下、２値化表皮画像と称する）をラベリング処理部４２２に供給する。

ラベリング処理部４２２は、２値化表皮画像に対してラベリング処理を行う。ラベリング処理部４２２は、最も外側の白の輪郭で囲まれる領域を１つの領域として検出し、その内側に黒色の領域や、白の輪郭で囲まれる領域が存在しても無視する。このようにして検出した領域にラベルを付与する。これにより、例えば、皮丘の内側の窪み等により暗くなる領域が無視され、皮丘領域を正確に検出することが可能になる。なお、以下、ラベリング処理によりラベルが付与された領域をラベリング領域と称する。

一般的な人の肌において、皮溝の間隔は０．２５〜０．５ｍｍであり、皮丘の形状が三角形または四角形が多いことを考慮すると、皮丘の面積は０．０３１〜０．２５平方ミリメータ程度になると考えられる。そこで、ラベリング処理部４２２は、表皮画像における皮丘のサイズの適正範囲を求める。そして、ラベリング処理部４２２は、検出したラベリング領域の中から、求めた適正範囲内のサイズの領域を皮丘領域として検出する。

また、ラベリング処理部４２２は、検出した皮丘領域の数を皮丘数としてカウントする。ラベリング処理部４２２は、皮丘領域および皮丘数の検出結果を示す表皮パターン検出結果を、後天的要素解析部４３に供給する。

図３１は、後天的要素解析部４３の機能構成を例示したブロック図である。後天的要素解析部４３は、表皮サイズ分布解析部４３１、表皮形状分布解析部４３２，４３３、および、表皮方向性解析部４３４を含むように構成される。

表皮サイズ分布解析部４３１は、表皮パターンのサイズの分布を解析する。表皮サイズ分布解析部４３１は、皮丘領域のサイズの分布を解析し、皮丘領域のサイズの均一性を表す表皮サイズ分布評価値を算出する。表皮サイズ分布解析部４３１は、算出した表皮サイズ分布評価値をきめ評価部４４に供給する。

表皮形状分布解析部４３２は、表皮パターンの形状の分布を解析する。表皮形状分布解析部４３２は、皮丘領域の形状の分布を解析し、皮丘領域の形状の均一性を表す表皮形状分布評価値を算出する。表皮形状分布解析部４３２は、算出した表皮形状分布評価値をきめ評価部４４に供給する。

表皮形状分布解析部４３３は、表皮形状分布解析部４３２とは異なる観点で、表皮パターンの形状の分布を解析する。表皮形状分布解析部４３３は、各皮丘領域と所定の参照形状とを比較し、各参照形状に近い形状を有する皮丘領域の割合を示す表皮形状分布情報を求める。表皮形状分布解析部４３３は、求めた表皮形状分布情報をきめ評価部４４に供給する。

表皮方向性解析部４３４は、表皮パターンの方向性を解析する。表皮方向性解析部４３４は、皮丘領域のエッジ方向の分布を解析し、皮丘領域におけるエッジ方向の分布の均一性を表す表皮方向性評価値を算出する。表皮方向性解析部４３４は、算出した表皮方向性評価値をきめ評価部４４に供給する。

なお、皮丘のサイズ、形状、エッジ方向は、加齢、健康状態、肌の手入れ等により後天的に変化する。したがって、表皮サイズ分布評価値、表皮形状分布評価値、表皮形状分布情報、および、表皮方向性評価値は、肌のきめの状態の後天的性質を評価するための指標となる。

きめ評価部４４は、きめ評価値を算出する。きめ評価部４４は、表皮サイズ分布評価値と表皮形状分布評価値と表皮方向性評価値から、皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性に応じて値が変化するきめ評価値を算出する。皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性は、加齢、健康状態、手入れの状態等により後天的に変化する。したがって、きめ評価値は、後天的に変化する肌のきめの均一性を評価する指標となる。また、きめの均一性に加えて、理想的な形状の皮丘の割合を示すようにきめ評価値の算出を行うようにしてもよい。きめ評価部４４は、肌のきめの状態の評価結果を表示装置６０に出力する。

［２−３．表示装置について］
表示装置６０は、肌のきめ状態の評価結果を画面上に表示する。表示装置では、例えば図２に示すように、きめの細かさ、きめの整い（皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性等）、しみ、しわ等が個々にレーダチャートで示されている。

これにより、被評価者は、自分の肌の状態を瞬時に知ることができるようになる。また、きめ状態の評価を行った肌画像や、光源の発光波長を切り替えて撮像を行った肌画像を表示することで、評価結果だけでなく、肌の状態やしみの状態等を画像で確認できるようになる。

以上のように、第１の実施の形態によれば、照明方向を切り替えて例えば撮像画像のコントラストが最も高くなる状態を作り出し、その状態でフォーカスを合わせることで、最適なフォーカス状態に調整することができる。すなわち、肌表面のしわ等を基準にフォーカスを合わせることができるようになる。したがって、基準となる特別なパターンなどを用意しなくても、精度よくフォーカス調整を行うことができる。

＜３．第２の実施の形態＞
ところで、肌を接写する場合のようにコントラストの低い画像を撮像する場合、フォーカスを合わせることが難しいことから、特開２００５−０７０３００号公報では、支持台にオートフォーカス用のパターンを設けてそれを基準にフォーカス制御を行うことが開示されている。しかし、この技術では、正確な色データの取得、および反射率の計測を行えない。また、特開２００２−３４５７６０号公報では、分光反射率校正用のキャップをはめた状態で校正を行い、キャップを外して測定を行うことが開示されている。この技術では、キャップの着脱という煩わしい操作が必要となり、校正を容易に行うことができない。

そこで、次の第２の実施の形態では、付属装置に基準パターンを設けて、肌の接写画像のように低コントラストの状態であってもフォーカスを合わせられるようにして、良好な肌画像を取得する場合について説明する。また、反射率の基準となる領域を用いて反射率の自動校正を行うことができるようにする。

第２の実施の形態において、撮像装置２０は、後述するフォーカス調整パターンが視野内に入りフォーカス制御を行うのに十分な領域が写るようにズームレンズを制御した後、フォーカス調整パターンにフォーカスが合うようにフォーカスを制御する。また、撮像装置２０は、分光反射率校正パターンが視野内に写っていない場合は、フォーカスはそのままの状態で、ズームレンズを制御して分光反射率校正パターンが視野内に入るようにして、各光源を点灯して校正用パターンを撮影して反射率の校正を行う。さらに撮像装置２０は、フォーカスはそのままの状態で、被写体領域が視野内いっぱいに入るようにズームレンズを制御したのち、各発光波長の光源を点灯し、被写体領域を撮影し、各波長での撮像画像の画像信号を取得する。解析装置４０は、取得された画像信号を用いて、肌のきめ、色などの解析処理を行う。表示装置６０は、解析結果を提示する。

［３−１．撮像装置の構成］
第２の実施の形態の撮像装置２０において、図３２に示すように、付属装置７１の先端にはリング状の基準パターン部７３０が配されている。基準パターン部７３０は、内面側にフォーカス調整や反射率の校正等を行うための基準パターンが設けられている。

図３３は、基準パターンを例示している。例えば、基準パターンとして、フォーカス調整用パターン、反射率校正パターンが設けられている。また、被写体のサイズを判別できるように被写体サイズ確認用パターンも設けられている。

フォーカス調整パターン７３１は、コントラストの高いエッジなどで構成されている。フォーカス調整パターン７３１は、フォーカスがあっていない場合でもパターンを画像内から探せるように、低い空間周波数のパターンを含んでいる。また、フォーカス調整パターン７３１は、高精度にフォーカスを合わせるために高い空間周波数のパターンも含んでいる。さらに、フォーカス調整パターン７３１は、用いる光源全ての光源で撮像できるようなインクで描いたパターンを用いてもよいし、光源の波長帯毎に別々のインクで描いたパターンを用いてもよい。

反射率校正用パターンは、測定を行う波長帯域で高い反射率を持つ物質で構成されている。測定を行う波長範囲全体で高い反射率を持つ物質で校正してもよいし、波長帯を例えば紫外光域、可視光域、赤外光域などように分けて構成してもよい。例えば、図３３では、反射率校正パターン７３２，７３３，７３４が設けられている。反射率校正パターン７３２は、可視光を用いたときの反射率を校正するための基準パターンである。反射率校正パターン７３３は、近赤外光を用いたときの反射率を校正するための基準パターンである。反射率校正パターン７３４は、紫外光を用いたときの反射率を校正するための基準パターンである。

被写体サイズ確認用パターン７３５は、被写体サイズを確認するための目盛パターンとして構成される。目視で被写体サイズを確認したり、画像処理でサイズを計測するための基準として用いる。

図３４〜３７は、基準パターンの変形例を示している。図３４は、フォーカス調整および反射率校正の基準パターンだけでなく、色調整パターン７３６(例えば赤色Ｒと緑色Ｇと青色Ｂのパターン)とを設けた場合を例示している。このように色調整パターン７３６を設けることで、撮像画像を正しい色に容易に調整することが可能となる。

図３５は、十字状に設けられたワイヤ状に基準パターンを載置した場合を例示している。このようにすれば、被写体の撮像領域を図３３や図３４に比べて広くできる。すなわち、図３３や図３４に示す場合、基準パターンが設けられているリング状部分によって、被写体が隠れてしまう。しかし、十字状に設けられたワイヤ状に基準パターンを載置すれば、被写体が隠れてしまう部分を少なくできる。

図３６は、被写体サイズ確認用パターン７３５を複数色の表示（例えば赤色Ｒと緑色Ｇと青色Ｂのパターン)とする場合を例示している。このように被写体サイズ確認用パターン７３５を複数色の表示とすることで、被写体サイズ確認用パターン７３５を利用して撮像画像を正しい色に容易に調整することが可能となる。

図３７は、被写体領域と基準パターン領域との境界にコントラストの高い線を描くことで、フォーカス調整パターン７３１を構成する場合を例示している。

さらに、基準パターン部７３０は金属やプラスチック等の硬性部材に基準パターンを形成してもよく、図３８に示すように、軟性部材例えばシートやフィルム等に基準パターンを形成してもよい。軟性部材に基準パターンを形成する場合、図３８の（Ｂ）に示すように、基準パターンを被写体（肌）に密着できるようになる。

撮像装置２０は、基準パターンと被写体領域を撮像できる画角で測定対象を十分な大きさで撮像できる撮像光学系２２および十分な解像度で撮像できる画素数の画像センサ２５を有している。例えば、５０倍程度の拡大率の撮像光学系２２を用いる場合、画像センサ２５は１３０万画素程度の画素数を有しているとよい。また、撮像光学系２２でズーム機能を備えている場合は、基準パターンを撮像する時は広角にし、被写体を撮像する時は望遠側にすることによって、より精細な被写体の計測が可能になる。固定焦点の光学系を備えている場合は、予め基準パターン、被写体領域が十分視野内に写っているように撮像光学系の画角等を設計・設定しておけばよい。

［３−２．撮像装置の動作］
図３９は、撮像装置の動作を示すフローチャートである。ステップＳＴ５１で撮像装置２０は、初期設定を行う。撮像装置２０は、最適フォーカスを決定するために点灯する光源を示すパラメータ「ｉ」を例えば「ｉ＝１」に設定する。また、反射率の校正を行うために点灯する光源を示すパラメータ「ｊ」を例えば「ｊ＝１」に設定してステップＳＴ５２に進む。

ステップＳＴ５２で撮像装置２０は、フォーカス制御用ズーム調整を行う。撮像装置２０は、フォーカス調整パターン７３１が視野内に入りフォーカス制御を行うのに十分な領域が写るように撮像光学系２２を制御してステップＳＴ５３に進む。

ステップＳＴ５３で撮像装置２０は、光源ｉを点灯させてステップＳＴ５４に進む。

ステップＳＴ５４で撮像装置２０は、フォーカス調整を行う。撮像装置２０は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置２０は、フォーカス状態を示す評価値を算出してステップＳＴ５５に進む。

ステップＳＴ５５で撮像装置２０は、全光源で調整を行ったか判別する。撮像装置２０は、例えば照明方向が異なるｎ個の光源が設けられている場合、ｉ＝ｎである場合には全光源で調整を行ったと判別してステップＳＴ５７に進む。また、ｉ＜ｎである場合には全光源での調整が完了していない判別してステップＳＴ５６に進む。

ステップＳＴ５６で撮像装置２０は、「ｉ＝ｉ＋１」の演算を行い、パラメータｉを更新してステップＳＴ５３に戻る。

ステップＳＴ５７で撮像装置２０は、最適フォーカスを決定する。撮像装置２０は、照明方向毎に算出した評価値に基づき、フォーカス状態が最も良好となる照明方向を決定してステップＳＴ５８に進む。

ステップＳＴ５８で撮像装置２０は、反射率校正用ズーム調整を行う。撮像装置２０は、最適なフォーカス状態として、反射率校正パターン７３２〜７３４等が視野内に入るように撮像光学系２２を制御してステップＳＴ５９に進む。

ステップＳＴ５９で撮像装置２０は、光源ｊを点灯させてステップＳＴ６０に進む。

ステップＳＴ６０で撮像装置２０は、反射率校正を行う。撮像装置２０は、光源ｊが可視光反射率校正用の光源である白色ＬＥＤの場合、可視光反射率校正用パターンの撮像結果を用いて構成を行う。例えば白領域を撮像したときに撮像画の画素値が所定レベルよりも高い場合、光量を減少させて再度撮像を行う。撮像装置２０は、可視光反射率校正用パターンの撮像画の画素値が所定レベル範囲となる場合、この時の画素値と発光制御値を記憶する。また、白領域を撮像したときに、光量を最大としても所望の明るさの撮像画を得ることができない場合、画像センサ２５のゲインを高めて所望の明るさの撮像画を得られるようにして、このときのゲインを記憶する。また、撮像装置２０は、他の光源および反射率校正用パターンを用いて反射率校正を行う。さらに、撮像装置２０は、黒領域を撮像したときの撮像画から黒オフセット値を求めて記憶しておき、撮像画の画素値から黒オフセット値を減算して、その後の処理に用いるようにしてもよい。

図４０は、白領域と黒領域を用いた校正処理動作を例示している。ステップＳＴ７１で撮像装置２０は、所定の輝度で光源を点灯させる。撮像装置２０は、例えば白色ＬＥＤを所定の輝度で点灯させてステップＳＴ７２に進む。

ステップＳＴ７２で撮像装置２０は、白色領域の画素値を取得する。撮像装置２０は、可視光反射率校正用パターンの白色領域の各画素の画素値を取得してステップＳＴ７３に進む。

ステップＳＴ７３で撮像装置２０は、画素値の総和を算出する。撮像装置２０は、ステップＳＴ７２で取得した画素値の総和（Ｓ１）を算出してステップＳＴ７３に進む。

ステップＳＴ７４で撮像装置２０は、画素値の総和（Ｓ１）が閾値（Ｔｈ１）よりも大きいか判別する。撮像装置２０は画素値の総和（Ｓ１）が閾値（Ｔｈ１）よりも大きい場合に、ステップＳＴ７５に進み、閾値（Ｔｈ１）以下である場合にステップＳＴ７６に進む。

ステップＳＴ７５で撮像装置２０は、光源の輝度を低下させる。撮像装置２０は、白色領域の撮像画の明るさが所定レベルよりも明るいことから、白色ＬＥＤの輝度を低下させてステップＳＴ７２に戻る。

ステップＳＴ７６で撮像装置２０は、画素値の総和（Ｓ１）が閾値（Ｔｈ２）よりも小さいか判別する。撮像装置２０は画素値の総和（Ｓ１）が閾値（Ｔｈ２）よりも小さい場合に、ステップＳＴ７７に進み、閾値（Ｔｈ２）以上である場合にステップＳＴ７８に進む。

ステップＳＴ７７で撮像装置２０は、画像センサのゲインアップを行う。撮像装置２０は、白色領域の撮像画の明るさが所定レベルよりも暗いことから、白色領域の撮像画の明るさが所定レベルとなるように画像センサ２５のゲインを高めてステップＳＴ７８に進む。

ステップＳＴ７８で撮像装置２０は、光源を点灯してステップＳＴ７９に進む。

ステップＳＴ７９で撮像装置２０は、黒色領域の画素値を取得する。撮像装置２０は、可視光反射率校正用パターンの黒色領域の各画素の画素値を取得してステップＳＴ８０に進む。

ステップＳＴ８０で撮像装置２０は、黒オフセット値を記憶する。撮像装置２０は、ステップＳＴ７９で取得した黒色領域の各画素の画素値から黒オフセット値を設定して記憶する。例えば、撮像装置２０は、黒色領域の各画素の画素値の平均値を黒オフセット値として記憶する。このようにして、撮像装置２０は反射率校正を行う。

図３９のステップＳＴ６１で撮像装置２０は、全光源で調整を行ったか判別する。撮像装置２０は、例えば複数種類の校正を行うために波長が異なるｑ個の光源が設けられている場合、ｉ＝ｑである場合には全光源で調整を行ったと判別してステップＳＴ６３に進む。また、ｉ＜ｑである場合には全光源での調整が完了していない判別してステップＳＴ６２に進む。

ステップＳＴ６２で撮像装置２０は、「ｊ＝ｊ＋１」の演算を行い、パラメータｊを更新してステップＳＴ５９に戻る。

ステップＳＴ６３で撮像装置２０は、撮像用ズーム調整を行う。撮像装置２０は、最適なフォーカス状態として、被写体領域が視野内いっぱいに入るように撮像光学系２２を制御してステップＳＴ６４に進む。

ステップＳＴ６４で撮像装置２０は、光源点灯制御を行う。撮像装置２０は、撮像に用いる光源を選択して、選択した光源に対する発光制御値に基づき、発行量を制御してステップＳＴ６５に進む。

ステップＳＴ６５で撮像装置２０は、撮影を行う。撮像装置２０は、撮像動作を行い肌画像の画像信号を取得してステップＳＴ６６に進む。

ステップＳＴ６６で撮像装置２０は、光源の選択終了であるか判別する。撮像装置２０は、所望の波長の光源を用いた撮像が終了していない場合、ステップＳＴ６７に進み、所望の波長の光源を用いた撮像が完了した場合、すなわち光源の選択終了である場合撮像を終了する。

ステップＳＴ６７で撮像装置２０は、光源の切り替えを行う。撮像装置２０は、所望の波長の光源のなかで、まだ撮像に用いられていない光源を選択してステップＳＴ６４に戻る。

このような処理を行えば、最適なフォーカス状態で、照明光として白色光を用いた撮像画像だけでなく、照明光として近赤外光や紫外光等を用いた場合の撮像画像を容易に得ることができる。また、反射率校正用のキャップの着脱を行うことなく、反射率の校正を自動的に行うことができる。

［３−３．付属装置の他の構成］
ところで、図４１に示すように基準パターンに厚みがある場合、パターン表面と被写体表面との間に距離ｄｂが生じ、パターンにフォーカスが合っているが、被写体表面には合っていないということもありうる。パターン表面と被写体表面の双方が合焦範囲に含まれるような被写界深度のレンズを用いるか、あるいは、パターン厚み（既知）の分だけフォーカスを調整して被写体表面に合焦するようにすればよい。また、図４２に示すように、同様にレンズの設定、フォーカスの調整を行うことにより、被写体表面だけでなく、被写体内部にフォーカスを合わせて情報を取得することも可能である。また、図４３に示すように、弾性体８５を介して鏡胴２１と付属装置７１を接続する構成とすれば、肌画像の撮像時に撮像装置２０を肌に押し当てる力が一定範囲になるように調整できる。なお、この場合、撮像光学系２２と被写体（例えば肌表面）までの距離が変化する可能性があるが、フォーカス制御用パターンを利用することで被写体にフォーカスを正しく合わせることが可能となる。

［３−４．画像処理装置と表示装置について］
上述のように、撮像装置２０で波長の異なる光源を用いて撮像画の画像信号が生成される。また、反射率の校正が行われて撮像画の画像信号が生成される。したがって、画像処理装置は、白色光源を用いた撮像画の画像信号に基づいて肌解析を行うだけでなく、波長の異なる光源を用いた撮像画の画像信号に基づいて肌解析を行うようにしてもよい。

解析装置４０は、例えば第１の実施の形態で説明したように、可視光光源を用いて撮像された撮像画の画像信号を用いて、きめ解析を行う。また、解析装置４０は、例えば赤色光源や近赤外光源を用いて撮像された撮像画の画像信号を用いて、メラニンの解析を行う。ここで、赤色光源を用いて撮像された撮像画の画素値を「Ｉred」、近赤外光源を用いて撮像された撮像画の画素値を「ＩIR」としたとき、式（３）に基づきメラニン量の指標（メラニンインデックス「ＭＩ」）を画素毎に算出する。

また、各画像の中心領域（例えば６４×６４画素の領域）の平均値を求めて、それぞれを「ＩIR」「Ｉred」として、画像に対するメラニンインデックスを算出するようにしてもよい。

さらに、フォーカスを決定するために複数の方向から光を照射して求めた評価値を用いて、肌の状態を解析することも可能である。例えば、図２２を用いて説明したように、しわに直交した方向から照射したときに評価値が大きくなるので、照明方向を３６０度移動差させた場合にはピークが２つ存在する。一方、しわの目立たない部位の皮丘形状が例えば四角形状である場合、照明方向を３６０度移動差させた場合には、４つのピークが存在することになる。このことを利用し、ピークが２つ存在するときは、しわのある状態と判定し、評価値のレベルに基づきしわの程度を判定してもよい。

表示装置６０は、解析装置４０の解析結果をユーザへ提示する。例えばきめの解析結果やメラニンの解析結果をグラフで表示したり、撮像画像にメラニンインデックスの高い領域をオーバーレイ表示によってユーザへ提示する。

以上のように、第２の実施の形態によれば、基準パターンをもとにフォーカスを合わせることができるようになり、肌を接写撮像した場合など低コントラストの状態でも適切に自動でフォーカスを合わせることができるようになる。その結果、肌表面の細かなきめの測定などの精度を向上できる。また、反射率校正用治具などを用いなくても自動的に反射率の校正を行えるようになり、ユーザにとって校正の煩わしさがなくなる。さらに、肌測定のたびに自動的に校正を行うことも可能となり、より精度の高い色測定、分光測定等が可能となる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本技術の撮像装置は以下のような構成も取ることができる。
（１） 被写体の照明方向が切り替え可能とされている照明部と、
前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う制御部と
を備える撮像装置。
（２） 前記照明部は、撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで照明方向を切り替える（１）に記載の撮像装置。
（３） 前記照明部は、照明光の照射角度を切り替える（２）に記載の撮像装置。
（４） 前記制御部は、前記照明方向について周方向で間引きして、間引き後の照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出し、該算出された評価値から前記間引きされた照明方向についての評価値を算出する（２）または（３）に記載の撮像装置。
（５） 前記制御部は、前記照明方向について周方向にグループ化を行い、１グループ内で前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する（２）乃至（４）の何れかに記載の撮像装置。
（６） 前記制御部は、前記１グループ内に直交する照明方向を含める（５）に記載の撮像装置。
（７） 前記照明部は、前記被写体の撮像画像を用いて行われる解析処理に適した発光波長の光源を用いて照明を行う（１）乃至（６）の何れかに記載の撮像装置。
（８） 前記照明部は、照明光を出射する光源の切り替え、または光源から出射された照明光の通過をシャッタで制御することにより、前記照明方向の切り替えを行う（１）乃至（７）の何れかに記載の撮像装置。
（９） 前記制御部は、前記評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させる（１）乃至（８）の何れかに記載の撮像装置。

この技術の撮像装置と撮像方法、プログラム、撮像システム、および付属装置では、被写体の照明方向が切り替え可能とされており、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、この評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像が行われる。このため、最適な方向で照明が行われてフォーカス調整が行われて、フォーカス状態が良好な肌画像を容易に得ることができるようになる。したがって、美容業界等で用いられる肌画像の撮像や肌解析を行うシステムに適している。

１０・・・肌状態解析システム、２０・・・撮像装置、２１・・・鏡胴、２２・・・撮像光学系、２３・・・撮像光学系駆動部、２４・・・偏光フィルタ、２５・・・画像センサ、２６・・・信号処理部、３１・・・制御部、３２・・・メモリ部、４０・・・解析装置、４１・・・表皮画像処理部、４２・・・表皮パターン検出部、４３・・・後天的要素解析部、４４・・・きめ評価部、６０・・・表示装置、７１・・・付属装置、８１・・・付属部品、８２・・・指示表示部、８５・・・弾性体、９１・・・外部光源、４１１・・・画像補正部、４１２・・・単一チャネル抽出部、４１３・・・ノイズ除去部、４２１・・・２値化部、４２２・・・ラベリング処理部、４３１・・・表皮サイズ分布解析部、４３２，４３３・・・表皮形状分布解析部、４３４・・・表皮方向性解析部、７１１・・・光源、７１２・・・光ファイバ、７１３・・・照明モジュール、７１３ａ・・・光源、７１３ｂ・・・導光板、７１３ｃ・・・拡散板、７１３ｄ・・・反射板、７１４・・・リングライト、７１５、７１８，７２０・・・シャッタ、７１６〜1〜７１６〜4，７１７〜1〜７１７〜4・・・光ファイバ、７１９、７２１・・・光源、７３０・・・基準パターン部、７３１・・・フォーカス調整パターン、７３２〜７３４・・・反射率校正パターン、７３５・・・被写体サイズ確認用パターン、７３６・・・色調整パターン

Claims (15)

1. 被写体の照明方向が切り替え可能とされている照明部と、
   前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う制御部と
   を備える撮像装置。
2. 前記照明部は、撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで照明方向を切り替える請求項１記載の撮像装置。
3. 前記照明部は、照明光の照射角度を切り替える請求項２記載の撮像装置。
4. 前記制御部は、前記照明方向について周方向で間引きして、間引き後の照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出し、該算出された評価値から前記間引きされた照明方向についての評価値を算出する請求項２記載の撮像装置。
5. 前記制御部は、前記照明方向について周方向にグループ化を行い、１グループ内で前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する請求項２記載の撮像装置。
6. 前記制御部は、前記１グループ内に直交する照明方向を含める請求項５記載の撮像装置。
7. 前記照明部は、前記被写体の撮像画像を用いて行われる解析処理に適した発光波長の光源を用いて照明を行う請求項１記載の撮像装置。
8. 前記照明部は、照明光を出射する光源の切り替え、または光源から出射された照明光の通過をシャッタで制御することにより、前記照明方向の切り替えを行う請求項１記載の撮像装置。
9. 前記制御部は、前記評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させる請求項１記載の撮像装置。
10. 照明方向を切り替え可能に被写体の照明を行う工程と、
    前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う工程と
    含む撮像方法。
11. 被写体の照明方向が切り替え可能とされている照明部を備えた撮像装置の動作制御をコンピュータで実行させるプログラムであって、
    前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う手順
    を前記コンピュータで実行させるプログラム。
12. 被写体の撮像画像を生成する撮像装置と、
    前記撮像画像を用いて前記被写体の解析を行う解析装置とを有し、
    前記撮像装置は、
    前記被写体の照明方向が切り替え可能とされている照明部と、
    前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う制御部と
    を備える撮像システム。
13. 被写体の照明方向が切り替え可能とされている照明部を備え、
    前記照明部は、外部機器からの指示に応じて照明方向の切り替えを行い、または、照明方向を自動的に切り替え、照明方向を示す情報を外部機器に出力する付属装置。
14. 被写体を撮像するための調整に用いる基準パターンが撮像画角内に含まれるように設けられた基準パターン部と、
    前記基準パターンを利用した前記被写体を撮像するための調整後に前記被写体の撮像を行う制御部と
    を備える撮像装置。
15. 被写体を撮像するための調整に用いる基準パターンが撮像画角内に含まれるように設けられた基準パターン部を備える付属装置。

Images