JP2018121752A - 画像解析装置、画像解析方法、および画像解析プログラム - Google Patents

Abstract

【課題】人間の心理評価により近い解析結果を提供することが可能な画像解析装置、画像解析方法、および画像解析プログラムを実現する。【解決手段】画像解析装置は、人体表面の部位の画像を反対色空間における画像に変換する色空間変換部と、反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、サブバンド画像について部位に応じた特徴量を算出する解析部と、特徴量に基づいて部位の外観を評価する評価部とを備える。【選択図】図２

Description

本発明は、画像解析装置、画像解析方法、および画像解析プログラムに関し、特に、人体表面の部位の画像を解析するための画像解析装置、画像解析方法、および画像解析プログラムに関する。

画像解析技術を用いて肌画像の特徴量を抽出し、肌の状態、質感などを客観的に評価する方法が知られている。

特許文献１では、肌画像から各画素の輝度を算出し、輝度のヒストグラムの形状に基づいて肌の状態を評価する方法が提案されている。特許文献１の方法は、ヒストグラムの分散、歪度を用いて肌の状態を評価している。

特許文献２では、肌画像をウェーブレット変換により空間周波数成分に分解し、各空間周波数成分の変化量に基づいて肌の質感を評価する方法が提案されている。特許文献２の方法は、空間周波数成分を複数の帯域に分類し、各帯域における変化量を肌のムラ、キメの強さの指標値としている。

特許文献３では、肌画像をウェーブレット変換により空間周波数成分に分解し、特定帯域の周波数成分を再構成した画像に基づいて肌の質感を評価する方法が提案されている。特許文献３の方法は、中周波数成分の再構成画像について各ピクセル成分のデータを２乗し、平均値を求め、この平均値を肌の質感を表す指標値としている。

特開２００９−１３１３３６号公報 特開２０１４−２１７４５６号公報 特開２００４−１６６８０１号公報

特許文献１〜３の方法は、デジタルカメラを用いて撮像された画像に対して、画像の輝度、鏡面反射成分などのデータを解析している。しかしながら、特許文献１〜３の方法は、特定の周波数成分についての統計量のみを扱っており、人間の知覚において利用されている多様な統計量を考慮していない。このために、人間の心理評価と解析結果との間にずれが生じてしまう可能性がある。

本発明は、このような問題に鑑みてなされたものであって、人間の心理評価により近い解析結果を提供することが可能な画像解析装置、画像解析方法、および画像解析プログラムを実現することを目的とする。

本発明に係る画像解析装置は、人体表面の部位の画像を反対色空間における画像に変換する色空間変換部と、前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出する解析部と、前記特徴量に基づいて前記部位の外観を評価する評価部とを備える。

本発明に係る画像解析方法は、人体表面の部位の画像を反対色空間における画像に変換するステップと、前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出するステップと、前記特徴量に基づいて前記部位の外観を評価するステップとを備える。

本発明によれば、人間の心理評価により近い解析結果を提供することが可能な画像解析装置、画像解析方法、および画像解析プログラムを実現することができる。

第１実施形態に係る画像解析装置のハードウェアブロック図である。 第１実施形態に係る画像解析装置の機能ブロック図である。 第１実施形態に係るウェーブレット部による処理の概念図である。 第１実施形態に係る特徴量と心理スコアの回帰分析の一例である。 第１実施形態に係る因子分析を説明するための図である。 第１実施形態に係る画像解析方法のフローチャートである。 第２実施形態に係る画像解析システムのハードウェアブロック図である。

［第１実施形態］
図１は、本実施形態に係る画像解析装置のハードウェアブロック図である。画像解析装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ハードディスク１０４、記録媒体Ｉ／Ｆ１０５、表示コントローラ１０６、入力Ｉ／Ｆ１０７、ネットワークＩ／Ｆ１０８を備えている。画像解析装置１００には、撮像装置１１１、表示装置１１２、キーボード１１３、マウス１１４が接続されている。画像解析装置１００は、ネットワーク１１５と通信可能に接続されており、また記録媒体１１６を装着することが可能である。画像解析装置１００は、例えば化粧品販売店、美容院などにおいて、顧客の肌、毛髪などの印象を評価するために使用することができる。

ＣＰＵ（Central Processing Unit）１０１は、ＣＰＵコア、キャッシュメモリなどを備え、画像解析装置１００の動作を統括的に制御する。ＣＰＵ１０１は、ＲＯＭ１０３から所定のプログラムを読み出し実行することにより、画像解析装置１００の各部の機能を実現することができる。ＲＡＭ（Random Access Memory）１０２は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ１０１のワーク領域、プログラムのロード領域などとして使用される。ＲＡＭ１０２は、プログラムの実行中に必要なデータ、解析対象となる画像のデータなどを一時的に記憶する。ＲＯＭ（Read Only Memory）１０３は、例えばＥＥＰＲＯM（Electrically Erasable Programmable ROM）であり、ＯＳ（Operating System）などの基本プログラム、画像解析プログラムなどの各種アプリケーションプログラムを格納する。

ハードディスク１０４は、磁気ディスク、磁気ヘッド、アクチュエータなどから構成され、撮像装置１１１により取得した画像、画像の解析結果、顧客データ、各種設定情報などを格納する。ハードディスク１０４は、記録媒体Ｉ／Ｆ１０５またはネットワークＩ／Ｆ１０８を介して外部から取得した画像、各種データなどを格納することもできる。さらに、画像解析装置１００は、ＳＳＤ（Solid State Drive）などの記憶装置を備えていてもよい。

記録媒体Ｉ／Ｆ１０５は、メモリカードスロット、ＵＳＢ（Universal Serial Buss）コネクタなどのインターフェースである。記録媒体Ｉ／Ｆ１０５、記録媒体１１６と接続し、記録媒体１１６とデータの送受信を行う。記録媒体１１６は、メモリカード、ＵＳＢメモリなどの可搬型の情報記録媒体であり、記録媒体Ｉ／Ｆ１０５と脱着可能に接続される。

表示コントローラ１０６は、ビデオメモリを含むプロセッサであり、表示装置１１２の表示を制御する。表示コントローラ１０６は、ＣＰＵ１０１により出力された表示データを一時記憶するとともに、表示信号を生成し、表示装置１１２に供給する。表示装置１１２は、液晶ディスプレイ、有機発光ディスプレイなどから構成され、表示コントローラ１０６からの表示信号に応じた画面表示を行う。表示装置１１２は、解析対象の画像および解析結果を表示する他、画像の取得、人体表面の部位の指定、解析の開始などを行うためのメニュー画面を表示する。

表示装置１１２のディスプレイは、タッチセンサ１１２ａを備えたタッチパネルを構成している。ユーザは、タッチパネルに表示されたボタン、アイコンなどを指で触れることにより、所望の指示を画像解析装置１００に入力することができる。表示コントローラ１０６は、ユーザの指の接触位置を算出する座標検出回路を備えており、ユーザからの指示を受け付けることができる。さらに、画像解析装置１００は、画像の解析結果を紙に出力するプリンタなどの印刷装置を備えていてもよい。

入力Ｉ／Ｆ１０７は、キーボード１１３、マウス１１４などの外部の入力デバイスを接続するためのインターフェースである。キーボード１１３、マウス１１４は、ユーザが画像解析装置１００に対して各種指示を与えるための入力デバイスであり、入力Ｉ／Ｆ１０７に接続されている。入力Ｉ／Ｆ１０７は、キーボード１１３、マウス１１４の操作に応じた入力信号をＣＰＵ１０１に送信する。

ネットワークＩ／Ｆ１０８は、例えばＬＡＮ（Local Area Network）カードなどのインターフェースであり、ネットワーク１１５と接続し、ネットワーク１１５を介して外部装置とデータの送受信を行う。ネットワーク１１５は、ＬＡＮ、インターネットなどの通信ネットワークであり、例えば、解析に用いる各種データ、解析対象の画像、画像の解析結果、顧客データなどを格納するデータベースが接続される。

撮像装置１１１は、ＬＥＤ（Light Emitting Diode）、対物レンズ、イメージセンサ、信号処理回路などから構成されるハンディタイプのデジタルカメラ、マイクロスコープである。撮像装置１１１は、人体表面の部位、例えば顔（全体）、頬、手の甲、腕、唇、頭髪などの部位に近接または当接され、これらの部位の画像を撮像する。ＬＥＤは光源であり、所定の波長帯域、照度の光を撮像領域に照射する。撮像装置１１１の光源は、ＬＥＤに限定されず、例えばハロゲンランプであってもよい。また、撮像装置１１１は光源を備えていなくてもよい。対物レンズは、複数のレンズから構成され、所定の倍率で被写体を拡大する。イメージセンサは、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary MOS）などのセンサであり、被写体（撮像領域）からの光を電気信号に変換する。信号処理回路は、アナログ増幅回路、デジタル変換回路を備え、イメージセンサからの電気信号を増幅するとともにデジタルの画像データに変換する。画像データは画像解析装置１００に出力される。

図２は、本実施形態に係る画像解析装置の機能ブロック図である。画像解析装置１００は、画像取得部２０１、色空間変換部２０２、ウェーブレット変換部２０３、特徴量抽出部２０４、心理スコア算出部２０５の機能を有している。ウェーブレット変換部２０３および特徴量抽出部２０４は、解析部を構成し、心理スコア算出部２０５は、評価部を構成する。図２において、矢印はデータの流れを表している。これらの機能は、ＣＰＵ１０１がＲＯＭ１０３に格納されたプログラムを読み出し、実行することにより実現される。当該プログラムは、ネットワーク１１５または記録媒体１１６を介して外部からインストールされ、ＲＯＭ１０３に格納されたものであってもよい。

画像取得部２０１は、撮像装置１１１から解析の対象となる画像データ（以下、解析対象画像）を取得する。解析対象画像は、人体表面の部位、例えば頬、手の甲、腕、唇、頭髪、あるいは顔全体などを撮像した画像である。解析対象画像は、例えば、各画素が８ビットのＲＧＢ値（０〜２５５）で表されたＲＧＢ色空間の静止画像である。解析対象画像は、ＲＧＢ色空間の画像を取得可能なものであれば一般的なデジタルカメラを用いて撮像した画像であってよい。また、画像取得部２０１は、解析対象画像をネットワーク１１５、記録媒体１１６を介して取得してもよい。

色空間変換部２０２は、取得した解析対象画像を反対色空間の画像に変換する。反対色空間は、人間の視覚情報処理メカニズムを模倣したモデルであり、人間の網膜の３種類の錐体（Ｌ錐体、Ｍ錐体、Ｓ錐体）の各応答値（Ｌ、Ｍ、Ｓ）を用いて画像を表現する。反対色空間において、画像の輝度成分、赤緑成分はそれぞれ、Ｌ錐体とＭ錐体の応答値の和（Ｌ＋Ｍ）、Ｌ錐体とＭ錐体の応答値の差（Ｌ−Ｍ）で表される。また、画像の黄青成分は、Ｓ錐体の応答値からＬ錐体とＭ錐体の応答値の和を減算（Ｓ−（Ｌ＋Ｍ））したものである。

ＲＧＢ色空間の画像から反対色空間の画像への変換は、所定の変換行列を用いて実行することができる。例えば、色空間変換部２０２は、以下の式を用いてＲＧＢ値をＬＭＳ値に変換し、ＬＭＳ値を反対色空間における成分値に変換する。反対色空間における成分は、反対色の成分、反対色信号などとも呼ばれる。

反対色空間への変換方法は上述の例に限定されることなく、ＩＥＣ（International Electrotechnical Commission）６１９６６−２−１、ＣＩＥ（Commission Internationale de l'Eclairage）ＣＡＭ９７ｓ、ＣＩＥＣＡＭ０２などで規定された変換行列を用いることができる。

ウェーブレット変換部２０３は、解析対象画像に対してウェーブレット変換を実行し、異なる空間周波数のサブバンド画像に分解する。ウェーブレット変換部２０３は、解析対象画像の輝度成分、赤緑成分、黄青成分のそれぞれに対してウェーブレット変換を実行する。これにより、反対色空間の３種類の成分から空間周波数の異なる複数のサブバンド画像が生成される。ウェーブレット変換部２０３は、例えば２５６×２５６画素の画像に対してウェーブレット変換を実行することにより、画像幅を基準とする１、２、４、・・・、１２８［ｃｙｃｌｅ／画像幅］の８種類の空間周波数のサブバンド画像を生成することができる。さらに、これらの空間周波数は、帯域ごとに分類することができる。例えば、１〜２［ｃｙｃｌｅ／画像幅］の空間周波数を低空間周波数、４〜１６［ｃｙｃｌｅ／画像幅］の空間周波数を中空間周波数、３２〜１２８［ｃｙｃｌｅ／画像幅］の空間周波数を高空間周波数に分類することができる。

図３は、本実施形態に係るウェーブレット変換部による処理の概念図である。ウェーブレット変換部２０３は、解析対象画像に対して多段階の２次元ウェーブレット変換を行う。ウェーブレット変換部２０３は、まず、画像の水平方向（各行）に対してウェーブレット変換を行う。これにより、元の画像は、水平方向における低周波成分画像（Ｌ）と高周波成分画像（Ｈ）に分解される（図３（ａ））。次に、ウェーブレット変換部２０３は、低周波成分画像（Ｌ）と高周波成分画像（Ｈ）の垂直方向（各列）に対してウェーブレット変換を行う。これにより、低周波成分画像（Ｌ）は、垂直方向における低周波成分画像（ＬＬ）と高周波成分画像（ＬＨ）に分解され、高周波成分画像（Ｈ）は、垂直方向における低周波成分画像（ＨＬ）と高周波成分画像（ＨＨ）に分解される（図３（ｂ））。これら４つの周波数成分画像（ＬＬ、ＬＨ、ＨＬ、ＨＨ）を第１階のサブバンド画像と呼ぶ。

さらに、ウェーブレット変換部２０３は、第１階の低周波成分画像（ＬＬ）に対して、上述の水平および垂直方向の２次元のウェーブレット変換を実行する。これにより、第１階の低周波成分画像（ＬＬ）は、第２階の４つのサブバンド画像に分解される（図３（ｃ））。すなわち、水平および垂直方向における低周波成分画像（ＬＬ２）、垂直方向における高周波成分画像（ＬＨ２）、水平方向における高周波成分画像（ＨＬ２）、水平および垂直方向における高周波成分画像（ＨＨ２）が生成される。

ウェーブレット変換部２０３は、このような２次元ウェーブレット変換を各段階の低周波成分画像（ＬＬ、ＬＬ２、・・・）に対して繰り返し実行することにより、空間周波数の異なる複数のサブバンド画像を得ることができる。なお、ウェーブレット変換部２０３は、２次元ウェーブレット変換に限定されず、画像の水平方向、垂直方向、斜め方向などの所定の方向に対して、１次元ウェーブレット変換を実行するように構成されていてもよい。また、２次元フーリエ変換、コサイン変換などの直交関数変換を用いてもよい。

特徴量抽出部２０４は、心理評価データベース２０６から取得した情報に基づいて人体表面の部位に応じた特徴量の種別を選択する。特徴量は、画像データから算出可能な画像の特徴であり、例えば、空間周波数、反対色空間の成分、および統計量の組み合わせで定義される。統計量は、画像の画素値を標本として統計的に算出される標準偏差、歪度、尖度、相関係数、平均などの値である。本明細書において、特徴量は、例えば「低空間周波数における輝度成分の標準偏差」、「中空間周波数における赤緑成分の歪度」のように表現される。

心理評価データベース２０６には、顔全体、頬、手の甲、腕、唇、頭髪などの人体表面の部位のそれぞれに対して、１つまたは複数の特徴量の種別を関連付けたテーブルが格納されている。例えば、頬、手の甲、腕、唇などの部位に対して、高空間周波数における輝度成分の標準偏差と、中空間周波数における赤緑成分の標準偏差とが関連付けられる。また、頭髪に対して、中空間周波数における輝度成分の歪度が関連付けられる。したがって、特徴量抽出部２０４は、当該テーブルを参照することにより、特徴量の様々な種別の中から人体表面の部位に応じた１つまたは複数の特徴量の種別を選択することができる。人体表面の部位と特徴量の種別との関連づけは、サンプル画像を用いて心理評価実験を行い、特徴量と心理スコアの関係を回帰分析することにより事前に決定することができる。

特徴量抽出部２０４は、部位に応じて選択した種別の特徴量をサブバンド画像から算出する。特徴量抽出部２０４は、サブバンド画像のそれぞれに対して、画素値（反対色空間の成分の強度）を横軸、度数（画素数）を縦軸としたヒストグラムを生成し、当該ヒストグラムの統計量の値を算出することができる。ヒストグラムの統計量には、標準偏差ｓｄ、歪度ｓｋｅｗ、尖度ｋｕｒｔ、および相関係数ｃｏｒｒが含まれる。ここで相関係数ｃｏｒｒは、同じ空間周波数における反対色空間の成分間の相関係数である。例えば、高空間周波数におけるサブバンド画像に対して、輝度成分と赤緑成分、赤緑成分と黄青成分、黄青成分と輝度成分の３種類の相関係数を算出することができる。低・中空間周波数におけるサブバンド画像に対しても同様である。

標準偏差ｓｄ、歪度ｓｋｅｗ、尖度ｋｕｒｔ、相関係数ｃｏｒｒは、例えば、以下の式により定義される。式中、Ｎはサブバンド画像の画素数を表し、Ｘｉは各画素（ｉ＝１〜Ｎ）が有する反対色空間の成分値を表す。また、ｍは、反対色空間の成分値の平均を表し、ｃｏｖは、反対色空間の成分間の共分散を表す。

なお、上式の相関係数ｃｏｒｒＲＧＹＢは、赤緑成分（ＲＧ）と黄青成分（ＹＢ）の相関係数である。輝度成分と赤緑成分、輝度成分と黄青成分の相関係数についても同様の式を定義することができる。

心理スコア算出部２０５は、特徴量抽出部２０４が算出した特徴量に基づいて人体表面の部位の外観を評価する。心理スコア算出部２０５は、心理評価データベース２０６に格納された心理評価データを用いて、特徴量を人間の心理評価値（スコア）に変換する。心理評価データは、上述した部位と特徴量の種別との関連づけと同様に、サンプル画像を用いて心理評価実験を行い、特徴量と心理スコアの関係を回帰分析することにより事前に決定することができる。

図４は、本実施形態に係る特徴量と心理スコアの回帰分析の一例である。図４は、サンプル画像に関する輝度成分の標準偏差と心理スコアの散布図を示している。心理評価実験は、１７６個のサンプル画像を用いて７人の被験者により行われた。サンプル画像は、一定の条件の元で撮像された同一部位の画像である。被験者は、「色の均一さ」、「光沢の強さ」、「なめらかさ」などの１０種類の評価項目について、サンプル画像の印象を１〜５点の心理スコアで数値化した。

散布図において、丸印のそれぞれは１つのサンプル画像に対応している。ｘ軸は「なめらかさ」についての心理スコアを表し、ｙ軸は中空間周波数における輝度成分の標準偏差の対数値を表している。この散布図から、例えば最小２乗法を用いて回帰直線を求めることができる。心理スコア算出部２０５は、このような回帰直線を用いて各特徴量を心理スコアに変換する。心理スコア算出部２０５は、１０種類の評価項目のすべての項目または一部の項目について心理スコアを算出する。

図４に示す回帰分析に基づいて、上述した部位と特徴量の種別との関連づけを行うことができる。心理スコアとの相関係数が特に高い特徴量、例えば絶対値が０．５以上の特徴量の種別を、サンプル画像として用いた人体表面の部位に関連づけることができる。心理スコア算出部２０５は、種別の異なる複数の特徴量をそれぞれの相関係数に応じて重み付け加算することにより、各特徴量の影響度を反映した心理スコアを算出してもよい。

図５は、本実施形態に係る因子分析を説明するための図である。図５において、横軸は第１因子、縦軸は第２因子を表し、上述の心理評価実験で得られた１０種類の評価項目のそれぞれについて、各因子との相関の程度（因子得点）がプロットされる。今回実施した１０種類の評価項目は、第１因子と第２因子の２つの評価軸に集約され、第１因子および第２因子の累積寄与率は約８５％であった。

第１因子に関する評価軸は、「ポジティブ」―「ネガティブ」を表す第１の評価軸と呼ぶことができる。一方、第２因子に関する評価軸は、「つや強い」―「つや弱い」を表す第２の評価軸と呼ぶことができる。心理スコア算出部２０５は、１０種類の評価項目について心理スコアを算出する代わりに、これら第１の評価軸と第２の評価軸のそれぞれの心理スコアを算出してもよい。

第１の評価軸と第２の評価軸は、画像の様々な特徴量のうちの限られた種別の特徴量と強く相関している。例えば、第１の評価軸は、中・高空間周波数における輝度成分の標準偏差、輝度成分の平均値などとの相関が高い。また、第２の評価軸は、低〜高空間周波数における輝度の標準偏差や歪度などとの相関が高い。

上述した評価軸と画像の特徴量の種別との相関は、人間の頬を撮像した画像に基づいて得られたものである。よって、頬に対して上述の特徴量の種別を関連づけることができる。同様に人体表面の他の部位に対しても、第１の評価軸と第２の評価軸は、それぞれ限られた種別の特徴量と強く相関する。人間の部位とそれに応じた特徴量の種別は、互いに関連付けられ、心理評価データベース２０６に予め格納される。心理評価データベース２０６は、例えばハードディスク１０４内に作成される。

図６は、本実施形態に係る画像解析方法のフローチャートである。ここでは画像解析装置１００が人間の頬の画像を解析する例を説明する。まず、ＣＰＵ１０１は、タッチセンサ１１２ａ、キーボード１１３、マウス１１４からの入力信号に応じて、撮像装置１１１から解析対象画像を取得する（ステップＳ６０１）。解析対象画像は、人間の頬を撮像した２５６ｘ２５６画素のＲＧＢ色空間の画像である。ＲＧＢの各値は８ビットの値で表される。ＣＰＵ１０１は、撮像装置１１１の特性に応じて、ＲＧＢの各値が実際の輝度に対して線形に変化するように補正処理を行う。なお、ＣＰＵ１０１は、解析対象画像をハードディスク１０４から取得してもよく、ネットワーク１１５または記録媒体１１６を介して外部装置から取得してもよい。さらに、ＣＰＵ１０１は、人体表面のどの部位を撮像した画像であるかを入力するための画面を表示装置１１２に表示する。表示装置１１２においてユーザが頬を指定することにより、ＣＰＵ１０１は、解析対象画像が頬の画像であると判断することができる。なお、画像が表す人体表面の部位の情報を事前に解析対象画像に含めるようにしてもよい。

次に、ＣＰＵ１０１は、取得したＲＧＢ色空間の画像を反対色空間の画像に変換する（ステップＳ６０２）。具体的には、ＣＰＵ１０１は、上記数式１を用いて各画素のＲＧＢ値をＸＹＺ値に変換し、上記数式２を用いて各画素のＸＹＺ値をＬＭＳ値に変換する。続いて、ＣＰＵ１０１は、反対色空間における輝度成分Ｌｕｍ、赤緑成分ＲＧ、黄青成分ＹＢをそれぞれＬｕｍ＝Ｌ＋Ｍ、ＲＧ＝（Ｌ−Ｍ）／Ｌｕｍ−０．７、ＹＢ＝（Ｓ−Ｌｕｍ）／Ｌｕｍ−１．０の数式を用いて算出する。ここで、ＣＰＵ１０１は、白色についての赤緑成分ＲＧと黄青成分ＹＢの値が０になるように、赤緑成分ＲＧと黄青成分ＹＢの値を補正している。

次に、ＣＰＵ１０１は、反対色空間における解析対象画像を空間周波数成分に分解する（ステップＳ６０３）。まず、ＣＰＵ１０１は、反対色空間の成分のそれぞれに対して、正規化を行う。次に、ＣＰＵ１０１は、反対色空間の３つの成分のそれぞれに対して、多段階の２次元ウェーブレット変換を実行することにより、１、２、４、・・・、６４、１２８［ｃｙｃｌｅ／画像幅］の空間周波数成分を有する８個のサブバンド画像を生成する。すなわち、ステップＳ６０３において、ＣＰＵ１０１は、計２４（＝３×８）個のサブバンド画像を生成する。なおステップＳ６０３における周波数分解は、上述のウェーブレット変換による周波数分解と同様の結果を得るものであればよい。例えば、ＣＰＵ１０１は、中心周波数ｆｃ＝１、２、４、・・・、６４、１２８［ｃｙｃｌｅ／画像幅］の８種類の線形フィルタを用いて、解析対象画像を８つの異なる空間周波数帯域に分解してもよい。ここで線形フィルタは、周波数空間において特定の中心周波数ｆｃおよび２オクターブの帯域幅（半値幅）をもつ等方性の線形フィルタである。

次に、ＣＰＵ１０１は、ハードディスク１０４に格納された心理評価データベース２０６にアクセスし、人体表面の部位を特徴量の種別に関連付けたテーブルを検索する。ＣＰＵ１０１は、頬に応じた特徴量の種別として、高空間周波数における輝度成分の標準偏差と中空間周波数における赤緑成分の標準偏差を当該テーブルから選択する（ステップＳ６０４）。

次に、ＣＰＵ１０１は、ステップＳ６０４において選択した種別の特徴量を算出する（ステップＳ６０５）。ＣＰＵ１０１は、例えば高空間周波数における輝度成分のサブバンド画像からヒストグラムを生成し、上記数式３を用いて該ヒストグラムの標準偏差ｓｄを算出する。これにより得られる標準偏差、すなわち高空間周波数における輝度成分の標準偏差の値は、例えば−１．４９である。同様に、ＣＰＵ１０１は、例えば中空間周波数における赤緑成分のサブバンド画像からヒストグラムを生成し、上記数式３を用いて該ヒストグラムの標準偏差ｓｄを算出する。これにより得られる標準偏差、すなわち中空間周波数における赤緑成分の標準偏差の値は、例えば−２．６１である。

最後に、ＣＰＵ１０１は、ハードディスク１０４に格納された心理評価データベース２０６にアクセスし、心理評価データに基づいて心理スコアを算出する（ステップＳ６０６）。ＣＰＵ１０１は、心理評価データに含まれる回帰直線および重み付けを用いて、算出した特徴量を心理スコアに変換する。例えば、ＣＰＵ１０１は、図５に示した回帰直線ｙ＝−０．１１９ｘ−１．２０に、高空間周波数における輝度成分の標準偏差の値ｙ＝−１．４９を代入し、心理スコア２．４点を得る。同様に、ＣＰＵ１０１は、中空間周波数における赤緑成分の標準偏差についての回帰直線とステップＳ６０５において算出した中空間周波数における赤緑成分の標準偏差の値を用いて、別の心理スコア（例えば４．１点）を得る。ＣＰＵ１０１は、これら２つの心理スコアを例えば０．７および０．３で重み付け加算し、最終的に心理スコア２．９点を得る。ＣＰＵ１０１は、算出した最終的な心理スコアを表示装置１１２に表示する。

さらに、ＣＰＵ１０１は、第１の評価軸と第２の評価軸のそれぞれに対して、ステップＳ６０５と同様の方法により心理スコアを算出し、表示装置１１２に表示してもよい。例えば、ＣＰＵ１０１は、高空間周波数における輝度成分の標準偏差、輝度成分の平均値などを用いて、「ポジティブ」−「ネガティブ」の印象に対応する第１の心理スコアを算出する。また、ＣＰＵ１０１は、低空間周波数における輝度成分の標準偏差、歪度などを用いて、「つや強い」−「つや弱い」の印象に対応する第２の心理スコアを算出する。ＣＰＵ１０１は、算出した心理スコアを第１の評価軸および第２の評価軸上で表示する。

本実施形態によれば、人体表面の部位を撮像して得られた画像を反対色空間の画像に変換し、反対色空間において画像を解析する。反対色空間は、人間の視覚情報処理メカニズムを模倣したモデルであるため、反対色空間において画像を解析することで、人間が認識する画像により近い画像の特徴量を抽出することができる。

従来の画像解析方法では、イメージセンサから得られたＲＧＢ色空間における画像を解析することが一般的である。すなわち、解析対象となる画像は、測定された物性データであり、人間が認識する画像とは異なっている。したがって、従来の画像解析方法は、肌表面の粗さ、凹凸などの物体の状態を定量化するにすぎず、人間が感じる印象を評価するために用いることは必ずしも適切ではない。さらに、画像の輝度、鏡面反射成分の強度などの限られたデータのみが解析されており、人間の心理評価に大きな影響を与えると思われる色情報が考慮されていない。

本実施形態によれば、心理評価に寄与し得る画像の特徴量として、反対色空間の輝度成分、赤緑成分、黄青成分のそれぞれに対する標準偏差、歪度、尖度、および反対色空間の成分間の相関係数が考慮される。さらに、これらの特徴量は、空間周波数成分による違いが考慮される。人体表面の特定の部位の心理評価に寄与する特徴量をこのような多様な種別の特徴量の中から選定し、心理スコアに結びつけることによって、人間の心理評価により近い解析結果を提供することが可能となる。

［第２実施形態］
続いて、本発明の第２実施形態に係る画像解析システムを説明する。本実施形態に係る画像解析システム７００は、第１実施形態に係る画像解析装置１００がサーバとして機能するネットワークシステムである。

図７は、本実施形態に係る画像解析システム７００のハードウェアブロック図である。画像解析システム７００は、画像解析サーバ７０１、ユーザ端末７０２、撮像装置７０３、表示装置７０４、キーボード７０５、マウス７０６、ネットワーク７０７を備えている。画像解析サーバ７０１は、画像解析装置１００と同様のハードウェア構成を備えており、ネットワークＩ／Ｆ１０８を介して、ネットワーク７０７に接続されている。また、画像解析サーバ７０１は、画像取得部２０１、色空間変換部２０２、ウェーブレット変換部２０３、特徴量抽出部２０４、心理スコア算出部２０５と同様の機能を有している。

ユーザ端末７０２は、ＣＰＵ、メモリ、記憶装置、ネットワークＩ／Ｆなどから構成されたコンピュータである。ユーザ端末７０２は、ネットワークＩ／Ｆを介して、ネットワーク７０７と接続されている。画像解析サーバ７０１とユーザ端末７０２とは、相互に通信可能である。ユーザ端末７０２には、撮像装置７０３、表示装置７０４、キーボード７０５、マウス７０６が接続されている。撮像装置７０３、表示装置７０４、キーボード７０５、マウス７０６は、第１実施形態に係る撮像装置１１１、表示装置１１２、キーボード１１３、マウス１１４と同様のものであるため、繰り返しの説明は省略する。

ユーザ端末７０２は、例えば化粧品販売店、美容院などに設置され、顧客の肌、毛髪などの印象を評価するために使用される。ユーザは、タッチセンサ７０４ａ、キーボード７０５、マウス７０６などを操作することにより、撮像装置７０３が撮像した画像を解析し、解析結果を表示装置７０４に表示させることができる。

ユーザ端末７０２は、撮像装置７０３から画像を取得し、ネットワーク７０７を介して画像解析サーバ７０１に送信する。画像解析サーバ７０１は、ユーザ端末７０２から画像を受信し、画像解析処理を行う。画像解析サーバ７０１は、図６のフローチャートと同様の処理を行い、ネットワーク７０７を介して解析結果をユーザ端末７０２に送信する。ユーザ端末７０２は、画像解析サーバ７０１から受信した解析結果を表示装置７０４に表示する。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。例えば、ウェーブレット変換の代わりにフーリエ変換、コサイン変換などの直交関数変換を用いて解析対象画像を異なる空間周波数成分に分解してもよい。また、心理評価実験の結果を分析する手法は、回帰分析、因子分析に限られない。主成分分析、クラスター分析、判別分析などの任意の統計分析手法、或いは機械学習、ディープラーニングなどの人工知能手法を用いてもよく、これらの手法による分析結果に基づいて特徴量と心理スコアとを関連づけることができる。

１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ハードディスク
１０５ 記録媒体Ｉ／Ｆ
１０６ 表示コントローラ
１０７ 入力Ｉ／Ｆ
１０８ ネットワークＩ／Ｆ
２０１ 画像取得部
２０２ 色空間変換部
２０３ ウェーブレット変換部
２０４ 特徴量抽出部
２０５ 心理スコア算出部
２０６ 心理評価データベース
７０１ 画像解析サーバ

Claims (11)

1. 人体表面の部位の画像を反対色空間における画像に変換する色空間変換部と、
   前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出する解析部と、
   前記特徴量に基づいて前記部位の外観を評価する評価部とを備える画像解析装置。
2. 前記解析部は、前記反対色空間における画像に対して多段階のウェーブレット変換を実行することにより、前記サブバンド画像を生成する請求項１に記載の画像解析装置。
3. 人体表面の各部位を１つまたは複数の特徴量の種別に関連付けたデータベースをさらに備え、前記解析部は、前記部位に応じた特徴量の種別を前記データベースから選択し、選択した種別の前記特徴量を算出する請求項１または２に記載の画像解析装置。
4. 前記評価部は、心理評価データに基づいて、前記部位の印象を数値化した心理評価値を算出する請求項１ないし３のいずれか１項に記載の画像解析装置。
5. 前記心理評価データにおいて、前記特徴量は２つの評価軸を用いて前記心理評価値に関連付けられ、前記評価部は、前記２つの評価軸のそれぞれの前記心理評価値を算出する請求項４に記載の画像解析装置。
6. 前記反対色空間の成分は、輝度成分、赤緑成分および黄青成分である請求項１ないし５のいずれか１項に記載の画像解析装置。
7. 前記特徴量は、空間周波数、反対色空間の成分、および統計量の組み合わせで定義される請求項１ないし６のいずれか１項に記載の画像解析装置。
8. 前記統計量は、標準偏差、歪度、尖度および反対色空間の成分間の相関係数のうちの少なくとも１つを含む請求項７に記載の画像解析装置。
9. 前記部位は、頬、手の甲、唇、爪および頭髪のうちのいずれかである請求項１ないし８のいずれか１項に記載の画像解析装置。
10. 人体表面の部位の画像を反対色空間における画像に変換するステップと、
    前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出するステップと、
    前記特徴量に基づいて前記部位の外観を評価するステップとを備える画像解析方法。
11. コンピュータを請求項１ないし９のいずれか１項に記載の画像解析装置の各部として機能させる画像解析プログラム。

Images