JP2020160951A - 画像処理プログラム、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ユーザが見ている顔の部位を判定することができる画像処理プログラムを提供する。【解決手段】画像処理プログラムは、ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得し、鏡像内のユーザの顔の位置、または、表示画像内のユーザの顔の位置を特定することで、取得した視線の位置に対応する、鏡像内のユーザの顔の部位、または、表示画像内のユーザの顔の部位を判定する、処理をコンピュータに実行させる。【選択図】図４

Description

本発明は、画像処理プログラム、画像処理装置及び画像処理方法に関する。

従来より、店舗内において顧客の視線を検知し、陳列された商品の中から、顧客が関心を持っている商品を推定する推定技術が知られている。当該推定技術によれば、販売員等は、接客の際に顧客のニーズにあった商品をレコメンドすることができる。

一方で、化粧品等の美容商品の販売においては、例えば、専用ブース等において美容部員等が実際に顧客にメイクを施しながら、接客を行うことになる。このような販売シーンにおいて、美容部員等は、着座した顧客が鏡台に映る自身の顔のどの部位（パーツ）に関心を持っているのかを見極めることが重要となる。

特開２０１８−２０６３５４号公報

しかしながら、鏡台に映る顧客の顔の位置は一定でなく、顧客が姿勢を変えることで変わる。このため、顧客の視線を検知するだけでは、顧客が鏡台に映る自身の顔のどの部位を実際に見ているのかを判定できず、顧客が関心を持っている顔の部位を推定することができない。

一つの側面では、ユーザが見ている顔の部位を判定することを目的としている。

一態様によれば、画像処理プログラムは、
ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得し、
前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する、
処理をコンピュータに実行させる。

ユーザが見ている顔の部位を判定することができる。

関心対象推定システムのシステム構成の一例を示す第１の図である。 撮像装置の撮影範囲と、画像データ内及び鏡台内での顧客の顔の位置座標とを説明するための図である。 視線センサの計測範囲と、鏡台内での顧客の視線の位置座標とを説明するための図である。 鏡台内での顧客の顔の位置座標と、顧客の視線の位置座標との関係を説明するための図である。 画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す第１の図である。 データ格納部に蓄積されるデータの一例を示す図である。 顔の部位を説明するための図である。 関心対象推定処理の流れを示す第１のフローチャートである。 関心対象推定処理の流れを示す第２のフローチャートである。 集計結果の一例を示す図である。 関心対象推定システムのシステム構成の一例を示す第２の図である。 撮像装置の撮影範囲と、表示画像内での顧客の顔の位置座標とを説明するための図である。 画像処理装置の機能構成の一例を示す第２の図である。 関心対象推定システムを含む心理データ活用システムのシステム構成の一例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜関心対象推定システムのシステム構成＞
はじめに、関心対象推定システムのシステム構成について説明する。関心対象推定システムとは、顧客の視線に基づいて、顧客が関心を持っている対象を推定するシステムである。第１の実施形態では、関心対象推定システムを、美容部員が実際に顧客にメイクを施しながら接客を行う、化粧品の店舗（例えば、専用ブース）に適用する場合について説明する。

図１は、関心対象推定システムのシステム構成の一例を示す第１の図である。図１に示すように、化粧品の店舗に適用される関心対象推定システム１００は、鏡台１１０と、撮像装置１２０と、視線センサ１３０と、画像処理装置１４０とを有する。

鏡台１１０は、顧客１５０が所定の位置に着座した際に、自身の姿を鏡像として映す鏡が取り付けられた台である。鏡台１１０と、顧客１５０との間の距離は、いずれの顧客の場合も概ね一定であるとする。なお、図１の例では、顧客１５０にメイクを施す美容部員を省略しているが、実際には、顧客１５０の後または横には、美容部員がいるものとする。

撮像装置１２０は、例えば、ＲＧＢカメラであり、顧客１５０を所定のフレームレート（例えば、３０フレーム／秒）で撮影し、撮影した画像データを画像処理装置１４０に送信する。これにより、画像処理装置１４０では、美容部員が顧客１５０にメイクを施している最中に顧客１５０の顔の位置が動いたとしても、画像データ内での顧客１５０の顔の位置座標（撮像装置１２０に対する相対的な位置座標）を逐次算出することができる。

ここで、鏡台１１０と撮像装置１２０との位置関係は固定されている。このため、画像データ内での顧客１５０の顔の位置座標（撮像装置１２０に対する相対的な位置座標）を逐次算出することで、画像処理装置１４０では、鏡台１１０内での顧客１５０の顔の位置座標を逐次算出することができる。つまり、画像処理装置１４０によれば、鏡像内の顧客１５０の顔の位置を逐次特定することができる。

なお、図１の例では、撮像装置１２０を、鏡台１１０の上部に配置する場合について示したが、撮像装置１２０を配置する位置はこれに限定されない。また、図１の例では、撮像装置１２０を、鏡台１１０に一体的に取り付けたが、鏡台１１０とは別体に取り付けてもよい。別体に取り付ける場合にあっては、撮像装置１２０は、顧客１５０の正面側に配置する必要はなく、顧客１５０の背面側に配置してもよい。

視線センサ１３０は、例えば、赤外線カメラであり、顧客１５０の視線を毎秒３０回ずつ検知し、検知した視線データを画像処理装置１４０に送信する。これにより、画像処理装置１４０では、美容部員が顧客１５０にメイクを施している最中の顧客１５０の視線の位置座標（鏡台１１０内における位置座標）を逐次算出することができる。つまり、画像処理装置１４０によれば、鏡像内の顧客１５０の視線の位置を逐次取得することができる。

画像処理装置１４０は、撮像装置１２０より送信された画像データを受信し、受信した画像データに基づいて、画像データ内での顧客１５０の顔の位置座標を算出し、蓄積する。また、画像処理装置１４０は、画像データ内での顧客１５０の顔の位置座標に基づいて、鏡台１１０内での顧客１５０の顔の位置座標を算出し、蓄積する。

また、画像処理装置１４０は、視線センサ１３０より送信された視線データを受信し、受信した視線データに基づいて、鏡台１１０内での顧客１５０の視線の位置座標を算出し、蓄積する。

また、画像処理装置１４０は、鏡台１１０内での顧客１５０の顔の位置座標と、鏡台１１０内での顧客１５０の視線の位置座標とに基づいて、鏡台１１０内に映る自身の顔のうち、顧客１５０が実際に見ている顔の部位（パーツ）を判定する。

更に、画像処理装置１４０は、顔の各部位（各パーツ）について、顧客が見た回数等を集計することで、顧客１５０が関心を持っている顔の部位を推定する。

＜撮像装置の撮影範囲及び位置座標＞
次に、撮像装置１２０の撮影範囲、及び、顧客の顔の位置座標（画像データ内での位置座標、鏡台１１０内での位置座標）について説明する。図２は、撮像装置の撮影範囲と、画像データ内及び鏡台内での顧客の顔の位置座標とを説明するための第１の図である。

図２に示すように、鏡台１１０に配置された撮像装置１２０は、鏡台１１０の正面方向の撮影範囲２１０について撮影を行う。図２において、２点鎖線２２０は、顧客１５０が着座する位置を示している。

画像データ２３０は、撮像装置１２０が顧客１５０を撮影することで得られる画像データの一例である。図２に示すように、画像データ２３０には、各画素の座標が規定されている（例えば、原点＝座標（０，０））。このため、画像処理装置１４０では、画像データ２３０から顔領域を抽出することで、画像データ２３０内での顧客１５０の顔の位置座標、及び、画像データ２３０内での顧客１５０の顔の各部位の位置座標を算出することができる。

なお、画像データ２３０内での顧客１５０の顔の位置座標は、例えば、抽出した顔領域（例えば、矩形領域）の中心位置座標であってもよいし、抽出した顔領域（例えば、矩形領域）の各頂点の位置座標であってもよい。同様に、顔の各部位の位置座標は、例えば、抽出した顔領域（例えば、矩形領域）を複数に区分した各区分領域（例えば、矩形領域）の中心位置座標であってもよいし、各区分領域（例えば、矩形領域）の各頂点の位置座標であってもよい。

ここで、画像処理装置１４０では、鏡台１１０と撮像装置１２０との位置関係及び撮像装置１２０の撮影範囲２１０に基づいて、画像データ２３０のうち、鏡台１１０内に映る範囲２３１を特定する。

これにより、画像処理装置１４０では、画像データ２３０内での顧客１５０の顔の位置座標、及び、画像データ２３０内での顧客１５０の顔の各部位の位置座標を、鏡台１１０内での位置座標にそれぞれ変換することができる。この結果、画像処理装置１４０では、鏡台１１０内での顧客１５０の顔の位置座標、及び、鏡台１１０内での顧客１５０の顔の各部位の位置座標を算出することができる。なお、図２の例では、鏡台１１０の左下の位置を原点とし、顧客１５０から見て右方向をＸ軸方向、顧客１５０から見て上方向をＹ軸方向として座標が規定されている。

このため、画像処理装置１４０では、画像データ２３０の原点に基づいて算出した画像データ２３０内での顧客１５０の顔の位置座標を、鏡台１１０の左下の位置（範囲２３１の右下の位置）を原点とする位置座標に変換する。また、画像処理装置１４０では、画像データ２３０の原点に基づいて算出した画像データ２３０内での顧客１５０の顔の各部位の位置座標を、鏡台１１０の左下の位置（範囲２３１の右下の位置）を原点とする位置座標に変換する。

この結果、画像処理装置１４０では、鏡台１１０の左下の位置を原点とする、鏡台１１０内での顧客１５０の顔の位置座標、及び、鏡台１１０内での顧客１５０の顔の各部位の位置座標を算出することができる。

＜視線センサの計測範囲及び位置座標＞
次に、視線センサ１３０の計測範囲、及び、顧客１５０の視線の位置座標（鏡台１１０内での位置座標）について説明する。図３は、視線センサの計測範囲と、鏡台内での顧客の視線の位置座標とを説明するための図である。

図３に示すように、鏡台１１０に配置された視線センサ１３０は、鏡台１１０の正面方向の計測範囲３１０について計測を行う。図３において、２点鎖線２２０は、顧客１５０が着座する位置を示している。

視線センサ１３０により顧客１５０の視線３２０が検知されると、画像処理装置１４０では、検知された視線データから、鏡台１１０内での顧客１５０の視線の位置を取得する。図３においてマーク３３０は、取得された鏡台１１０内での顧客１５０の視線の位置を示している。

上述したように、鏡台１１０内は、左下の位置を原点とし、顧客１５０から見て右方向をＸ軸方向、顧客１５０から見て上方向をＹ軸方向として座標が規定されている。このため、画像処理装置１４０では、マーク３３０の鏡台１１０内での位置座標を算出することで、鏡台１１０内での顧客１５０の視線の位置座標を算出することができる。

＜顔の位置と、視線の位置との位置関係＞
次に、メイク中の顧客１５０の顔の位置と、視線の位置との位置関係について説明する。図４は、鏡台内での顧客の顔の位置座標と、顧客の視線の位置座標との関係を説明するための図である。このうち、図４（ａ）は、時刻＝Ｔ０における鏡台１１０の様子（顧客１５０の顔の位置と、顧客１５０の視線の位置との位置関係）を示している。図４（ａ）の例では、時刻＝Ｔ０において、顧客１５０の視線の位置は、鏡台１１０に映っている自身の顔の目の下のあたりにあることを示している。

一方、図４（ｂ）、（ｃ）は、時刻＝Ｔ１における鏡台１１０の様子（顧客１５０の顔の位置と、顧客１５０の視線の位置との位置関係）を示している。なお、図４（ｂ）と図４（ｃ）とでは、鏡台１１０内における視線の位置は同じである。

ここで、図４（ｂ）は、時刻＝Ｔ０から時刻＝Ｔ１の間に、顧客１５０の顔の位置が動いていない場合を示している。図４（ｂ）の場合、顧客１５０の視線の位置は、鏡台１１０に映っている自身の顔の耳のあたりにあることを示している。

これに対して、図４（ｃ）は、時刻＝Ｔ０から時刻Ｔ１の間に、顧客１５０の顔の位置が動いている場合を示している。図４（ｃ）の場合、顧客１５０の視線の位置は、鏡台１１０に映っている自身の顔の目の下のあたりにあることを示している。

このように、メイク中に鏡台に映る顧客１５０の顔の位置は一定でなく、例えば、顧客１５０が姿勢を変えることで鏡台１１０に映る顔の位置も変わる。このため、鏡台１１０内での顧客１５０の視線の位置が同じであっても、顧客１５０が見ている顔の部位が同じとは限らない。あるいは、鏡台１１０内での顧客１５０の視線の位置が変化したとしても、顧客１５０が見ている顔の部位が変化しているとは限らない。

つまり、顧客１５０が実際に見ている顔の部位を、鏡台１１０内での顧客１５０の視線の位置座標のみに基づいて判定することはできない。このため、画像処理装置１４０では、顧客が見ている顔の部位を判定するにあたり、鏡台１１０内での顧客１５０の視線の位置座標と、鏡台１１０内での顧客１５０の顔の各部位の位置座標とを比較する（詳細は後述）。これにより、画像処理装置１４０によれば、鏡像において顧客１５０が実際に見ている顔の部位を精度よく判定することができる。

＜画像処理装置のハードウェア構成＞
次に、画像処理装置１４０のハードウェア構成について説明する。図５は、画像処理装置のハードウェア構成の一例を示す図である。図５に示すように、画像処理装置１４０は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３を有する。ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３は、いわゆるコンピュータを形成する。

また、画像処理装置１４０は、補助記憶部５０４、操作部５０５、Ｉ／Ｆ（Interface）部５０６、ドライブ部５０７を有する。なお、画像処理装置１４０の各ハードウェアは、バス５０８を介して相互に接続されている。

ＣＰＵ５０１は、補助記憶部５０４にインストールされている各種プログラム（例えば、後述する画像処理プログラム等）を実行する演算デバイスである。

ＲＯＭ５０２は、不揮発性メモリである。ＲＯＭ５０２は、補助記憶部５０４にインストールされている各種プログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ５０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ５０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ５０３は、補助記憶部５０４にインストールされている各種プログラムがＣＰＵ５０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶部５０４は、各種プログラムや、各種プログラムが実行されることで取得される情報を格納する補助記憶デバイスである。後述するデータ格納部は、補助記憶部５０４において実現される。

操作部５０５は、画像処理装置１４０の管理者が画像処理装置１４０に対して各種指示を入力する入力デバイスである。Ｉ／Ｆ部５０６は、撮像装置１２０及び視線センサ１３０に接続され、画像処理装置１４０が、撮像装置１２０及び視線センサ１３０より、画像データ及び視線データを受信するための通信デバイスである。

ドライブ部５０７は記録媒体５１０をセットするためのデバイスである。ここでいう記録媒体５１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶部５０４にインストールされる各種プログラムは、例えば、配布された記録媒体５１０がドライブ部５０７にセットされ、該記録媒体５１０に記録された各種プログラムがドライブ部５０７により読み出されることでインストールされる。あるいは、補助記憶部５０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

＜画像処理装置の機能構成＞
次に、画像処理装置１４０の機能構成について説明する。図６は、画像処理装置の機能構成の一例を示す第１の図である。上述したとおり、画像処理装置１４０には、画像処理プログラムがインストールされており、当該プログラムが実行されることで、画像処理装置１４０は、画像データ内顔位置座標蓄積部６１０、鏡台内顔位置座標蓄積部６２０として機能する。また、画像処理装置１４０は、鏡台内視線位置座標蓄積部６３０、パーツ判定部６４０として機能する。更に、画像処理装置１４０は、回数算出部６５０、回数増加量判定部６６０、増加量算出部６７０、関心対象推定部６８０、出力部６９０として機能する。

画像データ内顔位置座標蓄積部６１０は、撮像装置１２０より送信された画像データを受信し、受信した画像データより、顧客１５０の顔領域を抽出する。また、画像データ内顔位置座標蓄積部６１０は、抽出した顔領域の各画像データ内での位置を特定することで、各時刻における画像データ内での顧客１５０の顔の位置座標（ｘ座標、ｙ座標）を算出する。なお、以下では、画像データ内での顧客１５０の顔の位置座標を、画像データ内顔位置座標と称す。

また、画像データ内顔位置座標蓄積部６１０は、算出した画像データ内顔位置座標を、時刻情報と対応付けてデータ格納部６００に蓄積するとともに、鏡台内顔位置座標蓄積部６２０に通知する。

鏡台内顔位置座標蓄積部６２０は、画像データ内顔位置座標蓄積部６１０より、画像データ内顔位置座標が通知されると、鏡台１１０内での顧客１５０の顔の位置座標（Ｘ座標、Ｙ座標）を算出する。なお、以下では、鏡台１１０内での顧客１５０の顔の位置座標を鏡台内顔位置座標と称す。

また、鏡台内顔位置座標蓄積部６２０は、算出した鏡台内顔位置座標を、時刻情報と対応付けてデータ格納部６００に蓄積する。

鏡台内視線位置座標蓄積部６３０は取得部の一例である。鏡台内視線位置座標蓄積部６３０は、視線センサ１３０より送信された視線データを受信し、受信した視線データに基づいて、鏡台１１０内での顧客１５０の視線の位置座標（Ｘ座標、Ｙ座標）を算出する。なお、以下では、鏡台１１０内での顧客１５０の視線の位置座標を鏡台内視線位置座標と称す。

また、鏡台内視線位置座標蓄積部６３０は、算出した鏡台内視線位置座標を、時刻情報と対応付けてデータ格納部６００に蓄積する。

パーツ判定部６４０は判定部の一例である。パーツ判定部６４０は、データ格納部６００に蓄積された、各時刻における鏡台内視線位置座標と、鏡台内顔位置座標とを読み出す。また、パーツ判定部６４０は、読み出した鏡台内顔位置座標に基づいて、顧客１５０の顔領域を複数の領域に区分した場合の、各区分領域の鏡台１１０内での位置座標（Ｘ座標、Ｙ座標）を算出する。

また、パーツ判定部６４０は、読み出した鏡台内視線位置座標が、算出した各区分領域の鏡台１１０内での位置座標のいずれに含まれるかを判定する。更に、パーツ判定部６４０は、鏡台内視線位置座標が、いずれかの区分領域の位置座標に含まれると判定した場合、当該区分領域を示す情報（顔パーツ情報と称す）を、時刻情報と対応付けてデータ格納部６００に蓄積する。

これにより、パーツ判定部６４０は、顧客１５０が鏡台１１０内に映る自身の顔について、各時刻において、いずれの部位を見たかを判定することができる。

回数算出部６５０は、データ格納部６００に蓄積された、各時刻において顧客１５０が顔の部位を見た回数を、顔の部位ごとに分けて集計することで、各部位を見た回数を算出する。

回数増加量判定部６６０は、顧客１５０が各部位を見た回数を、更に、所定の時間範囲ごとに分けて集計する。これにより、回数増加量判定部６６０は、時刻が進むごとに、顧客１５０が各部位を見た回数がどのように変化したかを判定することができる。

増加量算出部６７０は、全ての部位について集計した、顧客１５０が見た回数（自身の顔のいずれかの部位を見た回数）を、所定の時間範囲ごとに分けて集計する。これにより、増加量算出部６７０は、時刻が進むごとに、顧客１５０が自身の顔のいずれかの部位を見た回数がどのように変化したかを判定することができる。

関心対象推定部６８０は、回数算出部６５０による集計結果、回数増加量判定部６６０による集計結果、及び、増加量算出部６７０による集計結果に基づいて、顧客１５０の関心対象を推定する。具体的には、関心対象推定部６８０は、顧客１５０が、自身の顔のいずれかの部位に関心があるか否か、関心があると判定した場合には、いずれの部位に関心があるかを推定する。

出力部６９０は、関心対象推定部６８０により推定された、顧客１５０の関心対象についての推定結果を出力する。出力部６９０は、例えば、顧客１５０にメイクを施している美容部員に出力する。これにより、美容部員は、顧客１５０に対して、推定結果に応じた接客を行うことができる。

＜データ格納部のデータ例＞
次に、データ格納部６００に蓄積されたデータ例について説明する。図７は、データ格納部に蓄積されるデータの一例を示す図である。図７に示すように、データ格納部６００に蓄積されるデータ７００には、データの項目として、“時刻情報”、“鏡台内視線位置座標”、“画像データ内顔位置座標”、“鏡台内顔位置座標”、“顔パーツ情報”が含まれる。

“時刻情報”には、鏡台内視線位置座標、画像データ内顔位置座標、鏡台内顔位置座標、顔パーツ情報が、データ格納部６００に蓄積された時刻が記録される。

“鏡台内視線位置座標”には、鏡台内視線位置座標蓄積部６３０により算出された鏡台内視線位置座標（Ｘ座標、Ｙ座標）が記録される。

“画像データ内顔位置座標”には、画像データ内顔位置座標蓄積部６１０により算出された画像データ内顔位置座標（ｘ座標、ｙ座標）が記録される。

“鏡台内顔位置座標”には、鏡台内顔位置座標蓄積部６２０により算出された鏡台内顔位置座標（Ｘ座標、Ｙ座標）が記録される。

“顔パーツ情報”には、パーツ判定部６４０により判定された顔パーツ情報が記録される。なお、図８は、顔の部位を説明するための図である。上述したとおり、パーツ判定部６４０は、顧客１５０の顔領域８００を複数の領域に区分した場合の、各区分領域の鏡台１１０内での位置座標（Ｘ座標、Ｙ座標）を、鏡台１１０内での顧客１５０の顔の各部位の位置座標として算出する。なお、パーツ判定部６４０は、鏡台１１０内での顧客１５０の顔の各部位の位置座標を、鏡台内顔位置座標に基づいて算出する。

図８は、顧客１５０の顔領域８００を１０個の領域に区分した場合の各区分領域（区分領域８０１〜８０５、区分領域８１１〜８１５）を示したものである。図８の例によれば、“顔パーツ情報”には、顔の部位として、区分領域８０１〜８０５、区分領域８１１〜８１５のいずれかを示す情報が記録されることになる。

＜関心対象推定処理の流れ＞
次に、画像処理装置１４０による関心領域推定処理の流れについて説明する。図９、図１０は、関心対象推定処理の流れを示す第１及び第２のフローチャートである。顧客１５０が鏡台１１０に対して所定の位置に着座することで、図９及び図１０に示す関心対象推定処理が開始される。

ステップＳ９０１において、画像データ内顔位置座標蓄積部６１０は、撮像装置１２０より画像データを受信し、顧客１５０の顔領域を抽出することで、画像データ内顔位置座標を算出し、データ格納部６００に蓄積する。

ステップＳ９０２において、鏡台内顔位置座標蓄積部６２０は、画像データ内顔位置座標蓄積部６１０により算出された画像データ内顔位置座標に基づいて、鏡台内顔位置座標を算出し、データ格納部６００に蓄積する。

ステップＳ９０３において、鏡台内視線位置座標蓄積部６３０は、視線センサ１３０より視線データを受信し、鏡台内視線位置座標を算出し、データ格納部６００に蓄積する。

ステップＳ９０４において、パーツ判定部６４０は、鏡台内顔位置座標蓄積部６２０により算出された鏡台内顔位置座標に基づいて、顧客１５０の顔の各部位（例えば、区分領域８０１〜８０５、区分領域８１１〜８１５）の鏡台１１０内での位置座標を算出する。

ステップＳ９０５において、パーツ判定部６４０は、算出した鏡台１１０内での顧客１５０の顔の各部位の位置座標と、鏡台内視線位置座標とを比較することで、鏡台内視線位置座標が含まれる顔の部位を判定する。

ステップＳ９０６において、パーツ判定部６４０は、判定した顔の部位を、顔パーツ情報としてデータ格納部６００に蓄積する。

ステップＳ９０７において、回数算出部６５０は、前回の集計タイミングから所定時間が経過したか否かを判定する。ステップＳ９０７において所定時間が経過したと判定した場合には（ステップＳ９０７においてＹｅｓの場合には）、図１０のステップＳ１００１に進む。一方、ステップＳ９０７において所定時間が経過していないと判定した場合には（ステップＳ９０７においてＮｏの場合には）、ステップＳ９０８に進む。

図１０のステップＳ１００１において、回数算出部６５０は、データ格納部６００に蓄積されたデータ７００に基づいて、顧客１５０が顔の各部位を見た回数を集計する。

ステップＳ１００２において、回数増加量判定部６６０は、顧客１５０が顔の各部位を見た回数を、所定の時間範囲ごとに分けて集計し、時刻が進むごとに、顧客１５０が顔の各部位を見た回数がどのように変化したかを判定する。また、増加量算出部６７０は、顧客１５０がいずれかの顔の部位を見た回数を、所定の時間範囲ごとに分けて集計し、時刻が進むごとに、顧客１５０がいずれかの顔の部位を見た回数がどのように変化したかを判定する。

ステップＳ１００３において、関心対象推定部６８０は、回数算出部６５０による集計結果、回数増加量判定部６６０による集計結果、及び、増加量算出部６７０による集計結果に基づいて、顧客１５０の関心対象を推定する。

ステップＳ１００４において、出力部６９０は、顧客１５０の関心対象についての推定結果を出力し、図９のステップＳ９０８に戻る。

ステップＳ９０８において、画像データ内顔位置座標蓄積部６１０は、関心対象推定処理を終了するか否かを判定する。ステップＳ９０８において、終了しないと判定した場合には（ステップＳ９０８においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０８において、終了すると判定した場合には（ステップＳ９０８においてＹｅｓの場合には）、関心領域推定処理を終了する。

＜集計結果の一例＞
次に、データ格納部６００に蓄積されたデータの集計結果について説明する。図１１は、集計結果の一例を示す図である。このうち、図１１（ａ）は、回数算出部６５０による集計結果の一例を示す図である。図１１（ａ）において、横軸は部位名（例えば、区分領域８０１〜８０５、区分領域８１１〜８１５を表す名称）であり、縦軸は顧客１５０が見た回数を示している。図１１（ａ）に示すように、顧客１５０が鏡台１１０に映る自身の顔を見る場合、部位ごとに見る回数は異なっており、部位間でばらつきがある。

一方、図１１（ｂ）は、回数増加量判定部６６０による集計結果の一例を示す図である。図１１（ｂ）に示すように、顧客１５０が鏡台１１０に映る自身の顔を見る場合、時間経過とともに、関心が高まっていく部位と、関心が薄らいでいく部位とが含まれる。

このため、関心対象推定部６８０では、例えば、回数算出部６５０による集計結果及び、回数増加量判定部６６０による集計結果に基づいて、顧客１５０の現在の関心対象を推定することができる。

以上の説明から明らかなように、第１の実施形態に係る画像処理装置１４０は、顧客の鏡像に向けられる、当該顧客の視線の位置を取得する。また、第１の実施形態に係る画像処理装置１４０は、鏡像内の顧客の顔の位置を特定することで、特定した視線の位置に対応する、鏡像内の当該顧客の顔の部位を判定する。

これにより、第１の実施形態に係る画像処理装置１４０によれば、鏡像において顧客が見ている顔の部位を精度よく判定することができる。

［第２の実施形態］
上記第１の実施形態では、顧客の鏡像に向けられる、当該顧客の視線の位置に対応する、鏡像内の当該顧客の顔の部位を判定する場合について説明した。これに対して、第２の実施形態では、撮像装置で撮影される顧客の表示画像に向けられる、当該顧客の視線の位置を取得し、取得した視線の位置に対応する、表示画像内の顧客の顔の部位を判定する場合について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜関心対象推定システムのシステム構成＞
はじめに、第２の実施形態に係る関心対象推定システムのシステム構成について説明する。図１２は、関心対象推定システムのシステム構成の一例を示す第２の図である。図１に示す関心対象推定システム１００との相違点は、関心対象推定システム１２００の場合、鏡台１１０に代えて、表示装置１２１０が配されている点と、画像処理装置１２２０の機能が、画像処理装置１４０の機能とは異なる点である。

表示装置１２１０は、撮像装置１２０により撮影された画像データであって、画像処理装置１２２０において左右反転された画像データを、画像処理装置１２２０より受信し、表示する。

画像処理装置１２２０は、撮像装置１２０より送信された画像データを受信し、受信した画像データを左右反転して、表示装置１２１０に送信する。また、画像処理装置１２２０は、左右反転した画像データにおいて顔領域を抽出し、表示装置１２１０内での顧客１５０の顔の位置座標（Ｘ座標、Ｙ座標）を逐次算出する（表示画像内の顧客１５０の顔の位置を逐次特定する）。

また、画像処理装置１２２０は、視線センサ１３０より送信された視線データを受信し、受信した視線データに基づいて、表示装置１２１０内での顧客１５０の視線の位置座標を逐次算出する（表示画像内の顧客１５０の視線の位置を逐次特定する）。

また、画像処理装置１２２０は、表示装置１２１０内での顧客１５０の顔の位置座標と、表示装置１２１０内での顧客１５０の視線の位置座標とに基づいて、表示装置１２１０に表示された自身の顔のうち、顧客１５０が実際に見ている顔の部位を判定する。

更に、画像処理装置１２２０は、顔の各部位について、顧客が見た回数等を集計することで、顧客１５０が関心を持っている部位を推定する。

＜撮像装置の撮影範囲及び位置座標＞
次に、撮像装置１２０の撮影範囲、及び、顧客の顔の位置座標（表示装置１２１０内での位置座標）について説明する。図１３は、撮像装置の撮影範囲と、表示装置内での顧客の顔の位置座標とを説明するための図である。

図１３に示すように、表示装置１２１０に配置された撮像装置１２０は、表示装置１２１０の正面方向の撮影範囲２１０について撮影を行う。図１３において、２点鎖線２２０は、顧客１５０が着座する位置を示している。

画像データ２３０は、撮像装置１２０が顧客１５０を撮影することで得られる画像データの一例である。また、画像データ１３１０は、画像データ２３０を左右反転し、表示装置１２１０に表示する範囲２３１を抽出することで得られる画像データである。

図１３に示すように、画像データ１３１０には、表示装置１２１０に表示した場合の各画素の座標が規定されている。図１３の例では、表示装置１２１０の左下を原点とし、顧客１５０から見て右方向をＸ軸方向、顧客１５０から見て上方向をＹ軸方向として座標が規定されている。

画像処理装置１２２０では、画像データ１３１０の原点の座標（０，０）に基づいて、画像データ１３１０内での顧客１５０の顔の位置座標、及び、画像データ１３１０内での顔の各部位の位置座標を算出する。

なお、第２の実施形態の場合、画像データ１３１０内での顧客１５０の顔の位置座標は、表示装置１２１０内での顧客１５０の顔の位置座標と等しい。また、画像データ１３１０内での顧客１５０の顔の各部位の位置座標は、表示装置１２１０内での顧客１５０の顔の各部位の位置座標と等しい。

＜画像処理装置の機能構成＞
次に、画像処理装置１２２０の機能構成について説明する。図１４は、画像処理装置の機能構成の一例を示す第２の図である。図６に示した機能構成との相違点は、画像データ取得部１４１０、画像データ補正部１４２０、補正後画像データ表示部１４３０、表示装置内顔位置座標蓄積部１４４０、表示装置内視線位置座標蓄積部１４５０、パーツ判定部１４６０を有する点である。

画像データ取得部１４１０は、撮像装置１２０より送信された画像データを受信し、受信した画像データを画像データ補正部１４２０に通知する。

画像データ補正部１４２０は、通知された画像データのうち、表示装置１２１０に表示する範囲を抽出し、抽出した画像データを左右反転することで補正する。また、画像データ補正部１４２０は、補正後の画像データを補正後画像データ表示部１４３０に通知する。

補正後画像データ表示部１４３０は、画像データ補正部１４２０より通知された補正後の画像データを、表示装置１２１０に送信する。また、補正後画像データ表示部１４３０は、画像データ補正部１４２０より通知された補正後の画像データを、表示装置内顔位置座標蓄積部１４４０に通知する。

表示装置内顔位置座標蓄積部１４４０は、補正後画像データ表示部１４３０より、補正後の画像データが通知されると、顔領域を抽出し、表示装置１２１０内での顧客１５０の顔の位置座標（Ｘ座標、Ｙ座標）を算出する。なお、以下では、表示装置１２１０内での顧客１５０の顔の位置座標を、表示装置内顔位置座標と称す。

また、表示装置内顔位置座標蓄積部１４４０は、算出した表示装置内顔位置座標を、時刻情報と対応付けてデータ格納部６００に蓄積する。

表示装置内視線位置座標蓄積部１４５０は、視線センサ１３０より送信された視線データを受信し、受信した視線データに基づいて、表示装置１２１０内での顧客１５０の視線の位置座標（Ｘ座標、Ｙ座標）を算出する。なお、以下では、表示装置１２１０内での顧客１５０の視線の位置座標を表示装置内視線位置座標と称す。

また、表示装置内視線位置座標蓄積部１４５０は、算出した表示装置内視線位置座標を、時刻情報と対応付けてデータ格納部６００に蓄積する。

パーツ判定部１４６０は、データ格納部６００に蓄積された、各時刻における表示装置内視線位置座標と、表示装置内顔位置座標とを読み出す。また、パーツ判定部６４０は、読み出した表示装置内顔位置座標に基づいて、顧客１５０の顔領域を複数の領域に区分した場合の、各区分領域の表示装置１２１０内での位置座標（Ｘ座標、Ｙ座標）を算出する。

また、パーツ判定部１４６０は、読み出した表示装置内視線位置座標が、算出した各区分領域の表示装置１２１０内での位置座標のいずれに含まれるかを判定する。更に、パーツ判定部１４６０は、表示装置内視線位置座標が、いずれかの区分領域の位置座標に含まれると判定した場合、当該区分領域を示す情報（顔パーツ情報）を、時刻情報と対応付けてデータ格納部６００に蓄積する。

これにより、パーツ判定部１４６０は、顧客１５０が表示装置１２１０内に表示される自身の顔について、各時刻において、いずれの部位を見たかを判定することができる。

以上の説明から明らかなように、第２の実施形態に係る画像処理装置１２２０は、撮像装置で撮影される顧客の表示画像に向けられる、当該顧客の視線の位置を取得する。また、第２の実施形態に係る画像処理装置１２２０は、表示装置内の顧客の顔の位置を特定することで、特定した視線の位置に対応する、表示画像内の当該顧客の顔の部位を判定する。

これにより、第２の実施形態に係る画像処理装置１２２０によれば、表示画像において顧客が見ている顔の部位を精度よく判定することができる。

［第３の実施形態］
上記第１及び第２の実施形態では、顧客１５０の関心対象についての推定結果を、美容部員に出力するものとして説明した。しかしながら、顧客１５０の関心対象についての推定結果の出力先はこれに限定されず、他の用途に用いてもよい。以下、第３の実施形態について説明する。

図１５は、関心対象推定システムを含む心理データ活用システムのシステム構成の一例を示す図である。図１５に示すように、心理データ活用システム１５００は、複数の画像処理装置１４０と、分析サーバ１５１０と、解析装置１５２０、１５３０と、携帯端末１５４０とを有する。

複数の画像処理装置１４０は、それぞれ、顧客の関心対象についての推定結果を、顧客情報と対応付けて、分析サーバ１５１０に送信する。

分析サーバ１５１０は、複数の画像処理装置１４０それぞれより、顧客の関心対象についての推定結果及び顧客情報を受信し、分析用データとして、分析用データ格納部１５１２に格納する。

また、分析サーバ１５１０は、心理データ分析部１５１１を有し、心理データ分析部１５１１は、分析用データ格納部１５１２より、顧客の関心対象についての推定結果及び顧客情報を読み出し、各顧客の心理データを分析する。また、心理データ分析部１５１１は、分析結果を、例えば、商品販売部門の解析装置１５２０及び商品開発部門の解析装置１５３０に送信する。

更に、心理データ分析部１５１１は、分析結果に応じて顧客ごとに導出したレコメンド商品を、顧客の携帯端末１５４０に送信する。

商品販売部門の解析装置１５２０が、分析サーバ１５１０より分析結果を受信すると、商品販売部門の従業員は、受信した分析結果に基づいて、商品販売戦略を立案する。なお、立案された商品販売戦略は、化粧品の店舗にフィードバックされる。

また、商品開発部門の解析装置１５３０が、分析サーバ１５１０より分析結果を受信すると、商品開発部門の従業員は、受信した分析結果に基づいて、商品開発を行う。なお、商品開発の結果は、商品販売部門にフィードバックされる。

携帯端末１５４０は、分析サーバ１５１０より、レコメンド商品を受信し表示する。これにより、それぞれの顧客は、自身の心理データに則した商品についてのレコメンドを受けることができる。

このように、心理データ活用システム１５００によれば、顧客１５０の関心対象についての推定結果を、顧客１５０の心理データとして分析することで、推定結果を様々な用途に活用することができる。

［その他の実施形態］
上記第１の実施形態では、撮像装置１２０により撮影された画像データに基づいて、鏡台１１０内での顧客１５０の顔の位置座標を算出するものとして説明した。しかしながら、顧客１５０の顔の位置座標の算出方法はこれに限定されず、例えば、視線センサ１３０により検知された視線データに基づいて、顧客１５０の顔の位置座標を算出してもよい。この場合、撮像装置１２０を配置する必要がなくなるといった利点がある。

また、上記各実施形態では、顔領域を複数の領域に区分し、顧客の視線の位置座標が各区分領域のいずれに含まれるかを判定することで、顧客が見ている顔の部位を判定した。しかしながら、顧客が見ている顔の部位の判定方法はこれに限定されない。例えば、顔領域に含まれる部位そのもの（目、鼻、口等）の形状からなる領域を抽出し、顧客の視線の位置座標がいずれの形状領域に含まれるかを判定することで、顧客が見ている部位を判定してもよい。つまり、顧客が見ている部位は、顔領域のいずれかの区分領域であっても、顔領域のいずれかの形状領域であってもよい。

また、上記各実施形態では、顔領域を矩形領域として抽出したが、抽出する顔領域の形状はこれに限定されない。同様に、上記各実施形態では、区分領域を矩形領域としたが、区分領域の形状はこれに限定されない。また、顔領域の区分方法、区分個数も図８に示した例に限定されない。

また、上記各実施形態では、関心対象推定システムを、化粧品の店舗に適用する場合について説明したが、他の商品や他のサービスを提供する店舗に適用してもよい。また、適用先は店舗に限定されず、自宅内であってもよい。この場合、関心対象についての推定は、店舗の顧客に対してではなく、関心対象推定システムを利用するユーザに対して行われることになる。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得し、
前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する、
処理をコンピュータに実行させる画像処理プログラム。
（付記２）
撮像装置で撮影される画像内の前記ユーザの顔の位置に基づいて、前記鏡像内の前記ユーザの顔の位置を特定する、付記１に記載の画像処理プログラム。
（付記３）
前記鏡像内の前記ユーザの視線の位置が、前記鏡像内の前記ユーザの顔の領域を複数の領域に区分した場合のいずれの区分領域に含まれるかを判定することで、前記鏡像内の前記ユーザの顔の部位を判定する、付記２に記載の画像処理プログラム。
（付記４）
前記表示画像内の前記ユーザの視線の位置が、前記表示画像内の前記ユーザの顔の領域を複数の領域に区分した場合のいずれの区分領域に含まれるかを判定することで、前記表示画像内の前記ユーザの顔の部位を判定する、付記１に記載の画像処理プログラム。
（付記５）
ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得する取得部と、
前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する判定部と
を有する画像処理装置。
（付記６）
ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得し、
前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する、
処理をコンピュータが実行する画像処理方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：関心対象推定システム
１１０ ：鏡台
１２０ ：撮像装置
１３０ ：視線センサ
１４０ ：画像処理装置
６１０ ：画像データ内顔位置座標蓄積部
６２０ ：鏡台内顔位置座標蓄積部
６３０ ：鏡台内視線位置座標蓄積部
６４０ ：パーツ判定部
６５０ ：回数算出部
６６０ ：回数増加量判定部
６７０ ：増加量算出部
６８０ ：関心対象推定部
６９０ ：出力部
１２００ ：関心対象推定システム
１２１０ ：表示装置
１２２０ ：画像処理装置
１４１０ ：画像データ取得部
１４２０ ：画像データ補正部
１４３０ ：補正後画像データ表示部
１４４０ ：表示装置内顔位置座標蓄積部
１４５０ ：表示装置内視線位置座標蓄積部
１４６０ ：パーツ判定部

Claims (6)

1. ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得し、
   前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する、
   処理をコンピュータに実行させる画像処理プログラム。
2. 撮像装置で撮影される画像内の前記ユーザの顔の位置に基づいて、前記鏡像内の前記ユーザの顔の位置を特定する、請求項１に記載の画像処理プログラム。
3. 前記鏡像内の前記ユーザの視線の位置が、前記鏡像内の前記ユーザの顔の領域を複数の領域に区分した場合のいずれの区分領域に含まれるかを判定することで、前記鏡像内の前記ユーザの顔の部位を判定する、請求項２に記載の画像処理プログラム。
4. 前記表示画像内の前記ユーザの視線の位置が、前記表示画像内の前記ユーザの顔の領域を複数の領域に区分した場合のいずれの区分領域に含まれるかを判定することで、前記表示画像内の前記ユーザの顔の部位を判定する、請求項１に記載の画像処理プログラム。
5. ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得する取得部と、
   前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する判定部と
   を有する画像処理装置。
6. ユーザの鏡像または撮像装置で撮影されるユーザの表示画像に向けられる、当該ユーザの視線の位置を取得し、
   前記鏡像内の前記ユーザの顔の位置、または、前記表示画像内の前記ユーザの顔の位置を特定することで、取得した前記視線の位置に対応する、前記鏡像内の前記ユーザの顔の部位、または、前記表示画像内の前記ユーザの顔の部位を判定する、
   処理をコンピュータが実行する画像処理方法。

Images