JP2013050927A - 健康度報知装置、プログラム及び健康度報知方法 - Google Patents

Abstract

【課題】より簡便に健康状態を知ることを可能とする。
【解決手段】実施形態の健康度報知装置は、撮像部が撮像した画像を取り込む画像取込手段と、撮像した画像から人物の顔を検出する顔検出手段と、人物の顔が検出された画像の中の顔の領域をもとに、人物の顔の状態を認識する顔状態認識手段と、認識された顔の状態をもとに人物の健康状態を判別する判別手段と、判別された健康状態を報知する報知手段とを備える。
【選択図】図１

Description

本発明の実施形態は、健康度報知装置、プログラム及び健康度報知方法に関する。

従来、店舗に設置されたＰＯＳ（Point Of Sale）端末では、電子血圧計により顧客の生体の状態を測定し、その測定値に基づいて所定の特典処理が行われている。

しかしながら、上述した従来技術では、顧客は電子血圧計を用いて自らの生体の状態を測定する手間があり、不便であった。

上述した課題を解決するために、実施形態の健康度報知装置は、撮像部が撮像した画像を取り込む画像取込手段と、前記撮像した画像から人物の顔を検出する顔検出手段と、人物の顔が検出された画像の中の当該顔の領域をもとに、前記人物の顔の状態を認識する顔状態認識手段と、前記認識された顔の状態をもとに前記人物の健康状態を判別する判別手段と、前記判別された健康状態を報知する報知手段とを備える。

また、実施形態のプログラムは、コンピュータを、撮像部が撮像した画像を取り込む画像取込手段と、前記撮像した画像から人物の顔を検出する顔検出手段と、人物の顔が検出された画像の中の当該顔の領域をもとに、前記人物の顔の状態を認識する顔状態認識手段と、前記認識された顔の状態をもとに前記人物の健康状態を判別する判別手段と、前記判別された健康状態を報知する報知手段として機能させる。

また、実施形態の健康度報知方法は、健康度報知装置の健康度報知方法であって、撮像部が撮像した画像を取り込む画像取込工程と、前記撮像した画像から人物の顔を検出する顔検出工程と、人物の顔が検出された画像の中の当該顔の領域をもとに、前記人物の顔の状態を認識する顔状態認識工程と、前記認識された顔の状態をもとに前記人物の健康状態を判別する判別工程と、前記判別された健康状態を報知する報知工程とを含む。

図１は、実施形態にかかる健康度報知装置の一例であるチェックアウトシステムを示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、顧客ファイルのデータ構成を例示する概念図である。 図５は、顔状態−健康状態対応ファイルのデータ構成を例示する概念図である。 図６は、ＣＰＵで実現される機能構成を示すブロック図である。 図７は、チェックアウトシステムの動作の一例を示すフローチャートである。 図８は、顧客用表示デバイスの表示画面の一例を示す概念図である。 図９は、顧客用表示デバイスの表示画面の一例を示す概念図である。 図１０は、レシート用紙の一例を示す概念図である。

以下では、チェックアウトシステムを例に実施形態にかかる健康度報知装置、プログラム及び健康度報知方法を図面を参照して説明する。チェックアウトシステムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末と、商品に添付された商品コードなどを読み取る商品読取装置とを有する構成であり、店舗システムの一例である。実施形態は、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかる健康度報知装置の一例であるチェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示・操作部１０４の上部には、カウンタ台１５１の前に立つ顧客を撮像するためのデジタルカメラである顧客カメラ１６６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて設けられる表示装置であり、顧客に対して情報を表示するための顧客用表示デバイス１０９が設置されている。顧客用表示デバイス１０９の表示面には、顧客用タッチパネル１０９ａが積層されている。

チェックアウトシステム１では、操作部としてのキーボード２２、１０７の操作、例えばテンキー２２ｄやモードキー（図示しない）の操作により、オペレータより操作モードを受け付ける。ここで、操作モードは、チェックアウトシステム１における商品登録、点検、精算等の業務処理ごとの動作モードであり、顧客によって持ち込まれた商品を登録する商品登録モード、売り上げの点検を行う点検モード、売り上げの精算を行う精算モード等がある。例えば、購入する商品Ａを入れた第１の買物カゴ１５３ａが顧客によって持ち込まれた場合、オペレータは、キーボード２２、１０７を操作して商品登録の操作モードを選択した後に、商品Ａの登録を行う。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａは商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａが含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像とが関連付けられたＰＬＵ（Price Look Up）ファイルＦ１（詳細は後述する）を参照して、出力された画像の少なくとも一部の領域と類似する商品Ａの画像を検出する。次いで、ＰＯＳ端末１１では、検出された商品Ａの画像と関連する売上登録にかかる情報をもとに、商品Ａの売上を登録する。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、健康度報知処理や、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１、顧客ファイルＦ２、顔状態−健康状態対応ファイルＦ３である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像と、商品Ａを勧める健康状態との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａにユニークに割り当てられた商品ＩＤ（Identification Data）ごとに、その商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、商品Ａを勧める健康状態とを格納する。

商品Ａを勧める健康状態とは、ミネラル不足、ビタミン不足、食べ過ぎ、腎機能の低下、心臓機能の低下など、人物の健康状態を指し示すものであればいずれであってもよい。例えば、人物の健康状態がビタミン不足である場合は、そのビタミン不足を解消するために勧める商品としてはニンジンがある。したがって、ＰＬＵファイルＦ１には、商品Ａとしての「ニンジン」に、その「ニンジン」を勧める健康状態として「ビタミン不足」が格納される。

商品読取装置１０１により売上登録を行う商品Ａが読み取られた場合、ＰＯＳ端末１１は、ＰＬＵファイルＦ１を参照して類似する商品画像を検出することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。売上登録後、ＰＯＳ端末１１は、売上登録が行われた商品についての精算処理を行い、その精算処理の内容を印字したレシート用紙をプリンタ６６により出力する。また、顧客の健康状態を判別した場合（詳細は後述する）には、ＰＬＵファイルＦ１を参照することで、判別した健康状態において勧める商品Ａを検索できる。

顧客ファイルＦ２は、顧客に関するデータを格納するファイルである。図４は、顧客ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、顧客ファイルＦ２は、顧客を識別するための識別情報としてユニークに割り当てられた顧客ＩＤごとに、その顧客に関するデータを格納している。顧客に関するデータとしては、顧客の氏名などの属性情報、来店、購入などの履歴情報の他、顧客登録時や商品購入時において撮像した顧客の顔データなどがある。

顔状態−健康状態対応ファイルＦ３は、人物の顔の状態と、人物の健康状態との相関関係を記述したファイルである。ここで、人物の顔の状態とは、外見上の顔の状態であり、顔のむくみ、口周りの吹き出物、白目部分が黄色い状態などであってよい。図５は、顔状態−健康状態対応ファイルＦ３のデータ構成を例示する概念図である。図５に示すように、顔状態−健康状態対応ファイルＦ３は、人物の顔の状態ごとに、その顔の状態から相関する人物の健康状態を格納している。例えば、人物の顔の状態として「むくみ」と相関する人物の健康状態としては「ミネラル、ビタミン不足」が格納される。したがって、顔状態−健康状態対応ファイルＦ３を参照することで、人物の顔の状態から人物の健康状態を判別することができる。なお、図示例では、一つの顔の状態と一つの健康状態との相関が一対一の場合を例示しているが、複数の顔の状態の組み合わせと一つの健康状態との相関が記述されてもよいことは言うまでもないことである。例えば、顔のむくみと白目部分が黄色いなどの顔の状態から、肝臓機能の低下などの健康状態を判別してよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、顧客ファイルＦ２、顔状態−健康状態対応ファイルＦ３などが格納されている。

ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品読取装置１０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート用紙などに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシート用紙に印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５、顧客カメラ１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５、顧客カメラ１６６は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４、顧客カメラ１６６は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどによるデジタルカメラである。撮像部１６４は、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。顧客カメラ１６６も撮像部１６４と同様、ＣＰＵ１６１の制御の下でカウンタ台１５１の前方向の撮像を行う。例えば撮像部１６４、顧客カメラ１６６では３０ｆｐｓ（frames per second）の動画像の撮像を行う。撮像部１６４、顧客カメラ１６６が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４、顧客カメラ１６６によって撮像された画像は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。

次に、ＣＰＵ１６１、６１がプログラムを順次実行することで実現される機能部について、図６を参照して説明する。図６は、ＣＰＵ１６１、６１で実現される機能構成を示すブロック図である。図６に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、顔検出部１６１２、画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、顔状態認識部６１１、健康状態判別部６１２、報知部６１３としての機能を備える。

撮像画像取込部１６１１は、撮像部１６４、顧客カメラ１６６に撮像オン信号を出力して撮像部１６４、顧客カメラ１６６に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４、顧客カメラ１６６が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

顔検出部１６１２は、撮像画像取込部１６１１により取り込まれた顧客カメラ１６６のフレーム画像に含まれる人物の顔をパターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、抽出された輪郭線から人物の顔を構成する目、口、耳、鼻等の所定の要素を、予め設定されたマッチング用データとの比較で認識することで、人物の顔を検出する。なお、フレーム画像において検出された人物の顔の領域については、顔の輪郭線に沿った座標等の情報として、画像出力部１６１３より人物の顔が検出されたフレーム画像を出力する際に、ＰＯＳ端末１１に通知される。

なお、人物の顔の検出は、画像における特徴量として色合いや表面の凸凹状況等の表面の状態を読み取ることによって特定の物体を認識する一般物体認識（generic object recognition）の技術を用いてもよい。この一般物体認識については次の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

画像出力部１６１３は、撮像画像取込部１６１１が取り込んだ撮像部１６４、顧客カメラ１６６のフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、顧客カメラ１６６が取り込んだフレーム画像については、ＲＯＭ１６２により人物の顔が検出された場合のフレーム画像を、ＰＯＳ端末１１へ出力するものとする。

顔状態認識部６１１は、画像出力部１６１３より出力された、人物の顔が検出された場合のフレーム画像をもとに、検出された人物の顔の状態を認識する。具体的には、顔状態認識部６１１は、人物の顔が検出されたフレーム画像とともに、顔の輪郭線に沿った座標等の情報として通知された顔の領域を示す情報をもとに、フレーム画像から顔の領域を抽出する。次いで、顔状態認識部６１１は、フレーム画像から抽出した顔の領域から、目、目の下、口元、頬等の顔の要素ごとの形状・肌色を、上述した一般物体認識の技術を用いて認識する。この一般物体認識の技術を用いて認識した顔の要素ごとの、色合いや表面の凸凹状況をもとに、顔のむくみ、口周りの吹き出物、白目部分が黄色い状態などの顔の状態を認識する。

なお、顔状態認識部６１１は、タッチパネル２６、顧客用タッチパネル１０９ａなどにより顧客ＩＤの入力を受け付けた場合、その顧客ＩＤで識別される顧客の顔データを顧客ファイルＦ２より読み出し、フレーム画像から抽出した顔の領域と比較して人物の顔の状態を認識してもよい。この場合は、顧客ファイルＦ２に予め格納された顔と、フレーム画像から抽出した現在の顔との比較で顔の状態が認識されることから、顔の状態についての個人差が加味された、精度の高い認識を行うことが可能となる。なお、比較に用いる顔データは、顧客ファイルＦ２に格納された顔データの中から、健康状態が良好で理想的な顔として新規登録時に格納された顔データを選ぶものとする。具体的には、顔状態認識部６１１は、上述した一般認識技術を用いて、健康状態が良好で理想的な顔として顧客ファイルＦ２に格納された顔データによる顔の要素ごとの形状・肌色と、フレーム画像から抽出した顔の領域による顔の要素ごとの形状・肌色との差分を検出する。次いで、検出された顔の要素ごとの差分が所定の値を上回るか否かをもとに、健康状態が良好で理想的な顔の状態からの変化を顔の状態として認識する。例えば、理想的な顔の状態に対して、フレーム画像から抽出した顔の状態の方が形状に膨らみを帯びている場合には、顔のむくみを認識する。

健康状態判別部６１２は、顔状態認識部６１１により認識された顔の状態をもとに、顔状態−健康状態対応ファイルＦ３を参照することで、人物の健康状態を判別する。具体的には、図５に示したように、顔のむくみが顔状態認識部６１１により認識された場合には、顔の状態の「むくみ」に対応して顔状態−健康状態対応ファイルＦ３に記憶された「ミネラル、ビタミン不足」が人物の健康状態として判別される。報知部６１３は、健康状態判別部６１２により判別された人物の健康状態を、顧客用表示デバイス１０９への表示出力や、プリンタ６６によるレシート用紙への印字で報知する。

次に、チェックアウトシステム１の動作について詳細に説明する。図７は、チェックアウトシステム１の動作の一例を示すフローチャートである。

図７に示すように、チェックアウトシステム１では、キャッシャーによるキーボード２２又はタッチパネル２６の操作入力や、顧客による顧客用タッチパネル１０９ａの操作入力により顧客ＩＤを取得する（Ｓ１）。なお、チェックアウトシステム１では、顧客ＩＤなどが記載された顧客カードを読取窓１０３にかざし、その時のフレーム画像をＣＰＵ１６１が文字認識することで、顧客ＩＤを取得してもよい。また、顧客カードを所持しない新規の顧客などについては、顧客ＩＤの入力をスキップする操作をキーボード２２又はタッチパネル２６より受け付けて、Ｓ１の処理をスキップしてよい。

次いで、チェックアウトシステム１では、顧客カメラ１６６により顧客の顔画像を撮像する（Ｓ２）。この顔画像の撮像により、商品読取装置１０１では、顔検出部１６１２により撮像したフレーム画像から顔検出が行われ、顔の検出されたフレーム画像が画像出力部１６１３よりＰＯＳ端末１１に出力される。

次いで、チェックアウトシステム１では、顔の検出されたフレーム画像をもとに、顔状態認識部６１１によりクマ、目の充血、吹き出物などの顔の状態が認識される（Ｓ３）。次いで、チェックアウトシステム１のＣＰＵ６１は、顧客ファイルＦ２を参照して、顧客の来店履歴の有無を判定する（Ｓ４）。具体的には、Ｓ１で取得した顧客ＩＤをもとに顧客ファイルＦ２を参照し、取得した顧客ＩＤに対応して格納されている履歴情報をもとに来店履歴の有無を判定する。この判定において、履歴情報に来店履歴がない場合や、顧客ＩＤの入力をスキップした場合には、来店履歴がないものと判定される。

Ｓ４において来店履歴がない場合は、Ｓ３で認識された顔の状態をもとに、健康状態判別部６１２が顧客の健康状態を判別する（Ｓ５）。また、Ｓ４において来店履歴がある場合、顔状態認識部６１１は、Ｓ１で取得した顧客ＩＤをもとに、顧客ファイルＦ２から理想的な健康状態の画像として登録されている顔データ（例えば新規登録時の顔データ）を取得する（Ｓ６）。次いで、顔状態認識部６１１は、取得した顔データと、フレーム画像から抽出した顔とを比較して顔の状態を認識する。次いで、健康状態判別部６１２は、その比較により認識された顔の状態をもとに、顧客の健康状態を判別する（Ｓ７）。

Ｓ５、Ｓ７に次いで、報知部６１３は、Ｓ５、Ｓ７で判別した健康状態を顧客用表示デバイス１０９へ表示して顧客に報知する（Ｓ８）。図８は、顧客用表示デバイス１０９の表示画面Ｇの一例を示す概念図である。図８に示すように、Ｓ８では、認識した顔の状態や、その顔の状態をもとに判別した健康状態を表示画面Ｇ内の報知ウインドウＧ１１に表示して顧客への報知を行う。

したがって、チェックアウトシステム１を利用する顧客は、電子血圧計を用いて自らの生体の状態を測定するなどの手間をかけることなく、カウンタ台１５１の前に立って顔の撮像を行うだけで、自らの健康状態を知ることができる。また、自らの顧客ＩＤを入力することで、顧客ファイルＦ２に予め登録しておいた顔と、顧客カメラ１６６で撮像した現在の顔との比較による、健康状態の判別を行うことができ、個人差が加味された健康状態の判別を行うことが可能となる。

次いで、報知部６１３は、ＰＬＵファイルＦ１を参照することで、判別した健康状態に応じておすすめする商品を検索し（Ｓ９）、その検索結果を顧客用表示デバイス１０９へ表示して顧客に報知する（Ｓ１０）。次いで、ＣＰＵ６１は、今回撮像した顔画像を顧客ファイルＦ２の顔データに保存して（Ｓ１１）、処理を終了する。

図９は、顧客用表示デバイス１０９の表示画面Ｇの一例を示す概念図である。図９に示すように、Ｓ１０では、判別した健康状態に応じておすすめする商品として、ＰＬＵファイルＦ１より検索された商品を表示画面Ｇ内の報知ウインドウＧ１２に表示して顧客への報知を行う。したがって、顧客は、自らの健康状態にあった商品を知ることができる。また店舗側では、顧客の健康状態にあった商品の情報を提供することで、顧客の購買意欲をかきたてて、商品の販売促進を見込むことができる。

なお、Ｓ８における健康状態の表示や、Ｓ１０における判別した健康状態に応じておすすめする商品の表示は、プリンタ６６によりレシート用紙に印字されてよい。図１０は、レシート用紙Ｒの一例を示す概念図である。図１０におけるレシート用紙Ｒは、顧客が商品Ａの精算を行った際にプリンタ６６により印字された計算書である。この計算書は、精算を行った商品Ａの買上情報が印字される買上情報印字領域Ｒ１と、Ｓ５、Ｓ７における健康状態の判別結果や、Ｓ１０における検索結果が印字される報知情報印字領域Ｒ２とを有している。顧客は、計算書における報知情報印字領域Ｒ２の内容を確認することで、自らの顔から判別された健康状態や、その健康状態に応じておすすめする商品を知ることができる。

実施形態の健康度報知装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤ（Compact Disk）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウエア構成となっている。

実施形態の健康度報知装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disc Recordable）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の健康度報知装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の健康度報知装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の健康度報知装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。実施形態の健康度報知装置で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、顔検出部１６１２、画像出力部１６１３、顔状態認識部６１１、健康状態判別部６１２、報知部６１３）を含むモジュール構成となっており、実際のハードウエアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１０９ａ…顧客用タッチパネル、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１６６…顧客カメラ、１７５、１７６…接続インターフェース、１６１１…撮像画像取込部、１６１２…顔検出部、１６１３…画像出力部、６１１…顔状態認識部、６１２…健康状態判別部、６１３…報知部、Ａ…商品、Ｆ１…ＰＬＵファイル、Ｆ２…顧客ファイル、Ｆ３…顔状態−健康状態対応ファイル、Ｇ…表示画面、Ｇ１１、Ｇ１２…報知ウインドウ、ＰＲ…プログラム、Ｒ…レシート用紙、Ｒ１…買上情報印字領域、Ｒ２…報知情報印字領域、ＳＣ…ストアコンピュータ

特開２００９−２５１６９６号公報

Claims (6)

1. 撮像部が撮像した画像を取り込む画像取込手段と、
   前記撮像した画像から人物の顔を検出する顔検出手段と、
   人物の顔が検出された画像の中の当該顔の領域をもとに、前記人物の顔の状態を認識する顔状態認識手段と、
   前記認識された顔の状態をもとに前記人物の健康状態を判別する判別手段と、
   前記判別された健康状態を報知する報知手段と、
   を備える健康度報知装置。
2. 人物を識別する識別情報の入力を受け付ける入力手段と、
   前記識別情報ごとに、当該識別情報で識別される人物の顔画像を予め記憶する顔画像記憶手段と、を更に備え、
   前記顔状態認識手段は、入力を受け付けた前記識別情報で識別された人物の顔画像と、前記顔の領域との比較をもとに、前記人物の顔の状態を認識する、
   請求項１に記載の健康度報知装置。
3. 前記報知手段は、表示部への表示及び用紙への印字の少なくとも一方で前記判別された健康状態を報知する、
   請求項１又は２に記載の健康度報知装置。
4. 商品ごとに、当該商品を勧める健康状態を予め記憶する商品記憶手段を更に備え、
   前記報知手段は、前記判別された健康状態において勧める商品として予め記憶された商品を報知する、
   請求項１乃至３のいずれか一項に記載の健康度報知装置。
5. コンピュータを、
   撮像部が撮像した画像を取り込む画像取込手段と、
   前記撮像した画像から人物の顔を検出する顔検出手段と、
   人物の顔が検出された画像の中の当該顔の領域をもとに、前記人物の顔の状態を認識する顔状態認識手段と、
   前記認識された顔の状態をもとに前記人物の健康状態を判別する判別手段と、
   前記判別された健康状態を報知する報知手段と、
   して機能させるためのプログラム。
6. 健康度報知装置の健康度報知方法であって、
   撮像部が撮像した画像を取り込む画像取込工程と、
   前記撮像した画像から人物の顔を検出する顔検出工程と、
   人物の顔が検出された画像の中の当該顔の領域をもとに、前記人物の顔の状態を認識する顔状態認識工程と、
   前記認識された顔の状態をもとに前記人物の健康状態を判別する判別工程と、
   前記判別された健康状態を報知する報知工程と、
   を含む健康度報知方法。

Images