JP2017219940A - 報知装置、電子機器、報知方法、および、プログラム - Google Patents

Abstract

【課題】ユーザの変化に応じた情報を当該ユーザに報知する。【解決手段】ユーザを撮影して得られる撮影画像を取得する画像取得部（４２）と、撮影画像と、撮影画像の比較対象である参照画像との差異を検出する画像差異検出部（４３）と、検出した差異に応じてユーザの変化に関する情報を決定する情報決定部（４４）と、決定した情報をユーザに報知する情報報知部（４６）と、を備えている報知装置（１）。【選択図】図１

Description

本発明は、報知装置、電子機器、報知方法、および、プログラムに関する。

従来、ユーザと会話を行うロボットが開発されている。例えば、特許文献１には、ユーザとの対話において、高速な応答と、人物の高精度な識別とを両立させるロボットが開示されている。

特開２０１５−１３２９５５号公報（２０１５年７月２３日公開）

しかしながら、上述のような従来技術は、ユーザがロボットに対して発話などで働きかけた場合にのみロボットが応答するものである。従って、ユーザよりも先にロボットがユーザに働きかけることはない。例えば、ユーザの変化に応じた情報を当該ユーザに報知することはない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザの変化に応じた情報を当該ユーザに報知することにある。

上記の課題を解決するために、本発明の一態様に係る報知装置は、ユーザを撮影して得られる撮影画像を取得する画像取得部と、上記撮影画像と、上記撮影画像の比較対象である参照画像との差異を検出する画像差異検出部と、上記検出した差異に応じて上記ユーザの変化に関する情報を決定する情報決定部と、上記決定した情報を上記ユーザに報知する情報報知部と、を備えている。

上記の課題を解決するために、本発明の一態様に係る報知方法は、ユーザに情報を報知する装置の報知方法であって、ユーザを撮影して得られる撮影画像を取得する画像取得ステップと、上記撮影画像と、上記撮影画像の比較対象である参照画像との差異を検出する画像差異検出ステップと、上記検出した差異に応じて上記ユーザの変化に関する情報を決定する情報決定ステップと、上記決定した情報を上記ユーザに報知する情報報知ステップと、を含む。

本発明の一態様によれば、ユーザの変化に応じた情報を当該ユーザに報知することができるとの効果を奏する。

本発明の実施形態１に係る報知装置の要部構成を示すブロック図である。 本発明の実施形態１に係る報知装置の処理を示すフローチャートである。 （ａ）は本発明の実施形態１に係る設定領域の例を示す図であり、（ｂ）は本発明の実施形態１に係る情報テーブルの例を示す図である。 本発明の実施形態２に係る報知装置の処理を示すフローチャートである。 （ａ）は本発明の実施形態２に係る設定座標の例を示す図であり、（ｂ）は本発明の実施形態２に係る情報テーブルの例を示す図である。 本発明の実施形態３に係る報知装置の処理を示すフローチャートである。 （ａ）は本発明の実施形態３に係る設定領域の例を示す図であり、（ｂ）は本発明の実施形態３に係る情報テーブルの例を示す図である。

〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。

（報知装置１）
図１は、本実施形態に係る報知装置１の要部構成を示すブロック図である。報知装置１は、図１に示すように、画像撮影部１０、音声出力部２０、表示部３０、制御部４０、および、記憶部５０を備えている。

画像撮影部１０は、ユーザの顔画像を撮影するものであり、具体的にはカメラ（例えば、スマートフォンの前面に備わるサブカメラ）等である。音声出力部２０は、音声を出力するものであり、具体的にはスピーカ等である。表示部３０は、画像を表示するものであり、具体的にはディスプレイ画面等である。制御部４０は、報知装置１の各構成要素を統括的に制御する機能を備えている演算装置である。制御部４０の詳細については、後述する。記憶部５０には、画像、および、情報が格納されている。記憶部５０の詳細については、後述する。

（制御部４０）
制御部４０は、図１に示すように、撮影タイミング判定部４１、画像取得部４２、画像差異検出部４３、情報決定部４４、情報報知方法選択部４５、および、情報報知部４６を備えている。

撮影タイミング判定部４１は、ユーザの画像を撮影するタイミングを判定し、そのタイミングを画像取得部４２に通知する。上記タイミングとは、例えば、ユーザが所定時間以上報知装置１を操作しているとき、現時刻が所定の時間帯に含まれるとき等である。画像取得部４２は、撮影タイミング判定部４１から通知されたタイミングにより、画像撮影部１０からユーザを撮影して得られる撮影画像を取得する。

画像差異検出部４３は、画像取得部４２により取得された撮影画像と、当該撮影画像の比較対象である参照画像との差異を検出する。参照画像は、撮影画像とは異なるタイミングでユーザを撮影して得られる画像である。

情報決定部４４は、画像差異検出部４３により検出された差異に応じてユーザの変化に関する情報を決定する。情報報知方法選択部４５は、ユーザによる報知装置１の使用状況に応じて、情報の報知方法として聴覚的報知、または、視覚的報知を選択する。聴覚的報知には、音声による報知、音楽による報知、自然音による報知などが挙げられる。視覚的報知には、端末画面の画像表示による報知、ロボットのジェスチャによる報知などが挙げられる。

情報報知部４６は、情報決定部４４により決定された情報をユーザに報知する。情報報知部４６は、情報報知方法選択部４５により選択された報知方法により情報をユーザに報知する。

（記憶部５０）
記憶部５０には、図１に示すように、画像データベース５１、および、情報データベース５２が格納されている。画像データベース５１には、事前に（例えば、ユーザ登録時などに）撮影されたユーザの画像や、所定のタイミング毎に撮影されたユーザの画像が格納されている。情報データベース５２には、異なるタイミングのユーザの画像における差異に応じた情報が格納されている。

（報知装置１の処理）
図２は、本実施形態に係る報知装置１の処理を示すフローチャートである。本処理は、バックグラウンドでユーザを撮影し、顔およびその周辺を検出し、以前の顔との変化に応じた情報をユーザに報知する処理である。

まず、報知装置１は、所定の時間帯か否かを判定する（Ｓ２０２）。詳細には、撮影タイミング判定部４１は、現時刻が所定の時間帯に含まれるか否かを判定する。所定の時間帯とは、例えば、朝の時間帯である６〜９時、昼の時間帯である１２〜１３時、または、夜の時間帯である１７〜２４時のことをいう。

所定の時間帯である場合（Ｓ２０２のＹＥＳ）、報知装置１は、ユーザを撮影して得られる撮影画像を取得する（Ｓ２０４）。詳細には、画像取得部４２は、撮影タイミング判定部４１から撮影タイミングの通知を受けて、画像撮影部１０からその時点において撮影した撮影画像を取得する。

次に、報知装置１は、取得した撮影画像からHaar-Like特徴を使って顔検出を行う（Ｓ２０６）。Haar-Like特徴による顔検出は、画像の明暗差により特徴を捉えるものである。すなわち、画像の一部分を切り出し、局所的な明暗差を算出し、このような局所的な特徴をいくつも組み合わせることで、物体を判別する。なお、他の方法で顔検出を行ってもよい。

撮影画像から顔が検出された場合（Ｓ２０８のＹＥＳ）、報知装置１は、画像データを記憶部５０に記憶させる（Ｓ２１０）。詳細には、画像取得部４２は、取得した撮影画像を現在の時間帯に対応付けて画像データベース５１に記憶させる。

報知装置１は、同じ時間帯における昨日の画像と、本日の画像とを比較する（Ｓ２１２）。詳細には、画像差異検出部４３は、Ｓ２０２で判定した時間帯と同じ時間帯における参照画像を画像データベース５１から読み出す。画像差異検出部４３は、読み出した参照画像と、Ｓ２０４で取得した撮影画像とを比較する。

報知装置１は、参照画像と、撮影画像との間に髪の形・毛量（髪の部分）に差異があるか否かを判定する（Ｓ２１４）。詳細には、画像差異検出部４３は、顔周辺、すなわち、肌色領域の外縁部に存在する黒画像領域の面積を比較することにより、撮影画像および参照画像における髪の形・毛量の差異を検出する。

図３（ａ）は、本実施形態に係る設定領域の例を示す図である。図３（ａ）に示すように、昨日の画像においては、領域Ａ、ＢおよびＣが設定される。本日の画像においては、領域Ａ’、Ｂ’およびＣ’が設定される。領域Ａおよび領域Ａ’は、目から頭部中央までの領域である。領域Ｂおよび領域Ｂ’は、図面に向かって左側の口角から左下の領域である。領域Ｃおよび領域Ｃ’は、図面に向かって右側の口角から右下の領域である。

画像差異検出部４３は、昨日の画像および本日の画像において対応する領域同士の黒画像領域の面積を比較する。すなわち、画像差異検出部４３は、領域ＡおよびＡ’における黒画像領域の面積を比較し、領域ＢおよびＢ’における黒画像領域の面積を比較し、領域ＣおよびＣ’における黒画像領域の面積を比較する。

参照画像と、撮影画像との間に髪の形・毛量に差異がある場合（Ｓ２１４のＹＥＳ）、報知装置１は、検出した髪の形・毛量の差異に応じてユーザの変化に関する情報を決定する（Ｓ２１６）。詳細には、情報決定部４４は、情報データベース５２に記憶された情報テーブル５２１を参照して、検出した差異に対応する情報を決定する。

図３（ｂ）は、本実施形態に係る情報テーブル５２１の例を示す図である。図３（ｂ）に示すように、情報テーブル５２１は、黒画像領域の面積差、符号、および、情報を含む。黒画像領域の面積差は、昨日の画像および本日の画像において対応する領域同士の黒画像領域の面積差である。符号は、当該面積差の符号である。情報は、当該面積差の符号に応じた情報である。

例えば、黒画像領域の面積差Ａ−Ａ’の符号が正である場合、情報決定部４４は、情報として「前髪、さっぱりしましたね」を決定する。また、黒画像領域の面積差Ａ−Ａ’の符号が負である場合、情報決定部４４は、情報として「今日は前髪を下ろしていますね」を決定する。

報知装置１は、ユーザによる報知装置１の使用状況を判定する（Ｓ２１８）。詳細には、情報報知方法選択部４５は、マナーモードオフか、スリープ状態になっているか否かを判定する。マナーモードオフか、スリープ状態になっている場合（Ｓ２１８のＹＥＳ）、情報報知方法選択部４５は、音声による報知（聴覚的報知）を選択する。報知装置１は、情報報知方法選択部４５により選択された報知方法に応じて情報を音声出力する（Ｓ２２０）。詳細には、情報報知部４６は、音声出力部２０を介して、Ｓ２１６で決定された情報をユーザに報知する。

マナーモードオフか、スリープ状態になっていない場合、換言すれば、マナーモードオンか、操作中になっている場合（Ｓ２１８のＮＯ）、情報報知方法選択部４５は、画像による報知（視覚的報知）を選択する。報知装置１は、情報報知方法選択部４５により選択された報知方法に応じて情報を画像表示する（Ｓ２２２）。詳細には、情報報知部４６は、表示部３０を介して、Ｓ２１６で決定された情報をユーザに報知する。

なお、所定の時間帯でない場合（Ｓ２０２のＮＯ）、顔が検出されていない場合（Ｓ２０８のＮＯ）、または、参照画像と、撮影画像との間に髪の形・毛量に差異がない場合（Ｓ２１４のＮＯ）、報知装置１は、処理を終了する。

（実施形態１の効果）
本実施形態によれば、報知装置１は、ユーザが指示することなく、ユーザが意識していない、ユーザ（特に、ユーザの髪）の変化に応じた情報を当該ユーザに報知することができる。そして、報知装置１は、タイミング（時間帯）を決めて、ユーザによる使用状況（マナーモードのオン・オフ／装置の操作中・未操作）を判定して、当該ユーザだけに情報を報知することができる。

〔実施形態２〕
本発明の実施形態２について、図４、図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図４は、本実施形態に係る報知装置１の処理を示すフローチャートである。まず、報知装置１は、所定の時間帯か否かを判定する（Ｓ４０２）。詳細には、撮影タイミング判定部４１は、現時刻が所定の時間帯に含まれるか否かを判定する。

所定の時間帯である場合（Ｓ４０２のＹＥＳ）、報知装置１は、ユーザを撮影して得られる撮影画像を取得する（Ｓ４０４）。詳細には、画像取得部４２は、撮影タイミング判定部４１から撮影タイミングの通知を受けて、画像撮影部１０からその時点において撮影した撮影画像を取得する。

次に、報知装置１は、取得した撮影画像からHaar-Like特徴を使って顔検出を行う（Ｓ４０６）。Haar-Like特徴による顔検出は、実施形態１で説明したとおりである。なお、他の方法で顔検出を行ってもよい。

撮影画像から顔が検出された場合（Ｓ４０８のＹＥＳ）、報知装置１は、画像データを記憶部５０に記憶させる（Ｓ４１０）。詳細には、画像取得部４２は、取得した撮影画像を現在の時間帯に対応付けて画像データベース５１に記憶させる。

報知装置１は、全ての時間帯における昨日の画像と、本日の画像とを比較する（Ｓ４１２）。詳細には、画像差異検出部４３は、Ｓ４０８で検出された顔画像から口周辺領域を特定する。画像差異検出部４３は、昨日の全ての時間帯における参照画像を画像データベース５１から読み出す。画像差異検出部４３は、読み出した参照画像と、特定した口周辺領域の撮影画像とを比較する。

報知装置１は、参照画像と、撮影画像との間に口角周辺に差異があるか否かを判定する（Ｓ４１４）。詳細には、画像差異検出部４３は、口角の上下の変化があるか否かを判定することにより、撮影画像および参照画像における口角周辺の部分の差異を検出する。

図５（ａ）は、本実施形態に係る設定座標の例を示す図である。図５（ａ）に示すように、昨日の画像においては、図面に向かって左側の口角の座標（Ｘ１、Ｙ１）、および、その少し右側にずれた箇所（上唇と、下唇の間の線上）の座標（Ｘ２、Ｙ２）が設定される。本日の画像においては、図面に向かって左側の口角の座標（Ｘ３、Ｙ３）、および、その少し右側にずれた箇所（上唇と、下唇の間の線上）の座標（Ｘ４、Ｙ４）が設定される。

ユーザが笑顔でいる場合には、口角が上がるので、口角とその少し右側にずれた箇所（上唇と、下唇の間の線上）とを結ぶ直線の傾き（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）および（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）は負の値となる。一方、ユーザの機嫌が悪い場合などには、口角が下がるので、上記直線の傾きは正となる。以下の説明では、上記直線の傾きを座標比較値として説明する。

画像差異検出部４３は、昨日の画像および本日の画像において対応する座標を比較する。すなわち、画像差異検出部４３は、座標Ｘ１およびＸ２を比較し、座標Ｙ１およびＹ２を比較し、座標Ｘ３およびＸ４を比較し、座標Ｙ３およびＹ４を比較する。

参照画像と、撮影画像との間に口角に差異がある場合（Ｓ４１４のＹＥＳ）、報知装置１は、検出した口角周辺の部分の差異に応じてユーザの変化に関する情報を決定する（Ｓ４１６）。詳細には、情報決定部４４は、情報データベース５２に記憶された情報テーブル５２２を参照して、検出した差異に対応する情報を決定する。

図５（ｂ）は、本実施形態に係る情報テーブル５２２の例を示す図である。図５（ｂ）に示すように、情報テーブル５２２は、座標比較値、符号、および、情報を含む。座標比較値は、昨日の画像および本日の画像における、２つの座標の差に関する値である。符号は、当該座標比較値の符号である。情報は、当該座標比較値の符号に応じた情報である。

例えば、座標比較値（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）が正であり、かつ、座標比較値（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）が負である場合、情報決定部４４は、ユーザの変化に関する情報として「今日は笑顔がありますね。何かいいことありましたか？」を決定する。

また、座標比較値（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）が負であり、かつ、座標比較値（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）が正である場合、情報決定部４４は、ユーザの変化に関する情報として「今日は笑顔が少ないですね。何かありましたか？」を決定する。

また、座標比較値（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）が正であり、かつ、座標比較値（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）が正である場合、情報決定部４４は、ユーザの変化に関する情報として「今日は何かいいことあるといいですね！」を決定する。

また、座標比較値（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）が負であり、かつ、座標比較値（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）が負である場合、情報決定部４４は、ユーザの変化に関する情報として「今日も楽しい一日でしたね！」を決定する。

報知装置１は、ユーザによる報知装置１の使用状況を判定する（Ｓ４１８）。詳細には、情報報知方法選択部４５は、マナーモードオフか、スリープ状態になっているか否かを判定する。マナーモードオフか、スリープ状態になっている場合（Ｓ４１８のＹＥＳ）、情報報知方法選択部４５は、音声による報知を選択する。報知装置１は、情報報知方法選択部４５により選択された報知方法に応じて情報を音声出力する（Ｓ４２０）。詳細には、情報報知部４６は、音声出力部２０を介して、Ｓ４１６で決定された情報をユーザに報知する。

マナーモードオフか、スリープ状態になっていない場合、換言すれば、マナーモードオンか、操作中になっている場合（Ｓ４１８のＮＯ）、情報報知方法選択部４５は、画像による報知を選択する。報知装置１は、情報報知方法選択部４５により選択された報知方法に応じて情報を画像表示する（Ｓ４２２）。詳細には、情報報知部４６は、表示部３０を介して、Ｓ４１６で決定された情報をユーザに報知する。

所定の時間帯でない場合（Ｓ４０２のＮＯ）、顔が検出されていない場合（Ｓ４０８のＮＯ）、または、参照画像と、撮影画像との間に口角周辺に差異がない場合（Ｓ４１４のＮＯ）、報知装置１は処理を終了する。

なお、上記の説明では座標比較値として、口角とその少し右側にずれた箇所（上唇と、下唇の間の線上）とを結ぶ直線の傾き（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）および（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）を座標比較値としてユーザ変化に関する情報を得る例について説明を行ったが、座標比較値として（Ｙ２−Ｙ１）および（Ｙ４−Ｙ３）の値を採用し、この値の符号に基づいて、ユーザ変化に関する情報を得るように構成してもよい。

また、上記の説明では、全ての時間帯における昨日の画像と本日の画像とを比較する例を示したが、本発明はこれに限定されることはなく、一部の時間帯のみの画像を使ってもよいし、昨日以外の過去の任意の時点において撮影したユーザの画像を参照画像としてもよい。例えば、ユーザ登録時などに撮影されたユーザの画像を参照画像として画像データベース５１に登録しておき、当該参照画像と、本日の画像とを比較することにより、情報決定部４４は、ユーザの変化に関する情報を決定するようにしてもよい。この場合、参照する画像を少なくすることにより、使用メモリの容量を削減することができ、システムへの負荷を軽減することができるという効果がある。

また、上記の説明では、昨日の画像と本日の画像とを単一の画像同士で比較していたが、昨日の複数の画像における口角周辺の状況の平均と、本日の複数の画像における口角の状況の平均とを比較することにより、情報決定部４４は、ユーザの変化に関する情報を決定してもよい。すなわち、昨日の複数の画像の口角周辺の画像変化（（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）または（Ｙ２−Ｙ１））を各々計算して昨日の平均値を算出し、本日の複数の画像の口角周辺の画像変化（（Ｙ４−Ｙ３）／（Ｘ４−Ｘ３）または（Ｙ４−Ｙ３））を各々計算して本日の平均値を算出し、昨日の平均値と、本日の平均値とを比較することにより、情報決定部４４は、ユーザの変化に関する情報を決定してもよい。この場合、ユーザの一日分の大きな状態変化を反映した表現が可能になるといった効果がある。

さらに、上記の説明では比較する場所を口角付近の画像を用いていたが、これに限定されることはない。例えば、情報決定部４４は、口周辺の画像に含まれる歯を示す画像の面積により、ユーザの変化に関する情報を決定してもよい。すなわち、口の位置を認識し、この口の画像に含まれる白い画像領域を歯の画像と定義して、白い画像の面積が多い（所定値以上の）場合に、歯が多く見られると判断して、ユーザが笑顔であると認識し、一方、白い画像の面積が少ない（所定値未満の）場合に、ユーザの機嫌が悪いと認識する。このように認識した内容により、情報決定部４４は、ユーザの変化に関する情報を決定してもよい。

（実施形態２の効果）
本実施形態によれば、報知装置１は、ユーザが指示することなく、ユーザが意識していない、ユーザ（特に、ユーザの口角や歯）の変化に応じた情報を当該ユーザに報知することができる。そして、報知装置１は、タイミング（時間帯）を決めて、ユーザによる使用状況（マナーモードのオン・オフ／装置の操作中・未操作）を判定して、当該ユーザだけに情報を報知することができる。

〔実施形態３〕
本発明の実施形態３について、図６、図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図６は、本実施形態に係る報知装置１の処理を示すフローチャートである。まず、報知装置１は、所定の時間帯か否かを判定する（Ｓ６０２）。詳細には、撮影タイミング判定部４１は、現時刻が所定の時間帯に含まれるか否かを判定する。

所定の時間帯である場合（Ｓ６０２のＹＥＳ）、報知装置１は、ユーザを撮影して得られる撮影画像を取得する（Ｓ６０４）。詳細には、画像取得部４２は、撮影タイミング判定部４１から撮影タイミングの通知を受けて、画像撮影部１０からその時点において撮影した撮影画像を取得する。

次に、報知装置１は、取得した撮影画像からHaar-Like特徴を使って顔検出を行う（Ｓ６０６）。Haar-Like特徴による顔検出は、実施形態１で説明したとおりである。なお、他の方法で顔検出を行ってもよい。

撮影画像から顔が検出された場合（Ｓ６０８のＹＥＳ）、報知装置１は、画像データを記憶部５０に記憶させる（Ｓ６１０）。詳細には、画像取得部４２は、取得した撮影画像を現在の時間帯に対応付けて画像データベース５１に記憶させる。

報知装置１は、同じ時間帯における昨日の画像と、本日の画像とを比較する（Ｓ６１２）。詳細には、画像差異検出部４３は、Ｓ６０８で検出された顔画像から目・鼻・口の周辺領域を特定する。画像差異検出部４３は、昨日の同じ時間帯における参照画像を画像データベース５１から読み出し、当該参照画像から目・鼻・口の周辺領域を特定する。画像差異検出部４３は、参照画像の目・鼻・口の周辺領域と、撮影画像の目・鼻・口の周辺領域とを比較する。

顔画像から目・鼻・口の領域を特定する方法には、例えば、以下のようなものがある。すなわち、目はその周辺で一番暗いという条件で探索する。鼻と口の両端位置は両目が検出できた時のみ、それを手掛かりに検出する。鼻の検出は、ほぼ正面から照明があたっていることが条件となる。口の検出は、顎に暗い影ができないことが条件となる。なお、他の方法で目・鼻・口の領域を特定してもよい。

報知装置１は、参照画像と、撮影画像との間に目・鼻・口周辺に差異があるか否かを判定する（Ｓ６１４）。詳細には、画像差異検出部４３は、目・鼻・口周辺に昨日になかったものが本日は存在しているか否かを判定することにより、撮影画像および参照画像における目、鼻、口周辺の部分の差異を検出する。

図７（ａ）は、本実施形態に係る設定領域の例を示す図である。図７（ａ）に示すように、昨日の画像においては、領域Ｄ、ＥおよびＦが設定される。本日の画像においては、領域Ｄ’、Ｅ’およびＦ’が設定される。領域Ｄおよび領域Ｄ’は、目周辺の領域である。領域Ｅおよび領域Ｅ’は、鼻周辺の領域である。領域Ｆおよび領域Ｆ’は、口周辺の領域である。

画像差異検出部４３は、昨日の画像および本日の画像において対応する領域同士の肌色以外の画像領域の面積を比較する。すなわち、画像差異検出部４３は、領域ＤおよびＤ’における肌色以外の画像領域の面積を比較し、領域ＥおよびＥ’における肌色以外の画像領域の面積を比較し、領域ＦおよびＦ’における肌色以外の画像領域の面積を比較する。

参照画像と、撮影画像との間に目・鼻・口に差異がある場合（Ｓ６１４のＹＥＳ）、報知装置１は、検出した目、鼻、口周辺の部分の差異に応じてユーザの変化に関する情報を決定する（Ｓ６１６）。詳細には、画像差異検出部４３は、画像の差異が検出した領域からさらに小さい領域を特定する。図７（ａ）に示すように、画像差異検出部４３は、領域ＤおよびＤ'に差異があった場合、領域ｄおよびｄ’を特定する。画像差異検出部４３は、領域ＥおよびＥ'に差異があった場合、領域ｅおよびｅ’を特定する。画像差異検出部４３は、領域ＦおよびＦ'に差異があった場合、領域ｆおよびｆ’を特定する。情報決定部４４は、情報データベース５２に記憶された情報テーブル５２３を参照して、検出した差異に対応する情報を決定する。

図７（ｂ）は、本実施形態に係る情報テーブル５２３の例を示す図である。図７（ｂ）に示すように、情報テーブル５２３は、黒画像領域の面積差、符号、および、情報を含む。黒画像領域の面積差は、昨日の画像および本日の画像において対応する領域同士の黒画像領域の面積差である。符号は、当該面積差の符号である。情報は、当該面積差の符号に応じた情報である。

例えば、黒画像領域の面積差ｄ−ｄ’の符号が負である場合、情報決定部４４は、情報として「目の下に何かついていますよ」を決定する。また、黒画像領域の面積差ｄ−ｄ’の符号がに正である場合、情報決定部４４は、情報として「目元が明るくなっていますね」を決定する。

報知装置１は、ユーザによる報知装置１の使用状況を判定する（Ｓ６１８）。詳細には、情報報知方法選択部４５は、マナーモードオフか、スリープ状態になっているか否かを判定する。マナーモードオフか、スリープ状態になっている場合（Ｓ６１８のＹＥＳ）、情報報知方法選択部４５は、音声による報知を選択する。報知装置１は、情報報知方法選択部４５により選択された報知方法に応じて情報を音声出力する（Ｓ６２０）。詳細には、情報報知部４６は、音声出力部２０を介して、Ｓ６１６で決定された情報をユーザに報知する。

マナーモードオフか、スリープ状態になっていない場合、換言すれば、マナーモードオンか、操作中になっている場合（Ｓ６１８のＮＯ）、情報報知方法選択部４５は、画像による報知を選択する。報知装置１は、情報報知方法選択部４５により選択された報知方法に応じて情報を画像表示する（Ｓ６２２）。詳細には、情報報知部４６は、表示部３０を介して、Ｓ６１６で決定された情報をユーザに報知する。

所定の時間帯でない場合（Ｓ６０２のＮＯ）、顔が検出されていない場合（Ｓ６０８のＮＯ）、または、参照画像と、撮影画像との間に目・鼻・口周辺に差異がない場合（Ｓ６１４のＮＯ）、報知装置１は、処理を終了する。

なお、報知装置１は、目・鼻・口周辺ではなく、顔全体の色の濃淡に差異があった場合に、その差異に応じた情報をユーザに報知するようにしてもよい。例えば、報知装置１は、顔全体の色が濃くなった場合に、「日焼けしましたね」との情報をユーザに報知する。また、報知装置１は、顔全体の色が淡くなった場合に、「お化粧しましたね」との情報をユーザに報知する。

なお、上記の説明では、昨日の画像および本日の画像において対応する領域の肌色以外の画像領域の面積を比較する例を示したが、本発明はこれに限定されることはない。例えば、画像差異検出部４３は、黒画像領域の面積を比較してもよい。また、画像差異検出部４３が、画像のエッジ部を検出し、エッジ部の座標データに差異があると判定した場合に、検出した目、鼻、口周辺の部分の差異に応じて、情報決定部４４が、ユーザの変化に関する情報を決定してもよい。

（実施形態３の効果）
本実施形態によれば、報知装置１は、ユーザが指示することなく、ユーザが意識していない、ユーザ（特に、ユーザの目・鼻・口の周辺）の変化に応じた情報を当該ユーザに報知することができる。そして、報知装置１は、タイミング（時間帯）を決めて、ユーザによる使用状況（マナーモードのオン・オフ／装置の操作中・未操作）を判定して、当該ユーザだけに情報を報知することができる。

さらに、実施形態１、２、３によれば、報知装置１は、顔色を気にしてくれたり、身だしなみを注意してくれたりするような印象をユーザに与えることができる。例えば、顔の汚れ、目の充血、表情、髪型、服装、姿勢について見ているような印象をユーザに与えることができる。

〔ソフトウェアによる実現例〕
報知装置１の制御ブロック（特に、制御部４０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、報知装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、電子機器が報知装置１を備えていてもよい。電子機器には、スマートフォン等の携帯端末、ロボット等が含まれる。

〔まとめ〕
本発明の態様１に係る報知装置は、ユーザを撮影して得られる撮影画像を取得する画像取得部４２と、上記撮影画像と、上記撮影画像の比較対象である参照画像との差異を検出する画像差異検出部４３と、上記検出した差異に応じて上記ユーザの変化に関する情報を決定する情報決定部４４と、上記決定した情報を上記ユーザに報知する情報報知部４６と、を備えている。

上記の構成によれば、ユーザの変化に応じた情報を当該ユーザに報知することができる。

本発明の態様２に係る報知装置は、上記態様１において、上記参照画像が、上記撮影画像とは異なるタイミングでユーザを撮影して得られる画像であることとしてもよい。

上記の構成によれば、撮影のタイミング間におけるユーザの変化に応じた情報を当該ユーザに報知することができる。

本発明の態様３に係る報知装置は、上記態様１および２において、上記画像差異検出部が、上記撮影画像および上記参照画像における髪の部分の差異を検出し、上記情報決定部が、上記髪の部分の差異に応じて上記情報を決定することとしてもよい。

上記の構成によれば、ユーザの髪の変化に応じた情報を当該ユーザに報知することができる。

本発明の態様４に係る報知装置は、上記態様１および２において、上記画像差異検出部が、上記撮影画像および上記参照画像における口角周辺の部分の差異を検出し、上記情報決定部が、上記口角周辺の部分の差異に応じて上記情報を決定することとしてもよい。

上記の構成によれば、ユーザの口角周辺の変化に応じた情報を当該ユーザに報知することができる。

本発明の態様５に係る報知装置は、上記態様１および２において、上記画像差異検出部が、上記撮影画像および上記参照画像における目、鼻、口周辺の部分の差異を検出し、上記情報決定部が、上記目、鼻、口周辺の部分の差異に応じて上記情報を決定することとしてもよい。

上記の構成によれば、ユーザの目、鼻、口周辺の変化に応じた情報を当該ユーザに報知することができる。

本発明の態様６に係る報知装置は、上記態様１から５において、上記ユーザによる当該報知装置の使用状況に応じて、上記情報の報知方法として聴覚的報知、または、視覚的報知を選択する情報報知方法選択部４５をさらに備えており、上記情報報知部が、上記選択した報知方法により上記情報をユーザに報知することとしてもよい。

上記の構成によれば、ユーザによる報知装置の使用状況に応じた方法で情報を当該ユーザに報知することができる。

本発明の態様７に係る電子機器は、上記態様１から６に係る報知装置を備えている。

本発明の態様８に係る報知方法は、ユーザに情報を報知する装置の報知方法であって、ユーザを撮影して得られる撮影画像を取得する画像取得ステップと、上記撮影画像と、上記撮影画像の比較対象である参照画像との差異を検出する画像差異検出ステップと、上記検出した差異に応じて上記ユーザの変化に関する情報を決定する情報決定ステップと、上記決定した情報を上記ユーザに報知する情報報知ステップと、を含む。

本発明の各態様に係る報知装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記報知装置が備える各部（ソフトウェア要素）として動作させることにより上記報知装置をコンピュータにて実現させる報知装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

〔付記事項〕
報知装置１は、画像撮影部１０による撮影動作を、実施形態１における所定の時間帯だけでなく、さらに他のタイミングに限定する。そのタイミングには、報知装置１が充電器に接続されたとき、報知装置１が充電中に操作されたときが含まれる。

一方、報知装置１は、他のアプリ実行中に、バックグラウンドでサブカメラを動作させる。まず、低電力で常時駆動する方法として、間欠的に駆動するか、超低フレームレートで撮影する。次に、時間帯を分けて１日合計３回程度撮影する。

上記の構成によれば、報知装置１は、画像撮影部１０の動作が報知装置１の電源に極力影響しないようにすることにより、報知装置１の消費電力を抑えることができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 報知装置
４２ 画像取得部
４３ 画像差異検出部
４４ 情報決定部
４５ 情報報知方法選択部
４６ 情報報知部

Claims (9)

1. ユーザを撮影して得られる撮影画像を取得する画像取得部と、
   上記撮影画像と、上記撮影画像の比較対象である参照画像との差異を検出する画像差異検出部と、
   上記検出した差異に応じて上記ユーザの変化に関する情報を決定する情報決定部と、
   上記決定した情報を上記ユーザに報知する情報報知部と、
   を備えていることを特徴とする報知装置。
2. 上記参照画像は、上記撮影画像とは異なるタイミングでユーザを撮影して得られる画像である、
   ことを特徴とする請求項１に記載の報知装置。
3. 上記画像差異検出部は、上記撮影画像および上記参照画像における髪の部分の差異を検出し、
   上記情報決定部は、上記髪の部分の差異に応じて上記情報を決定する、
   ことを特徴とする請求項１または２に記載の報知装置。
4. 上記画像差異検出部は、上記撮影画像および上記参照画像における口角周辺の部分の差異を検出し、
   上記情報決定部は、上記口角周辺の部分の差異に応じて上記情報を決定する、
   ことを特徴とする請求項１または２に記載の報知装置。
5. 上記画像差異検出部は、上記撮影画像および上記参照画像における目、鼻、口周辺の部分の差異を検出し、
   上記情報決定部は、上記目、鼻、口周辺の部分の差異に応じて上記情報を決定する、
   ことを特徴とする請求項１または２に記載の報知装置。
6. 上記ユーザによる当該報知装置の使用状況に応じて、上記情報の報知方法として聴覚的報知、または、視覚的報知を選択する情報報知方法選択部をさらに備えており、
   上記情報報知部は、上記選択した報知方法により上記情報をユーザに報知する、
   ことを特徴とする請求項１から５の何れか１項に記載の報知装置。
7. 請求項１から６の何れか１項に記載の報知装置を備えた電子機器。
8. ユーザに情報を報知する装置の報知方法であって、
   ユーザを撮影して得られる撮影画像を取得する画像取得ステップと、
   上記撮影画像と、上記撮影画像の比較対象である参照画像との差異を検出する画像差異検出ステップと、
   上記検出した差異に応じて上記ユーザの変化に関する情報を決定する情報決定ステップと、
   上記決定した情報を上記ユーザに報知する情報報知ステップと、
   を含むことを特徴とする報知方法。
9. コンピュータを請求項１から６の何れか１項に記載の報知装置として動作させるための制御プログラムであって、上記コンピュータを上記報知装置が備えている各部として機能させるための制御プログラム。

Images