JP2013153329A - 電子機器 - Google Patents

Abstract

【課題】使い勝手のよい電子機器を提供する。
【解決手段】電子機器は、ユーザと対向可能な第１面側に設けられ、前記ユーザによる操作に用いられる操作部と、前記ユーザと対向可能に前記操作部の近傍に設けられ、撮像を行う第１撮像部と、前記ユーザと対向可能に前記第１撮像部とは異なる位置に設けられ、撮像を行う第２撮像部と、を備えている。
【選択図】図２

Description

本発明は、電子機器に関する。

従来より、人生の行いを記録に残すライフログシステムが提案されている。ライフログシステムにおいては、ユーザの動きや状態を利用して、行動の候補を提示するシステムが提案されている（例えば、特許文献１参照）。

特開２０１０-１４６２２１号公報

しかしながら、従来のライフログシステムではユーザの煩雑さの軽減が十分に図られておらず、使い勝手がよいものではなかった。

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。

本発明の電子機器は、ユーザと対向可能な第１面側に設けられ、前記ユーザによる操作に用いられる操作部（１４）と、前記ユーザと対向可能に前記操作部の近傍に設けられ、撮像を行う第１撮像部（１６ａ）と、前記ユーザと対向可能に前記第１撮像部とは異なる位置に設けられ、撮像を行う第２撮像部（１６ｂ）と、を備えている。

この場合において、前記第１撮像部と前記第２撮像部とは、画角が異なっていてもよい。また、前記第１撮像部と前記第２撮像部との一方が撮像した顔に関する第１画像と、前記第１撮像部と前記第２撮像部との他方が撮像した前記第１画像とは異なる第２画像と、を記憶する画像記憶装置（４０、３４）を備えていてもよい。この場合、前記第１画像を撮像する前記第１撮像部及び前記第２撮像部の一方の画角は、前記第１撮像部及び前記第２撮像部の他方の画角よりも狭いこととしてもよい。また、前記画像記録装置は、前記操作部が操作されている間に、前記第１画像と、前記第２画像とを記憶することとしてもよい。

本発明の電子機器は、生体情報を検出する生体センサ（２２）を備えていてもよい。この場合において、前記生体センサの少なくとも一部は、前記第１撮像部と前記第２撮像部との間に配置されていてもよい。また、前記生体センサが検出した前記生体情報を記憶する生体情報記憶装置（３４）を備えていてもよい。この場合、前記生体情報記録装置は、前記操作部が操作されている間に、前記生体情報を記憶することとしてもよい。

本発明の電子機器は、音声を集音する音声集音部（２０）と、音声を出力する音声出力部（１８）と、を備え、前記第１撮像部及び前記第２撮像部の一方は、前記音声集音部近傍に配置され、前記第１撮像部及び前記第２撮像部の他方は、前記音声出力部近傍に配置されていてもよい。また、前記操作部の少なくとも一部は、前記第１撮像部と前記第２撮像部との間に配置されていてもよい。

また、本発明の電子機器は、前記第１撮像部が撮像した画像と、前記第２撮像部が撮像した画像とを合成する画像合成部（３８ａ）を備えていてもよい。また、本発明の電子機器は、前記電子機器に作用する物理量を検出する物理量センサ（２２、２６）と、前記物理量センサの検出結果に基づいて、前記第１撮像部と前記第２撮像部とによる撮像を行うかどうかを制御する制御部（４０）と、を備えていてもよい。また、本発明の電子機器は、前記第１撮像部と、前記第２撮像部との撮像に基づいて、服装に関するデータを記憶する記憶装置（３４）を備えていてもよい。

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明によれば、使い勝手のよい電子機器を実現することができる。

一実施形態に係る携帯端末の構成を示す図である。 一実施形態に係る携帯端末のブロック図である。 ジャンル判定処理を示すフローチャートである。 図４（ａ）は、ユーザ情報ＤＢを示す図であり、図４（ｂ）は、ジャンル判定画像ＤＢを示す図であり、図４（ｃ）は、ジャンルリストを示す図である。 図５（ａ）は、第１内蔵カメラを用いて撮像される画像の一例を示す図であり、図５（ｂ）は、第２内蔵カメラを用いて撮像される画像の一例を示す図であり、図５（ｃ）は、図５（ａ）と図５（ｂ）の合成画像の一例を示す図である。 計画作成／表示処理を示すフローチャートである。 図７（ａ）は、店舗リストの一例を示す図であり、図７（ｂ）は、現在位置と店舗の位置関係とを示す図である。 図８（ａ）は、計画リストを示す図であり、図８（ｂ）は、未追加店舗リストを示す図である。 計画リスト更新処理を示すフローチャートである。 図１０（ａ）、図１０（ｂ）は、計画リストの更新例を示す図であり、図１０（ｃ）は、未追加店舗リストの更新例を示す図である。 ユーザ感情ＤＢを示す図である。

以下、一実施形態に係る携帯端末１００について、図１〜図１１に基づいて、詳細に説明する。図１には、一実施形態に係る携帯端末１００が示されている。携帯端末１００は、スマートフォン、携帯電話機、ＰＨＳなどの端末であり、図１に示すように、ディスプレイ１２、タッチパネル１４、第１内蔵カメラ１６ａ、第２内蔵カメラ１６ｂ、スピーカ１８、マイク２０、生体センサ２２を備えている。また、携帯端末１００は、図２のブロック図に示すように、ＧＰＳモジュール２４、加速度センサ２６、温度計２８、湿度計３０、カレンダ部３２、内蔵メモリ３４、画像処理部３６、ＣＰＵ４０、及び通信部４２を備えている。

ディスプレイ１２は、液晶ディスプレイや有機ＥＬディスプレイ等であり、ＣＰＵ４０の制御の下、画像データや文字データなどのデータを表示したり、ユーザが操作を行うためのメニュー表示をしたりする。

タッチパネル１４は、ユーザが操作する操作部であり、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式のいずれの方式タッチパネルを採用してもよい。

第１内蔵カメラ１６ａは、携帯端末１００のタッチパネル１４（ディスプレイ１２）が設けられている面と同一の面の、タッチパネル１４（ディスプレイ１２）の近傍（図１の上側近傍）に設けられている。また、第２内蔵カメラ１６ｂは、第１内蔵カメラ１６ａが設けられている面と同一の面の、タッチパネル１４（ディスプレイ１２）の近傍（図１の下側近傍）に設けられている。第１、第２内蔵カメラ１６ａ，１６ｂは、撮影レンズ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、及び撮像素子を制御する制御回路などを有する。上述のように、第１内蔵カメラ１６ａと第２内蔵カメラ１６ｂとを携帯端末１００の操作面に設けるとともに、ユーザが携帯端末１００を操作しているときに第１内蔵カメラ１６ａと第２内蔵カメラ１６ｂとを用いて撮像するようにすれば、ユーザを撮像することができるとともに、他の人を撮像する（例えば盗撮）行為を防ぐことができる。

本実施形態では、第１内蔵カメラ１６ａの焦点距離は、例えば、３５ｍｍ版カメラに換算して２８ｍｍ相当であり、第２内蔵カメラ１６ｂの焦点距離は、例えば、３５ｍｍ版カメラに換算して２０ｍｍ相当であるものとする。すなわち、第１、第２内蔵カメラ１６ａ，１６ｂの画角は異なっている。より具体的には、第２内蔵カメラ１６ｂの画角は、第１内蔵カメラ１６ａの画角よりも広くなっている。また、本実施形態においては、第１内蔵カメラ１６ａと第２内蔵カメラ１６ｂとは、Ｘ座標の位置が同じでＹ座標の位置が異なるように設けられている（図１参照）。このため、第１内蔵カメラ１６ａと第２内蔵カメラ１６ｂとのＹ軸方向の距離を機械定数として内蔵メモリ３４に記憶させることにより後述する画像の合成を行うことができる。

スピーカ１８は、携帯端末１００のタッチパネル１４（ディスプレイ１２）が設けられている面と同一の面の、第１内蔵カメラ１６ａ近傍に設けられ、音声や音を出力する。

マイク２０は、携帯端末１００のタッチパネル１４（ディスプレイ１２）が設けられている面と同一の面の、第２内蔵カメラ１６ｂ近傍に設けられ、音声や音を取得して、ＣＰＵ４０に入力する。

生体センサ２２は、図１に示すように、携帯端末１００のタッチパネル１４（ディスプレイ１２）が設けられている面と反対側の面の、ユーザの手に触れやすい位置（第１内蔵カメラ１６ａと第２内蔵カメラ１６ｂとの間）に設けられるセンサであり、携帯端末１００を操作しているユーザの生体情報を検出するものである。生体センサ２２としては、例えば、ＬＥＤにより生体に向けて照射光を照射し、この照射光に対して生体から反射した光を受光することにより、脈拍を検出する脈拍センサを含む。なお、脈拍センサについては、例えば、特開２００６-８０９４６号に開示されている。なお、生体センサ２２としては、脈拍センサ以外に、複数の電極を配した発汗センサを採用することもできる。発汗センサを用いれば、ユーザの発汗量を検出することができる。更には、生体センサ２２としては、体温を測る温度センサや、血圧を測る血圧センサを採用することもできる。なお、生体センサ２２は、携帯端末１００に設けるタイプのセンサに限らず、特開２００５−２７０５４３号に開示されているような腕時計型の生体センサを採用することとしてもよい。

ＧＰＳモジュール２４は、携帯端末１００の位置（すなわち、ユーザの位置）を検出する位置検出装置である。ＧＰＳモジュール２４により検出される位置情報（ユーザの現在位置情報）は、ＣＰＵ４０に入力される。

加速度センサ２６は、圧電素子や歪ゲージなどを用いることができ、本実施形態ではユーザの足の動き（歩行動作）に関連した加速度を検出するものである。加速度センサ２６の軸数としては１〜３軸のいずれかを適宜選択すればよく、その数も任意に設定することができる。また、加速度センサ２６に代えて、もしくは加速度センサ２６と併用してジャイロセンサを用いて角速度を検出し、この角速度からユーザの足の動き（歩行速度）を検出するようにしてもよい。

温度計２８は、携帯端末１００周辺の気温を検出するためのものである。湿度計３０は、携帯端末１００周辺の気温を検出するためのものである。

カレンダ部３２は、年、月、日、時、分、秒といったカレンダ情報を取得するとともに、時間を計時する機能を有している。内蔵メモリ３４は、種々のデータを格納するメモリである。なお、内蔵メモリ３４に格納されるデータの詳細については後述する。

画像処理部３６は、画像合成部３８ａと、顔認識部３８ｂと、表情検出部３８ｃと、服装検出部３８ｄとを有する。

画像合成部３８ａは、第１内蔵カメラ１６ａで撮像された画像と、第２内蔵カメラ１６ｂで撮像された画像を合成する。例えば、携帯端末１００を操作しているユーザの顔付近を第１内蔵カメラ１６ａで撮像し、ユーザの首から下側を第２内蔵カメラ１６ｂで撮像した場合には、画像合成部３８ａは、各画像を合成して、ユーザの全身画像等を生成する。

顔認識部３８ｂは、画像合成部３８ａで合成された画像から、ユーザの顔を認識する。顔認識部３８ｂは、携帯端末１００を利用する可能性のある人の顔画像（予め登録されているものとする）を用いたテンプレートマッチングにより、ユーザが誰であるかを識別する。

表情検出部３８ｃは、第１内蔵カメラ１６ａで撮像された画像又は画像合成部３８ａで合成された画像からユーザの表情を検出するものであり、眉間に皺がある表情や、笑顔ではなく目を細めている表情を検出し、ユーザが困惑しているかどうかを判別する。ここで、表情検出部３８ｃは、眉間に皺のある画像をリファレンス画像として内蔵メモリ３４に記憶させておき、当該リファレンス画像と撮像画像とのパターンマッチングを行うことで、眉間の皺を検出することができる。また、表情検出部３８ｃは、左目と右目との間の部分の陰影分布から、眉間の皺を検出することとしてもよい。なお、眉間の皺の検出については、米国特許出願公開第２００８−２９２１４８号にも開示されている。

また、表情検出部３８ｃは、第１内蔵カメラ１６ａにより撮像される平均的な目の大きさを内蔵メモリ３４に記憶させておき、この記憶されている目の大きさに対して撮像された目の大きさを比較することにより、目を細めている表情を検出することができる。なお、特開２００２−２５８６８２号公報に記載されているように、ユーザの動画像中における顔構成要素の特徴点座標変化から顔面筋の収縮量を検出して、ユーザが困惑しているかどうかを判別してもよい。

服装検出部３８ｄは、画像合成部３８ａで合成された画像に基づいて、ユーザの服装のジャンル判定や身なり判定を行う。なお、服装検出部３８ｄの具体的な処理については、後述する。

ＣＰＵ４０は、携帯端末１００を統括的に制御するものであり、本実施形態においては、携帯端末１００による各種機能（通話機能やインターネット機能、メール機能、楽曲や動画の再生機能など）を実行するほか、ユーザのショッピングを支援する機能についても実行する。

通信部４２は、電話回線に接続する接続ユニット、インターネットに接続するための接続ユニット、ＷｉＦｉ通信でアクセスポイントへアクセスするための無線ＬＡＮユニット、等を有している。ＣＰＵ４０は、通信部４２を介して外部装置（外部情報源）との通信を行うことで、種々の情報を取得する。

次に、本実施形態における処理について説明する。本実施形態では、携帯端末１００が、ユーザのショッピングを支援する処理を行う。ユーザのショッピングを支援する処理には、ジャンル判定処理（図３）、計画作成／表示処理（図６）、計画更新処理（図９）、の各処理が含まれる。以下、各処理について説明する。

＜ジャンル判定処理＞
本処理は、ユーザが携帯端末１００を使用しているときに、バックグラウンドで実行される処理である。この処理は、ユーザの曜日毎の服装のジャンルを判定し、ジャンル情報の保存を行う処理であり、図３のフローチャートに沿って実行される。なお、図３の処理は、少なくとも１日１回ジャンル情報の保存が行われるまで、所定時間毎に繰返し実行されるものとする。

図３の処理では、まず、ステップＳ１０において、ＣＰＵ４０が、ユーザによりタッチパネル１４が操作されているか否かを判断する。ここでの判断が否定されている間は、ＣＰＵ４０は、ステップＳ１０を繰り返すが、判断が肯定された場合には、ステップＳ１１に移行する。なお、ステップＳ１０の判断が否定された場合には、図３の全処理を終了するようにしてもよい。

ステップＳ１１に移行すると、ＣＰＵ４０は、第１内蔵カメラ１６ａを用いて、ユーザの顔の画像（図５（ａ）参照）を撮像する。次いで、ステップＳ１２では、ＣＰＵ４０が、第２内蔵カメラ１６ｂを用いて、ユーザの服装の画像（図５（ｂ）参照）を撮像する。この場合、第２内蔵カメラ１６ｂの画角によっては、ユーザの顔を除く全身画像（靴やバッグなども含む）を撮像することができる。

次いで、ステップＳ１４では、ＣＰＵ４０は、画像合成部３８ａを用いてステップＳ１１とステップＳ１２で撮像された画像を合成して、１枚の画像（図５（ｃ）参照）を取得する。この場合、第１内蔵カメラ１６ａと、第２内蔵カメラ１６ｂの取り付け位置の違いや、それぞれのカメラの焦点距離などのデータを内部メモリ３４に記憶しておき、これらのデータに基づいて画像を合成すればよい。また、第１内蔵カメラ１６ａと、第２内蔵カメラ１６ｂのそれぞれが撮像した画像のパターンマッチングを行い、共通の画像（例えば、洋服の襟の形状）パターンを検出して画像合成したり、それぞれの方法を組合せて画像合成してもよい。なお、以下においては、図５（ｃ）の画像を合成画像と呼ぶものとする。

次いで、ステップＳ１６では、ＣＰＵ４０は、顔認識部３８ｂを用いて、ステップＳ１４で取得された合成画像から、ユーザが誰であるかを認識する。この場合、顔認識部３８ｂは、合成画像と、内蔵メモリ３４に格納されているユーザ情報ＤＢ５０（図４（ａ））の顔画像データとの比較（テンプレートマッチング）により、ユーザを認識する。なお、ユーザ情報ＤＢ５０には、ユーザ名と、当該ユーザの顔画像と、自宅位置とが格納されている。このユーザ情報ＤＢ５０は、ユーザの入力に基づいて、事前に作成されているものとする。なお、本ステップＳ１６では、合成画像を用いずに、ステップＳ１１において撮像された顔画像を用いることとしてもよい。

次いで、ステップＳ１８では、ＣＰＵ４０は、ＧＰＳモジュール２４を用いてユーザの現在位置を取得する。

次いで、ステップＳ２０では、ＣＰＵ４０は、ステップＳ１８で取得されたユーザの現在位置が、ユーザ情報ＤＢ５０に格納されている自宅位置と一致しているか否かを判断する。ここでの判断が肯定された場合、すなわち、ユーザが自宅にいる場合には、図３の全処理を終了する。なお、本実施形態では、ユーザが自宅にいる場合、部屋着等の楽な服装をしていることが多いため、服装のジャンル判定処理を行わないこととしている。一方、ステップＳ２０の判断が否定された場合、すなわちユーザが外出していると判断された場合には、ステップＳ２２に移行する。

ステップＳ２２では、ＣＰＵ４０は、服装検出部３８ｄを用いて、ステップＳ１４で取得した画像に基づくユーザの服装のジャンル判定を行う。この場合、服装検出部３８ｄは、内蔵メモリ３４に格納されているジャンル判定画像ＤＢ５２（図４（ｂ））を用いて、ジャンル判定を行うものとする。なお、図４（ｂ）のジャンル判定画像ＤＢ５２には、ジャンル名（例えばガーリー、コンサバ、ナチュラル等の服装の傾向を一言で表すことのできるキーワード）と、当該ジャンルの代表的な多数の画像と、が格納されているものとする。したがって、服装検出部３８ｄは、ステップＳ１４で取得した画像と、ジャンル判定画像ＤＢ５２に格納されている各画像とのテンプレートマッチングにより、服装のジャンルを総合的に判定する。なお、服装検出部３８ｄは、ジャンル判定画像ＤＢ５２を用いた判定に代えて、各ジャンルにおける服の形（服全体の形や襟などの部分的な形）や色、光沢感などを定義したデータベースに基づいた判定を行うこととしてもよい。

次いで、ステップＳ２４では、ＣＰＵ４０は、ステップＳ２２の判定結果であるジャンルのデータを、内蔵メモリ３４に格納されているジャンルリスト５４（図４（ｃ）参照）に保存する。この場合、ＣＰＵ４０は、カレンダ部３２から現在の曜日や時刻を取得し、当該曜日に対応するジャンル名の欄への入力を行う。また、曜日や日時に加えて、ＧＰＳモジュール２４により取得位置を記憶するようにしてもよい。なお、現在の曜日に対応するジャンル名の欄に既にジャンル名が入力されている場合には、新たなジャンル名で上書きするようにする。なお、これに限らず、１つの曜日のジャンル名の欄に複数のジャンルを入力するようにしてもよい。また、ユーザの携帯機器１００の操作時間が短かったり、ユーザが歩きながら携帯機器１００を操作していて、ユーザの服装のジャンル判定をできないときは、同じ日に何度が撮像して、複数回の撮像結果からジャンル判定を行ってもよい。この場合、ＣＰＵ４０は、最終的にユーザのジャンル判定を行った日時と場所とをジャンルリスト５４に記憶するようにしてもよい。また、ＣＰＵ４０は、加速度センサ２６や、ジャイロセンサの出力からユーザの服装の判定が難しいと判断される場合には、第１内蔵カメラ１６ａと、第２内蔵カメラ１６ｂとによる撮像をやめるようにしてもよい。

以上の処理を、１週間以上行うことで、図４（ｃ）に示すようなジャンルリスト５４が生成される。なお、ジャンルリスト５４が生成された後に、第１内蔵カメラ１６ａと、第２内蔵カメラ１６ｂとにより撮像された画像データは、削除してもよい。

＜計画作成／表示処理＞
次に、ＣＰＵ４０による、計画作成／表示処理について図６のフローチャートを用いて説明する。本処理は、ユーザが、タッチパネル１４を用いて、ショッピング計画の作成を携帯端末１００に対して指示したタイミングで実行される処理である。

まず、ステップＳ３０では、ＣＰＵ４０が、ディスプレイ１２上にユーザの情報（年齢、性別情報など）や、ショッピングの終了時刻などを入力するための情報入力画面を表示する。

次いで、ステップＳ３２では、ＣＰＵ４０が、ユーザによるタッチパネル１４の操作により、情報入力画面に対する入力が行われるまで待機する。そして、情報入力画面に対する入力がなされると、ステップＳ３４に移行する。

ステップＳ３４では、ＣＰＵ４０が、ユーザによって入力された情報を取得し、内蔵メモリ３４に保存する。

次いで、ステップＳ３６では、ＣＰＵ４０が、ジャンルリスト５４から、対象ジャンルを選択する。具体的には、ＣＰＵ４０は、ジャンルリスト５４に登録されている服装のジャンルの中から、登録数の多い所定数（例えば２つ）のジャンルを対象ジャンルとして選択する。図４（ｃ）の場合、コンサバとナチュラルが選択されることになる。なお、対象ジャンルの選択方法としては、上記の方法に限らず、例えば、平日において登録数の多いジャンルを所定数選択し、さらに土日のジャンルの少なくとも１つを選択することとしてもよい。なお、ＣＰＵ４０は、ジャンルリスト５４に登録されている全てのジャンルをディスプレイ１２上に表示し、その中からユーザによって選択されたジャンルを対象ジャンルとしてもよい。

次いで、ステップＳ３８では、ＣＰＵ４０は、ＧＰＳモジュール２４を用いて、携帯端末１００（すなわち、ユーザ）の現在位置の情報を取得する。

次いで、ステップＳ４０では、ＣＰＵ４０は、通信部４２を用いて、外部情報源にアクセスして、以下の条件（ａ）〜（ｃ）に合致する店舗情報を取得し、内蔵メモリ３４内の店舗リスト５６（図７（ａ）参照）に登録する。
(a) 現在位置から徒歩で行ける距離の店舗
(b) 扱っている商品の傾向が、対象ジャンルと一致する店舗
(c) 扱っている商品の対象が、ユーザの年齢、性別と合致する店舗

なお、(a)の条件については、現在位置から店舗までの直線距離を用いて換算した距離に基づいて判断することとしてもよい。なお、店舗リスト５６には、図７（ａ）に示すように、店舗名、地図リンク、ホームページ、位置などの情報が登録される。本実施形態では、一例として、店舗リスト５６に登録された各店舗の位置と現在位置が、図７（ｂ）に示すような位置関係にあるものとする。

なお、これ以降の処理（ステップＳ４２〜Ｓ４８）では、図８（ａ）に示す計画リスト５８と、図８（ｂ）に示す未追加店舗リスト６０に対する店舗の登録処理が行われる。計画リスト５８には、ユーザがショッピングの際に訪れるべき店舗の店舗名、地図リンク、ホームページ、位置（緯度、経度）などの情報が登録される。また、未追加店舗リスト６０には、店舗リスト５６（図７（ａ））には含まれているが計画リスト５８に登録されなかった店舗の店舗名、地図リンク、ホームページ、位置（緯度、経度）などの情報が登録される。なお、ステップＳ４２が一度も行われていない段階では、計画リスト５８及び未追加店舗リスト６０は空の状態であるものとする。

ステップＳ４２では、ＣＰＵ４０は、計画リスト５８の末尾の店舗（計画リスト５８が空であればユーザの現在の位置）から最も近い店舗を店舗リスト５６から削除し、計画リスト５８に登録する。本実施形態では、図７（ｂ）に示すように、現在位置から最も近いＡ店が計画リスト５８に登録されることになる。

次いで、ステップＳ４４では、ＣＰＵ４０が、店舗リスト５６が空であるか否かを判断する。ここでの判断が否定された場合には、ステップＳ４６に移行する。

ステップＳ４６に移行すると、ＣＰＵ４０が、カレンダ部３２から現在時刻を取得し、以下の式（１）に基づいて、ショッピングの予想終了時刻を算出する。
予想終了時刻＝現在時刻＋計画リスト５８の店舗数×所定時間 …（１）

なお、上式（１）の所定時間としては、例えば、１０分や２０分などの時間とすることができる。そして、ＣＰＵ４０は、上式（１）で算出されたショッピングの予想終了時刻が、ユーザによって入力された終了時刻を超えたか否かを判断する。ここでの判断が否定された場合には、ステップＳ４２に戻る。

その後、ステップＳ４２を繰り返すことで、計画リスト５８には、現在位置から近い順に店舗が登録されることになる。そして、予想終了時刻が入力された終了時刻を超えた場合には、ステップＳ４６の判断が肯定されて、ステップＳ４８に移行する。

ステップＳ４８に移行した場合には、ＣＰＵ４０は、店舗リスト５６に残っている各店舗の情報を未追加店舗リスト６０に登録し、ステップＳ５０に移行する。なお、未追加店舗リスト６０には、店舗リスト５６に登録されている順で、店舗の情報を登録すればよい。

一方、ステップＳ４２の処理を繰り返すことで、店舗リスト５６が空になった場合には、ステップＳ４４の判断が肯定されるので、ステップＳ４８を経ることなく（未追加店舗リスト６０に対する店舗の情報の登録を行わずに）、ステップＳ５０に移行する。

ステップＳ５０に移行した場合には、ＣＰＵ４０は、計画リスト５８をディスプレイ１２上に表示する。そして、図６の全処理を終了する。なお、図８（ａ）の例では、ステップＳ４２の繰返しにより、Ａ店、Ｃ店、Ｆ店、Ｂ店が計画リスト５８に登録され、Ｂ店の登録がされた後に行われたステップＳ４６において、予想終了時刻が終了時刻を超えたと判断されたことになる。

以上の処理により、携帯端末１００のディスプレイ１２には、ユーザがショッピングの際に訪れるべき店舗が、近い順に表示されることになる。このため、ユーザは、計画リスト５８の各店舗の地図リンクやホームページを参照しながら、各店舗を訪れ、ショッピングをすることができる。

なお、図６のステップＳ４２において、計画リスト５８の末尾の店舗（又は現在位置）から最も近い店舗（ほぼ同一距離の店舗）が複数存在する場合もある。このような場合には、ＣＰＵ４０は、通信部４２を用いて外部情報源から現在の天気情報（天候、気温、湿度など）を取得し、当該天気情報に合わせて、訪れやすいほうの店舗を計画リスト５８に登録するようにしてもよい。例えば、雨が降っている場合には、ＣＰＵ４０は、なるべく濡れずに移動して訪れることのできる店舗（地下街の中にある店舗や、地下街経由で訪れることのできる店舗など）を計画リスト５８に登録するようにしたり、暑い場合又は寒い場合には、空調設備のある通路（地下街など）を移動して訪れることのできる店舗を計画リスト５８に登録するようにすればよい。なお、計画リスト５８の末尾の店舗（又は現在位置）から最も近い店舗が複数存在する場合でなくても、天気情報を考慮して、計画リスト５８に登録する順番を決定するようにしてもよい。

なお、上記においては、ユーザの現在位置を起点とした計画リスト５８を作成し、表示する場合について説明したが、これに限られるものではない。例えば、ショッピングの起点となる位置と、ショッピング開始時刻及び終了時刻をユーザに入力させ、これらの入力情報に基づいて、ショッピングの計画リストを事前に作成するようにしてもよい。

＜計画更新処理＞
次に、図９のフローチャートに沿って、ユーザがショッピングを行っている最中に行われる計画更新処理について、説明する。この図９の処理は、ユーザのショッピング状況に応じて計画リスト５８を更新するための処理であり、計画リスト５８がディスプレイ１２に表示された後において、ユーザからの開始指示がタッチパネル１４から入力された時点で開始される処理であるものとする。

図９の処理では、まず、ステップＳ６０において、ＣＰＵ４０が、ＧＰＳモジュール２４を用いて、携帯端末１００（ユーザ）の現在位置の情報を取得する。

次いで、ステップＳ６２では、ＣＰＵ４０が、ステップＳ６０で取得したユーザの現在位置が、計画リスト５８の先頭の店舗と一致するか否かを判断する。ここでの判断が肯定された場合、すなわち、ユーザが計画リスト５８の先頭の店舗にいる場合には、ＣＰＵ４０は、ステップＳ６４において、計画リスト５８の先頭の店舗情報を削除する。この場合、計画リスト５８は、例えば、図８（ａ）の状態から、図１０（ａ）の状態に変化する。なお、ステップＳ６４の処理が終了した場合には、ステップＳ７０に移行する。

一方、ステップＳ６２の判断が否定された場合には、ステップＳ６６に移行し、ＣＰＵ４０は、現在位置が計画リスト５８の先頭の店舗付近であるか否かを判断する。ここでの判断が肯定された場合、すなわち、ユーザが計画リスト５８の先頭の店舗付近にいる場合には、ＣＰＵ４０は、ステップＳ６８において、ディスプレイ１２に店舗付近であることを表示して、ユーザへの通知を行う。この場合、現在位置と計画リスト５８の先頭の店舗の位置とを地図上に表示して通知を行うこととしてもよい。なお、ＣＰＵ４０は、ディスプレイ１２への表示とともに、又はこれに代えて、スピーカ１８を用いた音や音声による通知を行うこととしてもよい。ステップＳ６８の処理が終了すると、ステップＳ７０に移行する。また、ステップＳ６６の判断が否定された場合、すなわち、ユーザが計画リスト５８の先頭の店舗付近にいない場合にも、ステップＳ７０に移行する。

ステップＳ７０では、ＣＰＵ４０が、カレンダ部３２から、現在時刻を取得する。

次いで、ステップＳ７２では、ＣＰＵ４０が、図６のステップＳ３４で取得したユーザの入力情報に含まれるショッピングの終了時刻を現在時刻が超えたか否かを判断する。ここでの判断が肯定された場合には、ステップＳ８４に移行して、ＣＰＵ４０は、ディスプレイ１２にショッピングの終了を表示して、ユーザに通知する。なお、ＣＰＵ４０は、ディスプレイ１２への表示とともに、又はこれに代えて、スピーカ１８を用いた音や音声による通知を行うこととしてもよい。ステップＳ８４の処理が終了すると、図９の全処理が終了する。なお、ステップＳ８４においてショッピングの終了を通知した後も、ユーザがショッピングを継続する場合もあるので、ＣＰＵ４０は、計画リスト５８をディスプレイに表示し続けることとしてもよい。また、ステップＳ８４の後も、ステップＳ６０〜Ｓ６８と同様の処理・判断を継続して実行することとしてもよい。

これに対し、ステップＳ７２の判断が否定された場合、すなわち、未だショッピングの終了時刻になっていない場合には、ＣＰＵ４０は、ステップＳ７４に移行する。そして、ステップＳ７４では、ＣＰＵ４０が、以下の式（２）に基づいて、ショッピングの予想終了時刻を算出する。
予想終了時刻＝現在時刻＋計画リスト５８の残り店舗数×所定時間 …（２）

なお、上式（２）の所定時間としては、例えば、１０分や２０分などの時間とすることができる。そして、ＣＰＵ４０は、上式（２）で算出されたショッピングの予想終了時刻が、ユーザによって入力されたショッピングの終了時刻前か否かを判断する。ここでの判断が否定された場合、すなわち、予想終了時刻が終了時刻と同一又は後である場合には、ステップＳ８２に移行する。一方、ステップＳ７４の判断が肯定された場合、すなわち、予想終了時刻が終了時刻前であり、順調に各店舗を回ると時間が余ってしまうような場合には、ＣＰＵ４０は、ステップＳ７６に移行する。

ステップＳ７６では、ＣＰＵ４０が、未追加店舗リスト６０に店舗の情報があるか否かを判断する。ここでの判断が否定された場合、すなわち、未追加店舗リスト６０に店舗の情報が残っていない場合には、ＣＰＵ４０は、ステップＳ８２に移行する。一方、ステップＳ７６の判断が肯定された場合には、ＣＰＵ４０は、ステップＳ７８に移行する。

ステップＳ７８に移行した場合には、ＣＰＵ４０が、未追加店舗リスト６０に登録されている店舗の中から、計画リスト５８の末尾の店舗に最も近い店舗を抽出し、計画リスト５８の末尾に追加する。この場合、ＣＰＵ４０は、計画リスト５８の末尾の店舗の位置（緯度、経度）と、未追加店舗リスト６０の各店舗の位置（緯度、経度）に基づいて、計画リスト５８の末尾に追加する店舗を決定するものとする。なお、このステップＳ７８においても、前述した図６のステップＳ４２と同様、天気情報等を考慮して、計画リスト５８の末尾に追加する店舗を決定することとしてもよい。なお、図１０（ｂ）は、図１０（ａ）の計画リスト５８に図８（ｂ）の未追加店舗リスト６０のＧ店の情報が追加された状態を示している。

次いで、ステップＳ８０では、ＣＰＵ４０が、計画リスト５８に追加した店舗を未追加店舗リスト６０から削除する。その後は、ステップＳ８２に移行する。図１０（ｃ）には、図８（ｂ）の未追加店舗リスト６０からＧ店の情報が削除された状態が示されている。

ステップＳ８０の終了後、あるいはステップＳ７４、Ｓ７６の判断が否定された後において、ステップＳ８２に移行すると、ＣＰＵ４０は、計画リスト５８が空であるか否かを判断する。ここでの判断が否定された場合、すなわち、計画リスト５８に店舗が残っている場合には、ステップＳ６０に戻り、ステップＳ６０〜Ｓ８２の処理・判断を繰り返す。一方、ステップＳ８２の判断が肯定された場合には、ステップＳ８４に移行する。ステップＳ８４では、ＣＰＵ４０は、前述したように、ディスプレイ１２上にショッピングの終了を表示して、ユーザに通知し、図９の全処理を終了する。

以上のように、図９の処理が行われることで、ユーザは、ユーザの移動に応じて更新される計画リスト５８を参照しながら、計画リスト５８に含まれる各店舗でのショッピングを楽しむことができる。

ここで、図９の処理では、ＣＰＵ４０は、生体センサ２２の出力（例えば心拍数）からユーザが疲労しているかどうかを判断したり、加速度センサ２６の値からユーザの歩く速度が通常の速度に比べて遅くなっているかどうかを判断し、これらの判断結果に基づいて、計画リスト５８の見直しを行ったり、ショッピングの中止を促したりしてもよい。例えば、ＣＰＵ４０は、ユーザの歩く速度が遅くなった場合には、上式（２）における所定時間をユーザの歩く速度に応じて長く設定して予想終了時刻を算出し、当該予想終了時刻がショッピングの終了時刻を超えないように、計画リスト５８の店舗の数を減らすようにしてもよい。また、ユーザの歩く速度と生体センサ２２の出力とから導き出されるユーザの疲労度に応じて、上式（２）の所定時間を設定することとしてもよい。また、ＣＰＵ４０は、歩く速度や疲労度に応じて、計画リスト５８に登録されている店舗の中から、休憩する場所（喫茶店やベンチなど）が多い店舗のみを抽出し、ディスプレイ１２上に表示することとしてもよい。この場合には、店舗リスト５６や計画リスト５８に、休憩する場所の数などが登録されている必要がある。また、ＣＰＵ４０は、歩く速度や疲労度に応じて、計画リスト５８のうち、駅に最も近い店舗までをディスプレイ１２上に表示することとしてもよい。これにより、ユーザは、駅の近くの店舗でのショッピングを済ませた直後に、電車に乗って帰宅することができるようになる。なお、この場合には、ユーザの利用駅を内蔵メモリ３４に登録するようにしてもよい。また、駐車場に車を駐車している場合には、駐車場に最も近い店舗までをディスプレイ１２上に表示することとしてもよい。この場合、駐車場を予め登録しておけばよい。

なお、ユーザの歩く速度が遅くなる原因としては、疲労している場合のほか、荷物が重い場合や、子供を連れている場合などが挙げられる。したがって、例えば、ＣＰＵ４０が、ユーザの靴に設けた荷重センサの値から、ユーザが重い荷物を持っていることを判断できるような場合には、荷物を持っていても店内の移動が容易な店舗（通路の広い店舗）などが計画リスト５８の上位となるように、計画リスト４０の見直しを行うこととしてもよい。

なお、図９の処理と並行して、ユーザの店舗滞在時間の履歴をとるようにしてもよい。この店舗滞在時間の履歴は、次回以降の終了予想時刻の算出（上式（１）、（２））における所定時間の設定に用いることが可能となる。

また、各店舗におけるユーザの感情（生体センサ２２の検出結果やユーザの表情など）の履歴を、内蔵メモリ３４に格納されているユーザ感情ＤＢ６２（図１１参照）に登録するようにしてもよい。図１１のユーザ感情ＤＢ６２には、各ユーザ及び各店舗ごとに、生体センサ２２の値や表情、及びこれらに基づいてＣＰＵ４０により判定されるユーザの感情が登録される。なお、ＣＰＵ４０は、ユーザの表情（笑顔、困惑など）は、図１の表情検出部３８ｃから取得する。また、ＣＰＵ４０は、生体センサ２２の値と表情の組み合わせに基づいて、ユーザの感情を識別するものとする。このユーザの感情の履歴（ユーザ感情ＤＢ６２）は、計画リスト５８を再度作成する際に、利用することができる。例えば、好みでない店舗を、計画リスト５８への登録候補から除外するなどしてもよい。また、計画リスト５８に「前回の感情」として記載してもよい。

なお、図９の処理では、ユーザが計画リスト５８に従って移動しない場合もある。例えば、ユーザの現在位置が計画リスト５８の先頭の店舗以外の店舗と一致する場合もある。このような場合には、ＣＰＵ４０は、現在位置と一致した店舗の情報を計画リスト５８から除外するようにしてもよい。また、現在位置と計画リスト５８の先頭の店舗との間の距離が所定距離以上離れた場合、すなわち、ユーザに先頭の店舗に行く意志が無いと判断できる場合には、ＣＰＵ４０は、当該先頭の店舗の情報を計画リスト５８から除外するようにしてもよい。

以上、詳細に説明したように、本実施形態によると、携帯端末１００は、ユーザと対向可能な面に設けられたタッチパネル１４と、ユーザと対向可能にタッチパネル１４の近傍に設けられた第１内蔵カメラ１６ａと、ユーザと対向可能に第１内蔵カメラ１６ａとは異なる位置に設けられた第２内蔵カメラ１６ｂと、を備えているので、第１、第２内蔵カメラ１６ａ，１６ｂを用いることで、タッチパネル１４を操作するユーザの異なる２つの画像を撮像することができる。この場合、例えば、第１内蔵カメラ１６ａでユーザの顔周辺を撮像し、第１内蔵カメラ１６ｂよりも画角が広い第２内蔵カメラ１６ｂでユーザの首から下の画像を撮像することとすれば、これらの画像を合成することで、ユーザの全身画像を簡易に生成することが可能となる。これにより、本実施形態では、使い勝手のよい携帯端末１００を提供することが可能となる。

また、本実施形態では、第１、第２内蔵カメラ１６ａ，１６ｂの画角が異なっているので、各内蔵カメラ１６ａ，１６ｂによる撮像範囲を異ならせることができる。これにより、各内蔵カメラ１６ａ，１６ｂを別々の適切な用途に利用することが可能となる。

また、本実施形態では、ＣＰＵ４０は、ユーザによってタッチパネル１４の操作が行われているときに、第１、第２内蔵カメラ１６ａ，１６ｂによる撮像を行う（ステップＳ１０：肯定）。すなわち、第１、第２内蔵カメラ１６ａ，１６ｂがユーザを撮像できる方向を向いているタイミングで、撮像を行うことができる。これにより、ユーザの顔や全身画像を確実に撮像することが可能となる。

また、本実施形態では、携帯端末１００が、ユーザの生体情報を検出する生体センサ２２を備えているので、ユーザの画像とともに、ユーザの脈拍数などの生体情報を取得することができる。この場合、生体センサ２２は、第１内蔵カメラ１６ａと第２内蔵カメラ１６ｂとの間に配置されているので、生体センサ２２の位置はユーザの手が触れやすい位置となる。これにより、生体センサ２２を用いて、ユーザの生体情報を確実に検出することが可能となる。また、生体センサ２２がユーザの手から生体情報を検出しているときに、第１、第２内蔵カメラ１６ａ，１６ｂによる撮影が手によって邪魔されるのを抑制することができる。

また、本実施形態では、携帯端末１００が、ＧＰＳモジュール２４と、加速度センサ２６と、これらの検出結果に応じて店舗に関する情報（計画リスト５８）を表示するディスプレイ１２とを備えていることで、ユーザの現在位置と歩く早さ（疲労度など）に応じた計画リスト５８の表示を行うことができる。この点からも、本実施形態では、使い勝手のよい携帯端末１００を提供することが可能となる。

また、本実施形態では、ＣＰＵ４０は、生体センサ２２の検出結果に応じて、店舗に関する情報をディスプレイ１２上に表示することで、ユーザの生体情報（例えば、疲労度）に応じた適切な計画リスト５８の表示を行うことができる。

また、本実施形態では、携帯端末１００が、温度を検出する温度計２８や湿度を検出する湿度計３０を有しており、ＣＰＵ４０は、温度計２８及び湿度計３０の検出結果に応じて計画リスト５８に登録すべき店舗を決定してディスプレイ１２に表示するので、天候や暑さ、寒さなどに基づいたユーザが訪れやすい店舗を計画リスト５８に登録することができる。

また、本実施形態では、第１、第２内蔵カメラ１６ａ，１６ｂの撮像結果に応じて（本実施形態では撮像結果から得られる服装のジャンルに応じて)、計画リスト５８に店舗の情報が登録されるので、ユーザの好みに合った店舗の情報をユーザに提供することができる。

なお、上記実施形態では、図３のジャンル判定処理において、自宅にいない場合の服装のジャンル判定を行う場合について説明したが、これに限られるものではない。例えば、ＣＰＵ４０は、ＧＰＳモジュール２４の検出結果から自宅又は会社以外にいるか否かを判定し、自宅又は会社以外にいる場合の服装のジャンル判定を行うこととしてもよい。会社では、制服を着用している可能性があり、ジャンル判定に不向きな場合もあるからである。なお、会社の位置は、事前に、図４（ａ）のユーザ情報ＤＢ５０に登録しておけばよい。また、ＣＰＵ４０は、ＧＰＳモジュール２４の検出結果（時間変化）から、ユーザが電車や徒歩などで移動しているか否かを判定し、ユーザが移動している間の服装のジャンル判定を行うこととしてもよい。なお、図３では、ユーザが自宅にいる場合に服装のジャンル判定を行わないこととしたが、これに限らず、自宅での服装のジャンル判定を行っても構わない。

なお、上記実施形態では、携帯端末１００に温度計２８や湿度計３０を設け、温度や湿度の情報を得る場合について説明したが、これに限られるものではない。例えば、温度や湿度の情報は、通信部４２を介してインターネット上（例えば、気象庁のサーバなど）から得るようにしてもよい。また、ＣＰＵ４０は、現在の天気の情報やショッピング終了時刻までの天気の情報（天気予報）をインターネット上から取得し、これに基づいて、計画リスト５８を作成するようにしてもよい。また、上記実施形態の携帯端末１００としてはタブレット型コンピュータを採用することとしてもよい。

なお、上記実施形態で説明した図２の構成要素は、全てを兼ね備えていなくてもよい。図３、図６、図９の処理の一部を省略又は変更するなどして不要となってしまう構成要素については、省略することとしてもよい。

なお、上記実施形態では、ユーザの歩行速度を、携帯端末１００に設けられた加速度センサ２６の検出結果（加速度）の値に基づいて算出する場合について説明したが、これに限られるものではない。例えば、靴に加速度センサ（携帯端末１００との通信が可能とする）を設けてもよいし、あるいは特許第４５２４３７９号に記載されているように、磁界の強度から歩行速度を求めてもよい。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１２ ディスプレイ
１４ タッチパネル
１６ａ 第１内蔵カメラ
１６ｂ 第２内蔵カメラ
１８ スピーカ
２０ マイク
２２ 生体センサ
２４ ＧＰＳモジュール
２６ 加速度センサ
２８ 温度計
３０ 湿度計
３４ 内蔵メモリ
４０ ＣＰＵ

Claims (14)

1. ユーザと対向可能な第１面側に設けられ、前記ユーザによる操作に用いられる操作部と、
   前記ユーザと対向可能に前記操作部の近傍に設けられ、撮像を行う第１撮像部と、
   前記ユーザと対向可能に前記第１撮像部とは異なる位置に設けられ、撮像を行う第２撮像部と、を備えたことを特徴とする電子機器。
2. 前記第１撮像部と前記第２撮像部とは、画角が異なることを特徴とする請求項１記載の電子機器。
3. 前記第１撮像部と前記第２撮像部との一方が撮像した顔に関する第１画像と、前記第１撮像部と前記第２撮像部との他方が撮像した前記第１画像とは異なる第２画像と、を記憶する画像記憶装置を備えたことを特徴とする請求項１又は２記載の電子機器。
4. 前記第１画像を撮像する前記第１撮像部及び前記第２撮像部の一方の画角は、前記第１撮像部及び前記第２撮像部の他方の画角よりも狭いことを特徴とする請求項３に記載の電子機器。
5. 前記画像記録装置は、前記操作部が操作されている間に、前記第１画像と、前記第２画像とを記憶することを特徴とする請求項３又は４記載の電子機器。
6. 生体情報を検出する生体センサを備えたことを特徴とする請求項１〜５のいずれか一項に記載の電子機器。
7. 前記生体センサの少なくとも一部は、前記第１撮像部と前記第２撮像部との間に配置されていることを特徴とする請求項６記載の電子機器。
8. 前記生体センサが検出した前記生体情報を記憶する生体情報記憶装置を備えたことを特徴とする請求項６又は７記載の電子機器。
9. 前記生体情報記録装置は、前記操作部が操作されている間に、前記生体情報を記憶することを特徴とする請求項８記載の電子機器。
10. 音声を集音する音声集音部と、音声を出力する音声出力部と、を備え、
    前記第１撮像部及び前記第２撮像部の一方は、前記音声集音部近傍に配置され、前記第１撮像部及び前記第２撮像部の他方は、前記音声出力部近傍に配置されていることを特徴とする請求項１〜９のいずれか一項に記載の電子機器。
11. 前記操作部の少なくとも一部は、前記第１撮像部と前記第２撮像部との間に配置されていることを特徴とする請求項１〜１０のいずれか一項に記載の電子機器。
12. 前記第１撮像部が撮像した画像と、前記第２撮像部が撮像した画像とを合成する画像合成部を備えたことを特徴とする請求項１〜１１のいずれか一項に記載の電子機器。
13. 前記電子機器に作用する物理量を検出する物理量センサと、
    前記物理量センサの検出結果に基づいて、前記第１撮像部と前記第２撮像部とによる撮像を行うかどうかを制御する制御部と、を備えたことを特徴とする請求項１〜１２のいずれか一項に記載の電子機器。
14. 前記第１撮像部と、前記第２撮像部との撮像に基づいて、服装に関するデータを記憶する記憶装置を備えたことを特徴とする請求項１〜１３のいずれか一項に記載の電子機器。

Images