JP2013207407A - 電子機器 - Google Patents

Abstract

【課題】ユーザの入力作業の煩雑さの軽減が十分に図られた使い勝手のよい電子機器を提供する。
【解決手段】電子機器は、ユーザの服装を撮像した画像データを取得する取得部と、前記画像データに基づいて、前記服装の組合せを判別する判別部とを備える。また、本体部に撮像部を備え、前記撮像部は前記本体部が前記ユーザに保持されているときに、前記ユーザの服装を撮像する。また前記判別部は、前記画像データの色情報に基づいて、前記服装の組合せを判別する。
【選択図】図３

Description

本発明は、電子機器に関する。

従来より、人生の行いを記録に残すライフログシステムが提案されている。ライフログシステムにおいては、ユーザの動きや状態を利用して、行動の候補を提示するシステムが提案されている（例えば、特許文献１参照）。

特開２０１０-１４６２２１号公報

しかしながら、従来のライフログシステムではユーザの入力作業の煩雑さの軽減が十分に図られておらず、使い勝手がよいものではなかった。

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。

本発明の電子機器は、ユーザの服装を撮像した画像データを取得する取得部（６０）と、前記画像データに基づいて、前記服装の組合せを判別する判別部（４２）と、を備えている。

この場合において、本体部（１１）に設けられた撮像部（３１〜３３）を備え、前記撮像部は、前記本体部が前記ユーザに保持されているときに、前記ユーザの服装を撮像することとすることができる。また、前記判別部は、前記画像データの色情報に基づいて、前記服装の組合せを判別することとしてもよい。また、前記画像データに基づいて、前記ユーザの顔認識をする顔認識部（４１）を備えていてもよい。

また、本発明の電子機器では、前記判別部は、前記画像データに基づいて、服装の重ねを検出することができる。この場合において、前記判別部は、前記服装の襟部に基づいて、前記服装の重ねを検出することとすることができる。また、前記判別部は、前記ユーザの肌の検出結果に基づいて、前記服装の重ねを検出することができる。また、前記判別部は、前記画像データの服装部分を拡大したときのパターンの違いに基づいて、前記服装の重ねを検出することができる。

また、本発明の電子機器では、前記撮像部は、第１カメラ（３１）と、該第１カメラから所定距離離れた位置に設けられた第２カメラ（３２）とを備えていてもよい。この場合、前記第１カメラと前記第２カメラとは異なる面に設けられていてもよい。また、本発明の電子機器は、服装に関するデータを記憶するメモリ（５０）を備えていてもよい。この場合、前記メモリは、前記服装の組合せの頻度を記録することとしてもよい。また、前記メモリに記録されている、所定期間内における前記服装の組み合わせの頻度を表示する表示部（１２）を備えていてもよい。

また、本発明の電子機器では、前記判別部は、前記画像データに基づいて、ユーザの髪型及びユーザが身に着けている装飾品の少なくとも一方を判別することとしてもよい。

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。

一実施形態に係る情報処理システムの構成を示す図である。 図２（ａ）は、携帯端末を表側（−Ｙ側）から見た状態を示す図であり、図２（ｂ）は、携帯端末を裏側（＋Ｙ側）から見た状態を示す図である。 携帯端末と外部機器のブロック図である。 図４（ａ）は、撮像部３０とユーザとの距離を示す図であり、図４（ｂ）は、第１カメラの焦点距離について説明するための図であり、図４（ｃ）は、第２カメラの焦点距離について説明するための図である。 図５（ａ）〜図５（ｆ）は、ユーザの服装の例を示す図である。 ユーザの身なりを検出する処理のフローチャートである。 ユーザに身なりを報知するための処理を示すフローチャートである。 新しい服装とのコーディネート提案処理を示すフローチャートである。 服装ＤＢを示す図である。 身なりログを示す図である。

以下、一実施形態について、図１〜図１０に基づいて、詳細に説明する。図１には、一実施形態にかかる情報処理システム２００の構成がブロック図にて示されている。

情報処理システム２００は、図１に示すように、携帯端末１０と、外部機器１００と、を備える。これら携帯端末１０及び外部機器１００は、インターネットなどのネットワーク８０に接続されている。

携帯端末１０は、ユーザにより携帯された状態で利用される情報機器である。携帯端末１０としては、携帯電話、スマートフォン、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）等を採用することができるが、本実施形態では、携帯端末１０は、スマートフォンであるものとする。携帯端末１０は、電話機能やインターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。

図２（ａ）は、携帯端末１０を表側（−Ｙ側）から見た状態を示す図であり、図２（ｂ）は、携帯端末１０を裏側（＋Ｙ側）から見た状態を示す図である。これらの図に示すように、携帯端末１０は、一例として、長方形の主面（−Ｙ面）を有する薄板状の形状を有しており、片手の手のひらで把持することができる程度の大きさを有している。

図３には、携帯端末１０と外部機器１００のブロック図が示されている。この図３に示すように、携帯端末１０は、ディスプレイ１２と、タッチパネル１４と、カレンダ部１６と、通信部１８と、センサ部２０と、撮像部３０と、画像分析部４０と、フラッシュメモリ５０と、制御部６０と、を有する。

ディスプレイ１２は、図２（ａ）に示すように、携帯端末１０の本体部１１の主面（−Ｙ面）側に設けられている。ディスプレイ１２は、例えば、本体部１１の主面の大半の領域（例えば９０％）を占める大きさを有する。ディスプレイ１２は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ１２は、一例として、例えば液晶表示素子を用いたデバイスであるものとする。

タッチパネル１４は、ユーザが触れたことに応じた情報を制御部６０に対して入力することが可能なインタフェースである。タッチパネル１４は、図２（ａ）に示すように、ディスプレイ１２表面またはディスプレイ１２内に組み込まれているため、ユーザは、ディスプレイ１２の表面をタッチすることにより、種々の情報を直感的に入力することができる。

カレンダ部１６は、年、月、日、時刻といった時間情報を取得して、制御部６０に対して出力する。なお、カレンダ部１６は、更に計時機能を有しているものとする。

通信部１８は、ネットワーク８０上の外部機器１００と通信する。通信部１８は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Bluetooth（登録商標）による通信を実現するBluetooth（登録商標）ユニット、及び、FeliCa（登録商標）チップ等を有し、外部機器１００や他の携帯端末などと通信する。

センサ部２０は、各種センサを有している。本実施形態においては、センサ部２０は、ＧＰＳ（Global Positioning System）モジュール２１、生体センサ２２、姿勢センサ２３、温湿度計２４、加速度センサ２５を有しているものとする。

ＧＰＳモジュール２１は、携帯端末１０の位置（例えば緯度や経度）を検出するセンサである。

生体センサ２２は、図２（ａ）、図２（ｂ）に示すように、一例として、携帯端末１０の本体部１１の裏面の２箇所に設けられ、携帯端末１０を保持するユーザの状態を取得するセンサである。生体センサ２２は、一例として、ユーザの体温、血圧、脈拍および発汗量等を取得する。このような生体センサ２２としては、一例として、特開２００１−２７６０１２号公報（米国特許６，５２６，３１５号）に開示されているような、発光ダイオードからユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出するセンサや、特開２００７−２１５７４９号公報（米国公開２００７−１９１７１８号）に開示されているような腕時計型の生体センサを採用することができる。なお、生体センサ２２は、本体部１１の表面側、又は長辺側の側部に設けられてもよい。

また、生体センサ２２としては、ユーザが携帯端末１０を保持している力に関する情報（例えば握力）を取得するセンサ（圧力センサ）を有しているものとする。このような圧力センサは、ユーザが携帯端末１０を保持したことや、携帯端末１０を保持する力の大きさを検出することができる。なお、後述する制御部６０は、圧力センサによりユーザが携帯端末１０を保持したことを検出した段階で、他の生体センサによる情報の取得を開始するようにしてもよい。また、制御部６０は、電源がオンとなっている状態において、圧力センサによりユーザが携帯端末１０を保持したことを検出した段階で、その他の機能をオンにする（あるいはスリープ状態から復帰する）ような制御を行うこととしてもよい。

姿勢センサ２３は、携帯端末１０の内部に設けられ、携帯端末１０の姿勢を検出することにより、後述する第１カメラ３１、第２カメラ３２、第３カメラ３３の姿勢を検出するものである。姿勢センサ２３としては、フォトインタラプタの赤外光を、重力によって移動する小球が遮断するか否かにより一軸方向の姿勢を検出するセンサを複数組み合わせた構成を採用することができる。ただし、これに限らず、姿勢センサ２３としては、３軸加速度センサやジャイロセンサなどを採用することとしてもよい。

温湿度計２４は、携帯端末１０の周囲の温度を検出する環境センサである。なお、温湿度計２４に代えて、温度計及び湿度計が携帯端末１０に別々に設けられてもよい。なお、温湿度計２４は、生体センサ２２によるユーザの体温を検出する機能と兼用される構成であってもよい。

加速度センサ２５は、圧電素子や歪ゲージなどを用いることができる。加速度センサ２５は、本実施形態ではユーザが立っているか座っているかを検出する。なお、加速度センサ２５による加速度の検出軸は、図２（ａ）のＺ軸方向となっている。なお、図２（ａ）のＸ軸、Ｙ軸を検出軸とする加速度センサを設けてもよく、この場合には、加速度センサによりユーザの移動方向を検出するなどすることができる。なお、加速度センサを用いてユーザが立っているか、座っているか、歩いているか、走っているかを検出する方法については、例えば日本特許第３５１３６３２号（特開平８−１３１４２５号公報）に開示されている。また、加速度センサ２５に代えて、もしくは加速度センサ２５と併用して角速度を検出するジャイロセンサを用いてもよい。

撮像部３０は、図２（ａ）、図２（ｂ）に示すように、本体部１１の主面（−Ｙ側の面）のディスプレイ１２よりも上方（＋Ｚ方向）に設けられた第１カメラ３１と、ディスプレイ１２の下方（−Ｚ方向）に設けられた第２カメラ３２と、本体部１１の主面の反対側の面（＋Ｙ側の面）であって、第１カメラ３１よりも下方（−Ｚ方向）に設けられた第３カメラ３３と、を有している。撮像部３０は、ユーザが携帯端末１０を保持した際（使用しているとき）のユーザの状況（例えば身なり）を撮像し、当該ユーザの状況のログをユーザに特別な操作を強いることなく取得する。

第１カメラ３１は、携帯端末１０を操作しているユーザの顔や、帽子、ネクタイ、アクセサリー、髪型、服装などの身の周りを撮像するカメラである。

第２カメラは、携帯端末１０を操作しているユーザの上半身を撮像するものであり、携帯端末１０の姿勢によってはユーザの下半身の撮像もできるものとする。

第３カメラ３３は、ユーザの下半身の服装や足元を撮像するカメラである。第３カメラ３３は、ユーザの下半身の服装や足元を撮像するため、及びユーザの手によって覆われないようにするために、ディスプレイ１２の反対面の下方（−Ｚ側の端部近傍）に設けられている。

撮像部３０が有する各カメラ３１〜３３は、撮影レンズや撮像素子（ＣＣＤおよびＣＭＯＳデバイス）を有するという基本構成は同一であるが、撮影レンズの焦点距離は異なっている。なお、撮影レンズとしては、液体レンズを用いても構わない。また、撮像部３０を構成するそれぞれのカメラの撮像素子は、一例として、ＲＧＢ３原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。以下、各カメラ３１〜３３の焦点距離について説明する。

図４（ａ）は、撮像部３０とユーザとの距離を示す図である。図４（ａ）に示すように、ユーザが携帯端末１０を把持した状態では、第１カメラ３１からユーザの顔周辺までの距離がおよそ３００ｍｍとなる。この第１カメラ３１が、肩幅程度（５００ｍｍ程度）を撮像する必要があるとすると、第１カメラ３１の短辺方向半画角は、図４（ｂ）に示すθ１≒３９．８°となる（ｔａｎθ１＝２５０／３００のため）。このため、本実施形態においては、第１カメラ３１の焦点距離は、３５ｍｍ版カメラに換算して１４ｍｍ相当となっている。

これに対し、第２カメラ３２からユーザの上半身（胸元）までの距離はおよそ２５０ｍｍとなる。この第２カメラ３２が、肩幅程度（５００ｍｍ程度）を撮像する必要があるとすると、第２カメラ３２の短辺方向の半画角は、図４（ｂ）に示すθ２＝４５°となる（ｔａｎθ２＝２５０／２５０のため）。このため、本実施形態においては、第２カメラ３２の焦点距離は、３５ｍｍ版カメラに換算して１２ｍｍ相当となっている。すなわち、第２カメラ３２の画角は、第１カメラ３１の画角よりも広くなっている。

なお、第３カメラ３３は、第１カメラ３１と同一の半画角と焦点距離の光学系を備えているものとする。なお、第３カメラ３３はユーザが立っている場合にユーザの足元を撮像する場合がある。この場合、短辺方向の半画角が３９．８°程度であるとユーザ以外の足元を撮像してしまう場合がある。このような場合には、後述する制御部６０は、第３カメラ３３の姿勢（姿勢センサ２３により検出される携帯端末１０の姿勢）に基づいて、ユーザが存在すると思われる範囲の画像のみを残すようにトリミングするようにしてもよい。あるいは、制御部６０は、加速度センサ２５の出力に基づいてユーザが立っていると判断できるような場合には、第３カメラ３３に予め設けておいたズーム光学系を望遠方向に移動して、ユーザの足元を撮像するようにしてもよい。また、制御部６０は、ユーザが立っている場合には、第３カメラ３３による撮像を行わない（禁止する）ようにしてもよい。

なお、第１カメラ３１、第２カメラ３２、第３カメラ３３を上下または左右に可動できるような構成として、より広い範囲でユーザ及びユーザの身なりを撮像できるようにしてもよい。

なお、撮像部３０は、ユーザが携帯端末１０を操作している間に撮像するため、手振れの影響を受けたり、乗り物などの振動の影響を受けたりする可能性がある。このような場合には、撮像部３０は、複数枚の静止画を撮像し、これら複数枚の静止画を合成することで手振れや振動の影響を排除するような処理を行うようにすればよい。なお、この場合の画像は、鑑賞用ではなくユーザの服装などの身なりが判定できる程度のものでよいので、市販のソフトウェアなどを利用して簡易的に手振れや振動の影響を排除するようにすればよい。

画像分析部４０は、撮像部３０が撮像した画像や、外部機器１００に保存されている画像の分析を行うものであり、本実施形態では、顔認識部４１、服装検出部４２及びリサイズ部４３を有する。

顔認識部４１は、第１カメラ３１が撮像した画像に、顔が含まれているか否かを検出する。さらに、顔認識部４１は、画像の中から顔を検出した場合には、検出した顔の部分の画像データと、フラッシュメモリ５０に記憶されているユーザの顔の画像データとを比較（例えばパターンマッチング）して、第１カメラ３１が撮像した人を認識する。

服装検出部４２は、第１カメラ３１、第２カメラ３２、第３カメラ３３により撮像されたユーザの身なり（服装、鞄、靴など）が、どのようなものであるかを検出するものである。

ここで、前述した顔認識部４１によって、第１カメラ３１が撮像した画像に顔が含まれていると判断された場合、当該顔の下方部分に服装の画像がある可能性が高い。したがって、服装検出部４２は、顔認識部４１により認識された顔の下方部分の予め定められた範囲の画像を抽出し、当該抽出された画像とフラッシュメモリ５０に記憶されている服装ＤＢ（図９参照）に格納されている画像データとをパターンマッチングすることにより、ユーザの服装を検出する。なお、服装検出部４２は、第２カメラ３２が撮像した画像と、フラッシュメモリ５０に記憶されている服装ＤＢ（図９）の画像データとをパターンマッチングすることによっても、ユーザの服装を検出することができる。なお、上述のパターンマッチングは、撮像部３０で撮像された画像全体から服装ＤＢの画像のパターンマッチングを行う部分領域を複数抽出し、抽出された各部分領域に対して服装ＤＢの対象画像（後述するアウター、インナー、スーツなど）を選択してパターンマッチングを行うようにしてもよい。この場合、画像全体から部分領域を抽出するためのテンプレート画像を服装ＤＢに記憶させておき、まず、画像全体とテンプレート画像とのパターンマッチングを行うようにしてもよい。また、各部分領域に対応する撮像素子のＲＧＢ出力（色情報）に基づいて、服装検出部４２は、各部分領域の代表色を検出するようにしてもよい。

なお、服装ＤＢは、各カメラ３１〜３３によって撮像された画像から抽出される、ユーザが過去に着用していた服装データを、服装ＩＤ（一意に割り当てられる識別子）と服装の種別とともに格納するものとする。なお、服装の種別の欄には、アウター、インナーのほか、スーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート等が入力される。また、服装データの画像として、それぞれの服装の特徴的な形状（例えば、襟部分の形状、半袖、長袖）の画像を格納することとしてもよい。なお、ユーザが通信部１８を用いて商品を購入した場合（インターネットショッピングなどで購入した場合）には、制御部６０は、通信部１８を介して服装データを入手し、服装ＤＢに記憶するようにしてもよい。また、制御部６０は、外部機器１００が保有する画像から、服装データを入手し、服装ＤＢに記憶するようにしてもよい。

なお、服装検出部４２は、第１カメラ３１及び第２カメラ３２が撮像したユーザの上半身の服装と、第３カメラ３３が撮像したユーザの下半身の服装とを比較することにより、ユーザの服装がスーツ（上着とズボンとが同じ生地で仕立てられている）か、ジャケットかを判断するようにしてもよい。

また、服装検出部４２は以下に説明する２つの機能（（１）画像合成機能、及び（２）重ね着判定機能）を有していてもよい。なお、各機能は、いずれもソフトウエアにより達成される。

（１）画像合成機能
服装検出部４２は、第１カメラ３１が撮像した画像と、第２カメラ３２が撮像した画像とを合成して１つの画像とする。この場合、服装検出部４２は、一例として、第１カメラ３１が撮像した画像と、第２カメラ３２が撮像した画像との重複部分を検出し、重複部分に基づいて画像を合成する。なお、服装検出部４２は、フラッシュメモリ５０に記憶されている服装データをリファレンスとして、第１カメラ３１が撮像した画像と、第２カメラ３２が撮像した画像とを合成してもよい。このように、画像合成が行われた場合には、服装検出部４２は、合成された画像に基づいて、ユーザの服装を検出するようにすればよい。

（２）重ね着判定機能
服装検出部４２は、ユーザが着ているＹシャツ、Ｔシャツなどのインナーと、インナーの外側に着ているジャケット、トレーナ、ブルゾンなどのアウターとを検出（識別）することで、重ね着しているか否かを判定する。

図５（ａ）〜図５（ｆ）は、ユーザの服装の例を示す図であり、図５（ａ）〜図５（ｄ）は、男性の服装の例を示し、図５（ｅ）、図５（ｆ）は、女性の服装の例を示している。以下、これらの図に基づいて、重ね着判定の具体例について説明する。

図５（ａ）は、ユーザがＹシャツ、ネクタイ、スーツを着ている例を示し、図５（ｂ）は、ユーザがＹシャツ、スーツを着ている例を示している。また、図５（ｃ）は、ユーザがＹシャツを着ているが、ジャケットを着ていない例を示し、図５（ｄ）は、ユーザがポロシャツを着ている例を示している。また、図５（ｅ）は、ユーザが丸首のシャツにジャケットを着ている例を示し、図５（ｆ）はユーザがワンピースの上にジャケットを着ている例を示している。

これらのうち、図５（ａ）、図５（ｂ）、図５（ｅ）、図５（ｆ）に示すように、ユーザが重ね着をしている場合は、アウターの襟はインナーの襟の外側に位置している。このため、服装検出部４２は、複数の襟の画像を検出したときにユーザが重ね着をしていると判定することができる。また、インナーとアウターとでは色や模様、織り柄（画像を拡大したときのパターン）などが異なっていることが多いため、服装検出部４２は、色や模様の違い、織り柄の違いなどから重ね着の判定を行ってもよい。また、これとは逆で、服装検出部４２は、図５（ｃ）、図５（ｄ）に示すように、撮像部３０がユーザの腕（二の腕や、手首を除いた前腕）を撮像した場合や、半袖を撮像した場合にユーザが重ね着をしていないと判定するようにしてもよい。

また、服装検出部４２は、第３カメラ３３がユーザの下半身（ズボン、スカート）を撮像した場合に、当該下半身が上着の色や模様と同じかどうかを判定し、同じであればユーザがスーツやワンピースを着ていると判定し、異なっていればユーザがジャケットや、シャツを着ていると判定するようにしてもよい。

上記のようにして重ね着判定した結果を利用することで、ユーザがインナーとアウターを着ているのか、スーツやワンピースを着ているのかなどを、検出することが可能となる。

図３に戻り、リサイズ部４３は、第１カメラ３１により撮像された画像に基づき、ユーザの体型の変化（太ったか、痩せたか、変わらないか）の有無を検出する。具体的には、リサイズ部４３は、ユーザの両目の間隔をリファレンスとして、両目の間隔と、ある大きさに規格化された後の顔の輪郭や肩幅との比を検出する。なお、リサイズ部４３は、輪郭や肩幅に関して、短期間に急激な変化が現れた場合には、ユーザに対して警告を行うようにしてもよい。

また、リサイズ部４３によりユーザの体型の変化のログを取ることにより、例えば１年前の同季節の服が着られるかどうか、また、服を購入する際に前年に着ていた服を今年も着ることができるかの判定（推定）を行うようにしてもよい。

フラッシュメモリ５０は、不揮発性の半導体メモリである。フラッシュメモリ５０は、制御部６０によって実行される携帯端末１０を制御するためのプログラム、および、携帯端末１０を制御するための各種パラメータや、服装情報（画像データ）等を記憶する。さらに、フラッシュメモリ５０は、センサ部２０が検出した各種データ、および、服装ＤＢ（図９参照）、服装やユーザの顔の輪郭に関するデータのログ（身なりログ（図１０参照））を記憶する。

制御部６０は、ＣＰＵを有し、情報処理システム２００全体を統括的に制御する。本実施形態においては、制御部６０は、ユーザが携帯端末１０を操作しているときに撮像部３０により撮像された画像から、ユーザの服装の情報を取得したり、当該ユーザの服装の情報に基づいた各種処理（コーディネート提案など）を実行する。

図１に戻り、外部機器１００は、デジタルカメラ（以下、デジカメと呼ぶ）１００ａ、画像サーバ１００ｂ、店舗サーバ１００ｃを含む。なお、いずれの外部機器１００も、図３に示すように、通信部、制御部、メモリを有しているものとする。

デジカメ１００ａは、ユーザやユーザの家族が所有しているデジカメである。デジカメ１００ａの制御部１２０ａは、撮像した画像の中から、不図示の顔認識部によりユーザの顔が認識された画像を抽出し、通信部１１０ａを介して携帯端末１０に対して送信する。あるいは、制御部１２０ａは、携帯端末１０からのリクエストに応じて、メモリ１３０ａに記憶されているユーザの画像を通信部１１０ａを介して携帯端末１０に送信する。

画像サーバ１００ｂは、登録された複数のユーザの画像を保存するメモリ１３０ｂを有するサーバである。メモリ１３０ｂは、ユーザ毎に画像を記憶する領域（例えばフォルダ）が設けられており、登録されたユーザのみ画像を閲覧できる記憶領域、ユーザが許可したユーザのみ画像を閲覧できる記憶領域、画像サーバ１００ｂに登録したユーザなら誰でも閲覧できる記憶領域を有している。制御部１２０ｂは、登録されたユーザが指定した記憶領域に画像を記憶する。また、制御部１２０ｂは、セキュリティーレベルに応じて画像の管理を行うととともに、登録されたユーザの操作に応じて、そのユーザが閲覧可能な画像を通信部１１０ｂを介して送信する。

本実施形態においては、ユーザによる携帯端末１０の操作に応じて、ユーザ自身の画像が画像サーバ１００ｂから携帯端末１０に対して送信されるとともに、誰でも閲覧できる画像のうちの服装に関する画像が画像サーバ１００ｂから携帯端末１０に対して送信されるものとする。

店舗サーバ１００ｃは、服を販売している店舗のサーバである。メモリ１３０ｃには、ユーザがどのような商品を購入したかの履歴が記憶されている。制御部１２０ｃは、ユーザからのリクエストに応じて、通信部１１０ｃを介して、ユーザの購入履歴情報を提供する。なお、購入履歴情報の一例は、購入日、金額、衣服の画像、色、サイズ、素材情報である。

本実施形態においては、前述のとおり、画像分析部４０がインナー、アウター、帽子、ネクタイ、アクセサリー、髪型、顔の輪郭などのアイテム別に判別するが、店舗側からの購入した衣服の詳細情報から、アイテムが同一と判定された場合、そのアイテムと、店からの衣服の情報を関連付けることができる。また、各アイテムの代表画像を店舗サーバ１００ｃから取得するようにしてもよい。なお、ユーザの許可があれば、アイテムの使用頻度データを店舗サーバ１００ｃに情報提供するようにしてもよい。

以上のように構成される本実施形態の情報処理システム２００の処理について、図６〜図８のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。

（ユーザの身なり検出処理）
図６は、ユーザの身なりを検出する処理のフローチャートである。この図６の処理は、生体センサ２２（圧力センサなど）が、ユーザによる携帯端末１０の保持を検出した段階から開始されるものであり、ユーザによる携帯端末１０の操作中（使用中）にユーザに特段の操作を行わせることなく、ユーザの身なりを検出するものである。

図６の処理では、ステップＳ１０において、制御部６０が、撮像を行うかどうかの判断を行うために、センサ部２０を用いて状況確認を行う。具体的には、制御部６０は、ＧＰＳモジュール２１によりユーザのいる位置を取得し、生体センサ２２及び加速度センサ２５によりユーザが立っているか、座っているか、歩いているかなどを検出する。なお、ここでは、ユーザは電車に座って移動しているものとして、以下説明する。

また、制御部６０は、姿勢センサ２３により携帯端末１０の姿勢を検出するとともに、温湿度計２４により温度及び湿度を検出する。また、制御部６０は、カレンダ部１６から現在の日時を取得するとともに、前回ユーザを撮像した時間を確認する。ここで、制御部６０は、前回の撮像が会社に向かっているとき（通勤（行き）のとき）に行われた場合で、現在が同日の会社からの帰宅途中である場合には、ユーザが同じ服装であるとして撮像を行わなくてもよい。ただし、これに限らず、後述のステップＳ１４でユーザを撮像したときに同じ服装であるかどうかを検出して、撮像を継続するかどうかを判断するようにしてもよい。

次いで、ステップＳ１２では、制御部６０は、ステップＳ１０で取得した状況に基づいて撮像部３０による撮像を行うかどうかを判断する。

ここで、制御部６０は、例えば、ユーザが電車に座っており、携帯端末１０のＺ軸方向が鉛直方向から５０°程度傾斜している場合には、第１カメラ３１、第２カメラ３２、第３カメラ３３の全てを用いて、ユーザやユーザの身なりを撮像すると判断する。

なお、第１カメラ３１、第２カメラ３２は、携帯端末１０のＺ軸方向が鉛直方向を向いた状態から、ディスプレイ１２を視認可能な方向へ７０°程度傾けた状態の範囲内であれば、ユーザの撮像が可能であるとする。また、第３カメラ３３は、携帯端末１０のＺ軸方向が鉛直方向から５°程度傾斜した状態から、ディスプレイ１２を視認可能な方向へ９０°程度傾けた状態の範囲内であれば、ユーザの撮像が可能であるとする。

なお、制御部６０は、センサ部２０に超音波センサを設けて、ユーザまでの距離を計測し、当該計測結果に基づいて、第１カメラ３１、第２カメラ３２、第３カメラ３３のそれぞれによる撮像が可能かどうかを判断するようにしてもよい。

なお、ユーザが歩いているときには、撮像部３０による撮像がうまくいかない場合もあるので、制御部６０は、ユーザが静止するか、所定の加速度（もしくは角加速度）以下になるまで撮像部３０による撮像を待つようにしてもよい。なお、所定の加速度（もしくは角加速度）は、ユーザが携帯端末１０を保持した状態で歩いたときの加速度（もしくは角加速度）から求めればよく、例えば検出した値の１／２以下もしくは１／３以下とすればよい。

制御部６０は、撮像部３０の少なくとも１つのカメラによる撮像が可能であれば、ステップＳ１４に移行する。一方、撮像部３０による撮像が不可能であれば、図６の全処理を終了する（ステップＳ１２：否定）。上述のように、本実施形態においては、制御部６０は、加速度センサ２５の出力からユーザの状態を検出し、姿勢センサ２３の出力から携帯端末１０の姿勢を検出し、それらの検出結果に基づいて撮像部３０による撮像を行ったり、行わなかったりするので、ユーザに特段の操作を強いることがない。なお、撮像部３０の撮像に限らず、ユーザの状態と携帯端末１０の姿勢とに基づいて、携帯端末１０で使用できる機能やアプリケーションを選択もしくは制限してもよい。例えば、制御部６０が、ユーザが歩きながらディスプレイ１２を見ていると判断したとする。この場合、制御部６０は、ユーザがフラッシュメモリ５０に記憶されている地図情報を見る可能性がある一方で、ゲームなどのアプリケーションを使用する可能性が低いことから、ディスプレイ１２に表示される特定のアイコンメニューの表示を拡大したり、消去するなどすることができる。

ステップＳ１４に移行すると、制御部６０は、撮像部３０による撮像を実行する。この場合、制御部６０は、第１カメラ３１、第２カメラ３２、第３カメラ３３の少なくとも１つを用いて撮像した画像データをフラッシュメモリ５０に記憶する。なお、ここでは、制御部６０が、服装検出部４２が合成した画像データ（それぞれのカメラが撮像した複数枚の画像を合成した画像や、第１カメラ３１が撮像した画像と第２カメラ３２が撮像した画像とを合成した画像）をフラッシュメモリ５０に記憶したものとする。

次いで、画像分析部４０は、ステップＳ１５において、前述したようにして、ユーザの顔認識、服装検出、リサイズ処理を行う。

なお、今回の撮像が同日の２回目以降の撮像の場合であって、前回撮像したユーザの服装と、今回撮像したユーザの服装とが同一であった場合には、制御部６０は、図６の全処理を終了することとしてもよい。

次いで、ステップＳ１６では、制御部６０は、撮像開始から所定時間（数秒から数十秒）経過した後に、撮像を継続するかどうかの判断を行う。なお、このステップＳ１６では、制御部６０は、画像分析部４０による画像合成や重ね着判定が終了していれば、撮像を終了すると判断するものとする。ステップＳ１６における判断が肯定された場合（撮像を継続する場合）には、ステップＳ１４に戻るが、ステップＳ１６における判断が否定された場合（撮像を終了する場合）には、ステップＳ１７に移行する。

ステップＳ１７に移行すると、制御部６０は、ユーザの身なり分析を実行する。この身なり分析では、服装検出結果やリサイズ処理の結果と、服装ＤＢ（図９）と、に基づいて、ユーザの服装や、身に着けているアクセサリーを特定して、図１０に示す身なりログ（インナー、アウター、帽子、ネクタイ、やこれら各アイテムの代表色、アクセサリー、髪型（ロングヘア、ショートヘア）、輪郭のサイズ情報）に登録する。なお、このステップＳ１７では、身なりログの１つのレコード（同一日付のレコード）のデータが、可能な限り登録される（場合によっては空白となる場合もある）。

ここで、図１０の身なりログは、季節、日付、種別、画像、代表色、服装ＩＤ、気温、湿度、輪郭サイズ、種別の各フィールドを含んでいる。季節のフィールドには、日付に基づいて判定される季節が入力される。日付のフィールドには、カレンダ部１６から取得される日付が入力される。種別のフィールドには、服装検出部４２が検出した髪型や服装の種別が入力される。画像のフィールドには、服装ＤＢの画像や、撮像部３０および服装検出部４２の処理に基づいた髪型や服装ごとの画像が入力される。代表色には、服装検出部４２が検出した各服装の代表色が入力される。気温及び湿度のフィールドには、温湿度計２４により検出された気温及び湿度が入力される。輪郭サイズのフィールドには、リサイズ部４３による検出結果が入力される。種別のフィールドには、服装検出部４２が検出した服装の種別（スーツ、ジャケット、和服、ワンピースなど）が入力される。なお、服装ＩＤのフィールドには、現在着ている服装と同一の服装に関するデータが服装ＤＢに存在していれば、服装ＤＢに基づいてＩＤが入力されるが、服装ＤＢに存在していなければ、空白となる。なお、季節のフィールドには、制御部６０がカレンダ部１６と温湿度計２４とに基づいて判断した季節が入力される。

図６に戻り、ステップＳ１８に移行すると、制御部６０は、外部機器１００との通信による身なりの情報（服装の情報）の取得が必要か否かを判断する。この場合、制御部６０は、身なりログの服装ＩＤが空白であるものが存在するか否かに基づいて、外部機器１００との通信による身なりの情報（服装の情報）の取得が必要か否かを判断する。なお、髪型に関しては、服装ＩＤが空白であっても外部機器１００からの情報取得を必要としないものとする。

ステップＳ１８の判断が肯定された場合には、ステップＳ２０に移行する。そして、ステップＳ２０では、制御部６０が、外部機器１００との通信を行う。例えば、服装検出部４２によりユーザがスーツを着ていると検出した場合でも、このスーツが前日に購入したものであれば、服装ＤＢにはこのスーツの情報が記憶されていない。そこで、制御部６０は、通信部１８を用いて外部機器１００と通信することで、スーツに関する情報を外部機器１００（店舗サーバ１００ｃ）から取得し、服装ＤＢに登録する。なお、デジカメ１００ａや、画像サーバ１００ｂには服装分析機能がない場合がある。このような場合は、前回通信した以降の画像データを取得したり、服装の色を条件として画像データを取得したりすればよい。上記のようにしてステップＳ２０の処理が行われた後は、ステップＳ２２に移行する。

ステップＳ２２では、制御部６０は、通信部１８を用いて外部機器１００から取得した新たな服装データに基づいて、ユーザの身なり分析を再度実行する。その後は、制御部６０は、図６の全処理を終了する。なお、ステップＳ１８の判断が否定された場合にも、制御部６０は、図６の全処理を終了する。

以上のように、図６の処理を行うことで、制御部６０は、ユーザの身なりのログをユーザに特段の操作を強いることなく、適切なタイミングでとることができる。

なお、図６の処理では、制御部６０は、カレンダ部１６の日付（もしくは月）情報、温湿度計２４の出力に基づき、それぞれのアイテムが春夏秋冬のどの季節で用いられたかも身なりログに記憶している。すなわち、身なりログには、春夏秋冬に応じてユーザの身なり情報を記憶しているといえる。なお、アイテムによっては２シーズン（春、秋）、３シーズン（春、秋、冬）着用するものもあるので、それぞれの季節に応じた記憶は有効である。

（身なり報知処理）
図７は、ユーザに身なりを報知するための処理を示すフローチャートである。図７の処理は、所定期間の身なりのデータが取得された後、ユーザからの要求があった段階から開始されるものとする。

図７のステップＳ３０では、制御部６０は、週間データを比較し、表示する処理を実行する。具体的には、制御部６０は、身なりログに記憶されている本日とその前の１週間の合計８日間の身なりに関する画像データを読み出し、本日の服装とその前の１週間の服装とを比較し、この比較結果を表示する。

この場合、制御部６０は、上半身の重ね着のパターンが同じ日が有るか無いか、上半身の服装と下半身の服装との組合せが同じ日が有るか無いか、上半身の服装の色合いと下半身の服装の色合いとが同じ日が有るか無いかを比較し、比較結果をディスプレイ１２上に表示する。また、制御部６０は、同じ項目が無い場合や、比較結果の表示を行った後などにおいて、本日を含む８日間に着用した服装のランキングをディスプレイ１２上に表示する。これにより、ユーザは、月曜日に同じ服装をしていたことや、１週間の間に白いシャツと黒いスカートの組合せが４回あったことや、各アイテムの代表色の組合せパターンが少ない、というような服装の傾向を知ることができる。

次いで、ステップＳ３２では、制御部６０は、月間データを比較し、表示する処理を実行する。具体的には、制御部６０は、フラッシュメモリ５０に記憶されている本日を含む３０日分の身なりに関する画像データを読み出し、月単位での服装の比較を行い、この比較結果を表示する。なお、表示項目は、ステップＳ３０と同様である。ただし、これに限らず、温湿度計２４の計測結果に基づき、似たような気候（雨の日、暑めの日、寒めの日）毎に比較し、その結果を表示するようにしてもよい。これにより、ユーザは雨の日は同じ服装をしていたとか、温度に応じた服装の選択ができていたかどうかなどを知ることができる。

次いで、ステップＳ３４では、制御部６０は、過去のデータとの比較を行う。具体的には、制御部６０は、過去（例えば昨年、一昨年）の同月・同週との服装の比較を行い、この比較結果を表示する。これにより、ユーザは毎年同じ服装であるかどうかなどを確認できるとともに、服装の購入の要否判断の一助とすることができる。また、服装の好みの変化や、リサイズ部４３の検出履歴から体型の変化や、着なくなった服の有無などを知ることができる。なお、同月・同週ではなく、同じような気候の月、週としてもよい。

次いで、ステップＳ３６では、制御部６０は、ユーザに対して、コーディネートの提案が必要かどうかの問い合わせを行う。本実施形態では、制御部６０は、ディスプレイ１２に問い合わせのメッセージを表示する。そして、ユーザによるタッチパネル１４の操作に基づいて、コーディネートの提案が必要か否かを判断する。ここでの判断が否定された場合には、図７の全処理を終了するが、肯定された場合には、ステップＳ３８に移行する。

ステップＳ３８に移行した場合、制御部６０は、フラッシュメモリ５０に記憶されている服装情報に基づいて、コーディネートの提案を行う。このステップＳ３８では、制御部６０は、例えば、本日撮像したユーザの髪型の画像データを取得し、同様の髪型の際にユーザが着用していた服装を提案したりすることができる。また、制御部６０は、通信部１８を介してインターネット上から流行情報、天気予報、気温予想などを取得して、これらに基づいて服装を提案したりすることができる。また、制御部６０は、季節の変わり目などにおいて気温の変化が激しく（１０℃近く）変動するような日には、天気予報、気温予想に基づき、ユーザが所持している服装からコーディネートを提案することができる。このようにすることで、ユーザに対して適切なコーディネートの情報を提供することができる。

なお、ステップＳ３０、Ｓ３２、Ｓ３４，Ｓ３８の処理の順番は適宜変更してもよく、また、ステップＳ３０〜Ｓ３４の処理については、ユーザにより選択された処理のみを実行するようにしてもよい。

以上のような処理を行うことで、ユーザの過去の服装の傾向を表示したり、ユーザがコーディネートを必要とする場合には、制御部６０が、ユーザに対してコーディネート案を提供したりすることができる。

（新しい服装とのコーディネート提案処理）
上述した図７のステップＳ３８の処理では、ユーザが所持している服装からコーディネートを提案するものとしたが、新しく服を購入する場合にも、ユーザは、既存の服とのコーディネートを考える必要がある。しかしながら、例えば秋服であれば８月の半ば以降から販売されるが、実際には８月は残暑も厳しく、衣替えもしていない。このため、ユーザは、新作の秋服を購入する段階では、手持ちの秋服を把握できていないことが多いことから、手持ちの秋服と類似した服や、手持ちの秋服とマッチしない服を購入してしまうことが多々ある。

そこで、図８の処理では、ユーザが購入しようとしている新しい服装と、手持ちの服装とのコーディネートを提案する処理を実行する。なお、図８の処理は、ユーザが店舗やインターネットや雑誌などにおいて新しい服を見ているときに、ユーザの指示の下開始される処理であるものとする。なお、以下においては、ユーザが、店舗で新しい服を見ている場合について説明する。

図８の処理では、ステップＳ４０において、制御部６０が、ユーザが購入を検討している服装データが入力されるまで待機する。なお、ユーザが服装データを入力する方法としては、店舗に置かれている端末（店舗サーバ１００ｃに接続されているものとする）に、衣服につけられたバーコードや、電子タグに近づけて読み取らせ、店舗サーバ１００ｃから携帯端末１０に服装データを送信する方法を用いることができる。また、ユーザが服装データを入力する方法としては、衣服につけられたＱＲコードなどを携帯端末１０の撮像部３０で撮像することで、衣服のＩＤを読み込み、当該ＩＤを用いて店舗サーバ１００ｃにアクセスして、店舗サーバ１００ｃから服装データを取得する方法を用いることができる。なお、ユーザは、店舗において服装の画像を撮像することで、服装のデータを入力するようにしてもよい。

上記のような方法によって服装データの入力があり、ステップＳ４０の判断が肯定されると、制御部６０は、ステップＳ４２において、入力された新しい服装の判別を行う。具体的には、制御部６０は、入力された服装データに基づきその服装が上半身の服装か、下半身の服装（ズボン、スカート）を判別する。また、制御部６０は、その服装が上半身の服装の場合、入力された服装データに基づきインナーかアウターかを判別したり、ユーザにインナーかアウターかを入力してもらうなどして、判別を行う。

次いで、ステップＳ４４では、制御部６０は、ステップＳ４２で判別した服装とのコーディネートを提案するために、ユーザが所持している服装情報を服装ＤＢから読み出す。なお、ここでは、ユーザは秋物のジャケット（アウター）を新しい服装データとして入力したものとし、制御部６０は、服装ＤＢからジャケット、インナー、ズボンに関する服装情報を読み出すものとする。すなわち、制御部６０は、入力された服装データのカテゴリーが第１のカテゴリーであったときは、当該第１のカテゴリーとともに、第１のカテゴリーと異なる第２のカテゴリーの服装情報を服装ＤＢから読み出す。

次いで、ステップＳ４６では、制御部６０は、ユーザが購入を予定しているジャケットと類似のジャケットをユーザが所持しているかどうかを判断する。この場合、制御部６０は、服装ＤＢから読み出したジャケットの服装情報（色、デザイン）と、ユーザが購入を予定しているジャケットの情報（色、デザイン）とを比較し、類似しているかどうかを判断する。このステップＳ４６の判断が否定された場合には、ステップＳ５２に移行するが、肯定された場合には、ステップＳ４８に移行する。

ステップＳ４８に移行した場合、制御部６０は、ディスプレイ１２にユーザが所持している類似のジャケットの画像データを表示し、ユーザが手持ちのジャケットと同じようなジャケットの購入を検討していることを報知する。なお、制御部６０は、ユーザが所持している他のジャケットの画像データについてもディスプレイ１２に表示することとしてもよい。

ステップＳ４８の処理が終了した後は、制御部６０は、ステップＳ４９において、ユーザが購入しようとしているジャケットを変更するか否かを尋ねるメッセージをディスプレイ１２上に表示する。

次いで、ステップＳ５０では、制御部６０は、ユーザが、購入予定のジャケットを変更する旨の入力をタッチパネル１４から入力したか否かを判断する。ここでの判断が肯定された場合には、ステップＳ４０に戻るが、判断が否定された場合には、ステップＳ５２に移行する。

ステップＳ５２では、制御部６０は、フラッシュメモリ５０からアウター以外の服装情報（すなわち、インナーの服装情報とズボンの服装情報）とを読み出し、コーディネート提案（各服装を組み合わせた表示）をディスプレイ１２に表示する。なお、コーディネート提案としては、ステップＳ４０で入力された服装の色に合った色を代表色とする手持ちの服装を表示するなどすることができる。具体的には、制御部６０は、黒とグレー、青と淡い青というように同じ色相や、近い色相になるような組合せを提案（ディスプレイ１２に表示）すればよい。また、ストライプとボーダとの着合せは一般には行なわれないため、購入予定の服がストライプであれば、制御部６０は、手持ちのボーダの服とのコーディネートを提案しないようにすればよい。同様に、制御部６０は、模様同士の着合せを提案しないようにすればよい。また、制御部６０は、手持ちの服のサムネイル画像をディスプレイ１２に表示して、タッチパネル１４によりユーザに選択させるようにしてもよい。なお、制御部６０は、色が合っているか否かを、予め定められているテンプレート（インナーの色とアウターの色の適切な組み合わせを定義したテンプレート）等に基づいて判断するようにすればよい。これにより、ユーザは店舗にいながら新しく購入を予定しているジャケットと、所持している服装とをコーディネートすることができる。なお、通販などのように購入予定の服を試着できない場合や、試着が面倒な場合には、制御部６０は、手持ちの服とのサイズ比較を行うようにすればよい。例えば、通販でスカートを購入する場合には、膝が出てしまうかどうかがわからないことがある。このような場合に、制御部６０は、同じような丈の長さのスカートの画像をディスプレイ１２に表示することにより、購入予定のスカートを着用した場合にひざが出るかどうかをユーザに視認させることができる。同様に、コートを着用した場合にスカートがコートの丈よりも長いか短いかがわからないことがある。このような場合には、制御部６０は、手持ちのコートの丈との比較により、その結果をユーザに知らせることができる。このように、本実施形態の携帯端末１０によれば、手持ちの同じカテゴリの服装の情報や、手持ちの異なるカテゴリーの服装の情報を用いて購入予定の服を着用したときの状態を確認することができる。

なお、ステップ５２で行ったコーディネート提案は、図７のフローチャートのステップＳ３８へも転用することができる。

次いで、ステップＳ５４では、制御部６０は、ユーザが本処理の継続を希望しているか否かを判断する。ここでの判断が肯定された場合には、ステップＳ４０に戻るが、否定された場合には、図８の全処理を終了する。

以上のように、制御部６０が図８の処理を実行することで、ユーザが新しく購入しようとしている服装と、手持ちの服装とが類似する場合に、ユーザにその旨を報知したり、新しく購入しようとしている服装と、手持ちの服装とによるコーディネート案をユーザに提供したりすることができる。

以上、詳細に説明したように、本実施形態によると、携帯端末１０が、本体部１１に設けられた第１カメラ３１と、本体部１１の第１カメラ３１とは異なる位置に設けられた第２カメラ３２、第３カメラ３３と、本体部１１の姿勢を検出する姿勢センサ２３と、姿勢センサ２３の検出結果に応じて、各カメラによる撮像を行う制御部６０と、を備えている。これにより、本実施形態では、本体部１１の姿勢に応じて、すなわち、第１〜第３カメラ３１〜３３の撮影可能範囲に応じて、撮像を行うことが可能となる。したがって、各カメラが適切な画像を撮像できるときに各カメラを用いた撮像が行われるため、適切な画像の撮像を自動的に行うことができ、携帯端末１０の使い勝手を向上することが可能となる。

また、不適切な画像が撮像される可能性のあるとき（例えば盗撮になりかねない場合）に、自動的な撮像を行わないようにする（撮像を禁止する）ことができるため、この点からも、携帯端末１０の使い勝手を向上することが可能となる。

また、本実施形態では、第１カメラ３１は前記本体部の−Ｙ側の面（主面）に設けられ、第３カメラ３３は主面とは異なる面（＋Ｙ側の面）に設けられているので、ユーザが座った状態又は立った状態で、ユーザの上半身と下半身とを同時に撮像することが可能である。

また、本実施形態では、携帯端末１０の主面（−Ｙ側の面）に、タッチパネル１４とディスプレイ１２とが設けられているので、ユーザが携帯端末１０の操作、ディスプレイ１２の視認を行っている間に、ユーザの身なり（上半身や下半身）を撮像することができる。

また、本実施形態では、本体部１１を保持しているユーザの姿勢を検出する加速度センサ２５を有しており、制御部６０は、加速度センサ２５の検出結果に応じて、第３カメラ３３の撮像条件を変更する。これにより、第３カメラ３３により適切な画像を撮像できるときに、第３カメラ３３による撮像を実行することができる。また、制御部６０は、加速度センサ２５の検出結果に応じて撮像された画像のトリミングを行うことで、撮像された画像のうち、撮像すべきでなかった可能性の高い部分をユーザが視認できないようにすることができる。

また、本実施形態では、ユーザが携帯端末１０（本体部１１）を保持していることを、生体センサ２２の圧力センサ等により検出し、制御部６０は、圧力センサ等による検出がされたときに、カメラ３１〜３３の少なくとも１つによる撮像を行うので、ユーザの身なり等を適切なタイミングで撮像することができる。

また、本実施形態では、服装検出部４２が、各カメラが撮像した画像を合成するので、各カメラが撮像したユーザの部分的な画像（顔周辺、上半身、下半身などの画像）を纏めて１枚の画像とすることができる。これにより、ユーザの身なりを適切に分析することが可能となる。

また、本実施形態では、身なりに関するデータを記憶するフラッシュメモリ５０を備えているので、制御部６０は、ユーザの現在の身なりと過去の身なりとの同一性について分析したり、ユーザの現在の身なりのコーディネート案や、新しく購入しようとしている服と手持ちの服とのコーディネート案などを提案することができる。また、本実施形態では、通信部１８が、外部機器１００から身なりに関するデータを取得するので、過去の服装（デジカメ１００ａで撮像した服装や、画像サーバ１００ｂに記憶されている服装など）のデータに基づいた、ユーザの身なりの分析を行うことが可能である。

また、本実施形態の携帯端末１０では、制御部６０が、ユーザの服装を撮像した画像データを取得し、服装検出部４２が、画像データに基づいて、服装の組合せを判別するので、ユーザの服装の組み合わせを画像データから自動的に判別することが可能である。

また、本実施形態では、顔認識部４１が、画像中からユーザの顔を認識するので、顔から下側の部分を服装と判断することで、ユーザの服装の組み合わせを簡易に判別することが可能である。また、顔認識結果を用いることで、ユーザの本人確認や、ユーザごとの服装管理を行うことが可能となる。

また、本実施形態では、制御部６０は、フラッシュメモリ５０に、ユーザの服装の組み合わせの頻度を記憶させるので、当該頻度の情報をユーザに対して提供（例えば、ディスプレイ１２に表示）することができる。

また、本実施形態の携帯端末１０は、ユーザが所持している服装データを記憶するフラッシュメモリ５０と、フラッシュメモリ５０に記憶されていない服装に関する情報を入力する通信部１８とを備えている。これにより、制御部６０は、ユーザが購入しようとしている服装（店舗サーバ１００ｃから取得）と、フラッシュメモリ５０に記憶されている手持ちの服装とのコーディネートを提案することができる。

また、本実施形態では、制御部６０は、フラッシュメモリ５０に記憶されている手持ちの服装データの中から、ユーザが購入しようとしている服装に類似した服装データを検出し、ディスプレイ１２に表示する。これにより、ユーザが、手持ちの服装と類似する服装を新たに購入してしまうようなことを防止することができる。

また、本実施形態では、リサイズ部４３が、ユーザの体型の変化を検出するので、当該体型の変化に関する情報をユーザに対して提供することができる。

なお、上記実施形態では、電車の中などの外出先においてユーザを撮像し、身なりを分析する場合について説明したが、これに限られるものではない。例えば、寒い季節においては、コートを着用しているため、コートの下に何を着用しているかが外から見て判断できない場合がある。このような場合には、ユーザが室内にいるとき（例えば、日付が冬であるのに、気温（室温）が１５℃以上であるときなど）にのみ、ユーザの撮像を行うようにしてもよい。

なお、上記実施形態では、制御部６０は、図７のステップＳ３８において、髪型等に基づいたコーディネート提案を行うものとしたが、これに限られるものではない。例えば、ユーザが海外に行く場合に、その国や都市を入力したとする。このような場合には、制御部６０は、例えば、画像サーバ１００ｂからその国や都市（例えばデンマーク）の在住者であり、かつユーザと同じ性別で年齢の近い人の最近（又は前年）の服装の画像データを取得し、提供することとしてもよい。これにより、ユーザに対して、現地の気候や風土に適したコーディネートの情報を提供することができる。

なお、ステップＳ４８では、新しい服装の購入を検討している場合に、類似の服装をすでに保有しているのであれば、ユーザに対してその旨を報知する場合について説明したが、これに限られるものではない。例えば、服装ＤＢにおいて服装のサイズを管理しているような場合で、新しい服装のサイズと、手持ちの服装のサイズとが異なる場合には、これまでの服装が着れなくなるおそれがある旨をユーザに報知するようにしてもよい。なお、このような報知は、成長盛りである子供の洋服のコーディネートを行う場合に特に有効である。また、ユーザが自分のサイズを認識していない場合もあるので、服装ＤＢに記憶されている服装のサイズを抽出し、ディスプレイ１２に予め表示するようにしてもよい。

更に、家族の服を購入する場合や、他人に服をプレゼントする場合には、他人のサイズやどのような服を所持しているかがわからない場合がある。このような場合には、通信部１８がデジカメ１００ａや、画像サーバ１００ｂ、店舗サーバ１００ｃから家族や他人のサイズや、家族や他人が所持している服装情報を分析し、ユーザに報知するようにしてもよい。

なお、上記実施形態では、携帯端末１０の主面（−Ｙ側の面）に、操作部（上記実施形態ではタッチパネル１４）と表示部（上記実施形態ではディスプレイ１２）の両方が設けられている場合について説明した。しかしながら、これに限らず、少なくとも一方が設けられていればよい。

なお、上記実施形態では、本体部１１に第１〜第３カメラ３１〜３３を設ける場合について説明したが、これに限られるものではない。第１〜第３カメラ３１〜３３のうちの少なくとも２つが設けられていればよい。すなわち、これら少なくとも２つのカメラのみならず、上記実施形態で説明したカメラ以外の１又は複数のカメラが本体部１１に設けられていてもよい。

なお、上記実施形態においては、携帯端末１０の撮像部３０によりユーザの身なりの情報を検出したが、パーソナルコンピュータに撮像部を設けて、ユーザがパーソナルコンピュータを操作している間にユーザの身なりを検出してもよい。また、携帯端末１０とパーソナルコンピュータとを連携して、ユーザの身なりの情報を検出したり、コーディネートの情報を提供したりしてもよい。

また、上記実施形態では、電話機能のある片手サイズの大きさである携帯端末（スマートフォン）を例にとり説明したが、タブレット型コンピュータなどの携帯端末にも、上記実施形態を適用することができる。

なお、上記実施形態では、ユーザの身なり分析などの処理を、制御部６０が行うこととしたが、これに限られるものではない。上記実施形態で説明した制御部６０の処理の一部又は全部を、ネットワーク８０に接続された処理サーバ（クラウド）が実行することとしてもよい。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１０ 携帯端末
１１ 本体部
１２ ディスプレイ
１４ タッチパネル
１８ 通信部
２３ 姿勢センサ
２５ 加速度センサ
３１ 第１カメラ
３２ 第２カメラ
３３ 第３カメラ
４２ 服装検出部
４３ リサイズ部
５０ フラッシュメモリ
６０ 制御部
１００ 外部機器

Claims (14)

1. ユーザの服装を撮像した画像データを取得する取得部と、
   前記画像データに基づいて、前記服装の組合せを判別する判別部と、を備えたことを特徴とする電子機器。
2. 本体部に設けられた撮像部を備え、
   前記撮像部は、前記本体部が前記ユーザに保持されているときに、前記ユーザの服装を撮像することを特徴する請求項１に記載の電子機器。
3. 前記判別部は、前記画像データの色情報に基づいて、前記服装の組合せを判別することを特徴とする請求項１又は２に記載の電子機器。
4. 前記画像データに基づいて、前記ユーザの顔認識をする顔認識部を備えたことを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
5. 前記判別部は、前記画像データに基づいて、服装の重ねを検出することを特徴とする請求項１〜４のいずれか一項に記載の電子機器。
6. 前記判別部は、前記服装の襟部に基づいて、前記服装の重ねを検出することを特徴とする請求項５に記載の電子機器。
7. 前記判別部は、前記ユーザの肌の検出結果に基づいて、前記服装の重ねを検出することを特徴とする請求項５又は６に記載の電子機器。
8. 前記判別部は、前記画像データの服装部分を拡大したときのパターンの違いに基づいて、前記服装の重ねを検出することを特徴とする請求項５〜７のいずれか一項に記載の電子機器。
9. 前記撮像部は、第１カメラと、該第１カメラから所定距離離れた位置に設けられた第２カメラとを備えていることを特徴とする請求項２に記載の電子機器。
10. 前記第１カメラと前記第２カメラとは異なる面に設けられていることを特徴とする請求項９記載の電子機器。
11. 服装に関するデータを記憶するメモリを備えたことを特徴とする請求項１〜１０のいずれか一項に記載の電子機器。
12. 前記メモリは、前記服装の組合せの頻度を記録することを特徴とする請求項１１に記載の電子機器。
13. 前記メモリに記録されている、所定期間内における前記服装の組み合わせの頻度を表示する表示部を備えたことを特徴とする請求項１２に記載の電子機器。
14. 前記判別部は、前記画像データに基づいて、ユーザの髪型及びユーザが身に着けている装飾品の少なくとも一方を判別することを特徴とする請求項１〜１３のいずれか一項に記載の電子機器。

Images