JP2013207406A - Electronic device - Google Patents

Electronic device Download PDF

Info

Publication number
JP2013207406A
JP2013207406A JP2012072215A JP2012072215A JP2013207406A JP 2013207406 A JP2013207406 A JP 2013207406A JP 2012072215 A JP2012072215 A JP 2012072215A JP 2012072215 A JP2012072215 A JP 2012072215A JP 2013207406 A JP2013207406 A JP 2013207406A
Authority
JP
Japan
Prior art keywords
user
camera
clothes
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012072215A
Other languages
Japanese (ja)
Inventor
Hiromi Tomii
宏美 冨井
Sayako Yamamoto
彩恭子 山本
Mitsuko Matsumura
光子 松村
Saeko Samejima
冴映子 鮫島
Yae Nakamura
弥恵 中村
Masaichi Sekiguchi
政一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012072215A priority Critical patent/JP2013207406A/en
Priority to US14/389,049 priority patent/US20150084984A1/en
Priority to PCT/JP2012/075928 priority patent/WO2013145387A1/en
Priority to IN7947DEN2014 priority patent/IN2014DN07947A/en
Priority to CN201280071880.0A priority patent/CN104247393A/en
Publication of JP2013207406A publication Critical patent/JP2013207406A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a user-friendly electronic device.SOLUTION: An electronic device comprises: a first camera (31) provided on a main body; a second camera (32 or 33) provided on the main body at a position different from that of the first camera; a first posture detection sensor (23) for detecting the posture of the main body; and a controller (60) for carrying out imaging by the first and second cameras in accordance with the detection result of the first posture detection sensor.

Description

本発明は、電子機器に関する。   The present invention relates to an electronic device.

従来より、人生の行いを記録に残すライフログシステムが提案されている。ライフログシステムにおいては、ユーザの動きや状態を利用して、行動の候補を提示するシステムが提案されている(例えば、特許文献1参照)。   Conventionally, a life log system has been proposed in which the actions of life are recorded. In the life log system, a system for presenting action candidates using a user's movement and state has been proposed (see, for example, Patent Document 1).

特開2010-146221号公報JP 2010-146221 A

しかしながら、従来のライフログシステムではユーザの入力作業の煩雑さの軽減が十分に図られておらず、使い勝手がよいものではなかった。   However, the conventional life log system does not sufficiently reduce the complexity of the user's input work, and is not easy to use.

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide an electronic device that is easy to use.

本発明の電子機器は、本体部(11)に設けられた第1カメラ(31)と、前記本体部の前記第1カメラとは異なる位置に設けられた第2カメラ(32又は33)と、前記本体部の姿勢を検出する第1姿勢検出センサ(23)と、前記第1姿勢検出センサの検出結果に応じて、前記第1、第2カメラによる撮像を行う制御部(60)と、を備えている。   The electronic device of the present invention includes a first camera (31) provided in the main body (11), a second camera (32 or 33) provided in a position different from the first camera of the main body, A first attitude detection sensor (23) for detecting the attitude of the main body, and a controller (60) for performing imaging by the first and second cameras according to the detection result of the first attitude detection sensor. I have.

この場合において、前記制御部は、前記第1姿勢検出センサの検出結果に応じて、前記第1、第2カメラの少なくとも一方による撮像を禁止することとすることができる。また、前記第1カメラは前記本体部の第1の面に設けられ、前記第2カメラ(33)は前記第1の面とは異なる第2の面に設けられていることとすることができる。また、前記本体部の前記第1の面には、操作部(14)と表示部(12)との少なくとも一方が設けられていることとすることができる。   In this case, the control unit can prohibit imaging by at least one of the first and second cameras according to a detection result of the first attitude detection sensor. The first camera may be provided on a first surface of the main body, and the second camera (33) may be provided on a second surface different from the first surface. . Further, at least one of the operation unit (14) and the display unit (12) may be provided on the first surface of the main body unit.

また、本発明では、前記本体部を携帯しているユーザの姿勢を検出する第2姿勢検出センサ(25)を備えていてもよい。この場合、前記制御部は、前記第2姿勢検出センサの検出結果に応じて、前記第2カメラの撮像条件と、前記第2カメラの撮像後の処理との少なくとも一方を変更することとしてもよい。   Moreover, in this invention, you may provide the 2nd attitude | position detection sensor (25) which detects the attitude | position of the user who is carrying the said main-body part. In this case, the control unit may change at least one of the imaging condition of the second camera and the processing after imaging of the second camera according to the detection result of the second attitude detection sensor. .

また、本発明では、前記本体部を保持しているユーザとの距離を検出する距離センサを備えていてもよい。また、前記制御部は、前記本体部をユーザが保持しているときに、前記第1、第2カメラの少なくとも一方による撮像を行うこととすることができる。また、前記本体部には、生体情報を取得する生体センサが設けられていてもよい。   Moreover, in this invention, you may provide the distance sensor which detects the distance with the user holding the said main-body part. In addition, the control unit can perform imaging with at least one of the first and second cameras when the user holds the main body. Moreover, the main body part may be provided with a biosensor for acquiring biometric information.

また、本発明の電子機器は、前記第1カメラが撮像した画像と、前記第2カメラが撮像した画像とを合成する合成部(42)を備えていてもよい。また、本発明の電子機器は、前記第1の面の前記第1カメラとは異なる位置に設けられた第3カメラ(32)を備えていてもよい。また、本発明の電子機器は、身なりに関するデータを記憶するメモリ(50)を備えていてもよい。この場合、前記メモリに記憶されているデータと、前記第1、第2カメラが撮像した画像データとを比較する比較部(60)を備えていてもよい。また、本発明の電子機器は、外部機器(100)から身なりに関するデータを取得する取得部(18)を備えていてもよい。   Moreover, the electronic device of the present invention may include a combining unit (42) that combines an image captured by the first camera and an image captured by the second camera. Moreover, the electronic device of the present invention may include a third camera (32) provided at a position different from the first camera on the first surface. Moreover, the electronic device of this invention may be provided with the memory (50) which memorize | stores the data regarding dressing. In this case, a comparison unit (60) that compares data stored in the memory with image data captured by the first and second cameras may be provided. Moreover, the electronic device of this invention may be provided with the acquisition part (18) which acquires the data regarding dressing from the external device (100).

また、本発明の電子機器は、ユーザの動きを検出する動き検出センサ(25)と、本体部(11)の姿勢を検出する姿勢検出センサ(23)と、前記本体部に設けられ、処理を行なう処理部(30)と、前記動き検出センサと前記姿勢検出センサとの検出結果に基づいて、前記処理部による処理を制御する制御部(60)と、を備えている。   In addition, the electronic device of the present invention is provided in a motion detection sensor (25) for detecting the motion of the user, a posture detection sensor (23) for detecting the posture of the main body (11), and the main body, and performs processing. And a control unit (60) for controlling processing by the processing unit based on detection results of the motion detection sensor and the posture detection sensor.

この場合において、前記制御部は、前記動きセンサの出力が所定の値よりも小さくなったときに、前記処理部による処理を行うこととしてもよい。また、前記処理部は、撮像を行う撮像部であることとしてもよい。   In this case, the control unit may perform processing by the processing unit when the output of the motion sensor becomes smaller than a predetermined value. The processing unit may be an imaging unit that performs imaging.

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。   In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing one embodiment. However, the present invention is not limited to this, and the configuration of an embodiment described later is provided. May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.

本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。   The present invention has an effect of providing an electronic device that is easy to use.

一実施形態に係る情報処理システムの構成を示す図である。It is a figure showing composition of an information processing system concerning one embodiment. 図2(a)は、携帯端末を表側(−Y側)から見た状態を示す図であり、図2(b)は、携帯端末を裏側(+Y側)から見た状態を示す図である。2A is a diagram illustrating a state in which the mobile terminal is viewed from the front side (−Y side), and FIG. 2B is a diagram illustrating a state in which the mobile terminal is viewed from the back side (+ Y side). . 携帯端末と外部機器のブロック図である。It is a block diagram of a portable terminal and an external device. 図4(a)は、撮像部30とユーザとの距離を示す図であり、図4(b)は、第1カメラの焦点距離について説明するための図であり、図4(c)は、第2カメラの焦点距離について説明するための図である。4A is a diagram illustrating the distance between the imaging unit 30 and the user, FIG. 4B is a diagram for explaining the focal length of the first camera, and FIG. It is a figure for demonstrating the focal distance of a 2nd camera. 図5(a)〜図5(f)は、ユーザの服装の例を示す図である。Fig.5 (a)-FIG.5 (f) are figures which show the example of a user's clothing. ユーザの身なりを検出する処理のフローチャートである。It is a flowchart of the process which detects a user's dressing. ユーザに身なりを報知するための処理を示すフローチャートである。It is a flowchart which shows the process for alert | reporting a dressing to a user. 新しい服装とのコーディネート提案処理を示すフローチャートである。It is a flowchart which shows the coordination proposal process with new clothes. 服装DBを示す図である。It is a figure which shows clothes DB. 身なりログを示す図である。It is a figure which shows a dress log.

以下、一実施形態について、図1〜図10に基づいて、詳細に説明する。図1には、一実施形態にかかる情報処理システム200の構成がブロック図にて示されている。   Hereinafter, an embodiment will be described in detail with reference to FIGS. FIG. 1 is a block diagram showing the configuration of an information processing system 200 according to an embodiment.

情報処理システム200は、図1に示すように、携帯端末10と、外部機器100と、を備える。これら携帯端末10及び外部機器100は、インターネットなどのネットワーク80に接続されている。   As illustrated in FIG. 1, the information processing system 200 includes a mobile terminal 10 and an external device 100. The mobile terminal 10 and the external device 100 are connected to a network 80 such as the Internet.

携帯端末10は、ユーザにより携帯された状態で利用される情報機器である。携帯端末10としては、携帯電話、スマートフォン、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)等を採用することができるが、本実施形態では、携帯端末10は、スマートフォンであるものとする。携帯端末10は、電話機能やインターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。   The mobile terminal 10 is an information device that is used while being carried by a user. As the mobile terminal 10, a mobile phone, a smart phone, a PHS (Personal Handy-phone System), a PDA (Personal Digital Assistant), or the like can be used. In the present embodiment, the mobile terminal 10 is a smartphone. To do. The mobile terminal 10 has a telephone function, a communication function for connecting to the Internet, etc., a data processing function for executing a program, and the like.

図2(a)は、携帯端末10を表側(−Y側)から見た状態を示す図であり、図2(b)は、携帯端末10を裏側(+Y側)から見た状態を示す図である。これらの図に示すように、携帯端末10は、一例として、長方形の主面(−Y面)を有する薄板状の形状を有しており、片手の手のひらで把持することができる程度の大きさを有している。   2A is a diagram illustrating a state in which the mobile terminal 10 is viewed from the front side (−Y side), and FIG. 2B is a diagram illustrating a state in which the mobile terminal 10 is viewed from the back side (+ Y side). It is. As shown in these drawings, as an example, the mobile terminal 10 has a thin plate shape having a rectangular main surface (−Y surface), and is large enough to be held by the palm of one hand. have.

図3には、携帯端末10と外部機器100のブロック図が示されている。この図3に示すように、携帯端末10は、ディスプレイ12と、タッチパネル14と、カレンダ部16と、通信部18と、センサ部20と、撮像部30と、画像分析部40と、フラッシュメモリ50と、制御部60と、を有する。   FIG. 3 shows a block diagram of the mobile terminal 10 and the external device 100. As shown in FIG. 3, the mobile terminal 10 includes a display 12, a touch panel 14, a calendar unit 16, a communication unit 18, a sensor unit 20, an imaging unit 30, an image analysis unit 40, and a flash memory 50. And a control unit 60.

ディスプレイ12は、図2(a)に示すように、携帯端末10の本体部11の主面(−Y面)側に設けられている。ディスプレイ12は、例えば、本体部11の主面の大半の領域(例えば90%)を占める大きさを有する。ディスプレイ12は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ12は、一例として、例えば液晶表示素子を用いたデバイスであるものとする。   As shown in FIG. 2A, the display 12 is provided on the main surface (−Y surface) side of the main body 11 of the mobile terminal 10. The display 12 has a size that occupies most of the area (for example, 90%) of the main surface of the main body 11. The display 12 displays images, various information, and operation input images such as buttons. As an example, the display 12 is a device using a liquid crystal display element.

タッチパネル14は、ユーザが触れたことに応じた情報を制御部60に対して入力することが可能なインタフェースである。タッチパネル14は、図2(a)に示すように、ディスプレイ12表面またはディスプレイ12内に組み込まれているため、ユーザは、ディスプレイ12の表面をタッチすることにより、種々の情報を直感的に入力することができる。   The touch panel 14 is an interface through which information corresponding to the touch by the user can be input to the control unit 60. As shown in FIG. 2A, the touch panel 14 is incorporated in the surface of the display 12 or in the display 12, so that the user intuitively inputs various information by touching the surface of the display 12. be able to.

カレンダ部16は、年、月、日、時刻といった時間情報を取得して、制御部60に対して出力する。なお、カレンダ部16は、更に計時機能を有しているものとする。   The calendar unit 16 acquires time information such as year, month, date, and time and outputs the time information to the control unit 60. Note that the calendar unit 16 further has a timekeeping function.

通信部18は、ネットワーク80上の外部機器100と通信する。通信部18は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Bluetooth(登録商標)による通信を実現するBluetooth(登録商標)ユニット、及び、FeliCa(登録商標)チップ等を有し、外部機器100や他の携帯端末などと通信する。   The communication unit 18 communicates with the external device 100 on the network 80. As an example, the communication unit 18 includes a wireless communication unit that accesses a wide area network such as the Internet, a Bluetooth (registered trademark) unit that realizes communication using Bluetooth (registered trademark), a FeliCa (registered trademark) chip, and the like. It communicates with the external device 100 and other portable terminals.

センサ部20は、各種センサを有している。本実施形態においては、センサ部20は、GPS(Global Positioning System)モジュール21、生体センサ22、姿勢センサ23、温湿度計24、加速度センサ25を有しているものとする。   The sensor unit 20 has various sensors. In the present embodiment, the sensor unit 20 includes a GPS (Global Positioning System) module 21, a biological sensor 22, a posture sensor 23, a thermohygrometer 24, and an acceleration sensor 25.

GPSモジュール21は、携帯端末10の位置(例えば緯度や経度)を検出するセンサである。   The GPS module 21 is a sensor that detects the position (for example, latitude and longitude) of the mobile terminal 10.

生体センサ22は、図2(a)、図2(b)に示すように、一例として、携帯端末10の本体部11の裏面の2箇所に設けられ、携帯端末10を保持するユーザの状態を取得するセンサである。生体センサ22は、一例として、ユーザの体温、血圧、脈拍および発汗量等を取得する。このような生体センサ22としては、一例として、特開2001−276012号公報(米国特許6,526,315号)に開示されているような、発光ダイオードからユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出するセンサや、特開2007−215749号公報(米国公開2007−191718号)に開示されているような腕時計型の生体センサを採用することができる。なお、生体センサ22は、本体部11の表面側、又は長辺側の側部に設けられてもよい。   As shown in FIG. 2A and FIG. 2B, the biosensor 22 is provided at two places on the back surface of the main body 11 of the mobile terminal 10 as an example, and indicates the state of the user holding the mobile terminal 10. It is a sensor to acquire. As an example, the biosensor 22 acquires a user's body temperature, blood pressure, pulse, sweat rate, and the like. As an example of such a biosensor 22, light is emitted from a light emitting diode toward a user as disclosed in Japanese Patent Laid-Open No. 2001-276012 (US Pat. No. 6,526,315). A sensor that detects a pulse by receiving light reflected from a user according to light, or a wristwatch-type biosensor disclosed in Japanese Patent Application Laid-Open No. 2007-215749 (US Publication No. 2007-191718). Can be adopted. The biosensor 22 may be provided on the front side of the main body 11 or on the long side.

また、生体センサ22としては、ユーザが携帯端末10を保持している力に関する情報(例えば握力)を取得するセンサ(圧力センサ)を有しているものとする。このような圧力センサは、ユーザが携帯端末10を保持したことや、携帯端末10を保持する力の大きさを検出することができる。なお、後述する制御部60は、圧力センサによりユーザが携帯端末10を保持したことを検出した段階で、他の生体センサによる情報の取得を開始するようにしてもよい。また、制御部60は、電源がオンとなっている状態において、圧力センサによりユーザが携帯端末10を保持したことを検出した段階で、その他の機能をオンにする(あるいはスリープ状態から復帰する)ような制御を行うこととしてもよい。   Moreover, as the biosensor 22, it is assumed that the user has a sensor (pressure sensor) that acquires information (for example, gripping force) related to the force holding the mobile terminal 10. Such a pressure sensor can detect that the user holds the mobile terminal 10 and the magnitude of the force that holds the mobile terminal 10. In addition, the control part 60 mentioned later may start acquisition of the information by another biological sensor in the stage which detected that the user hold | maintained the portable terminal 10 with the pressure sensor. In addition, the control unit 60 turns on other functions (or returns from the sleep state) when the pressure sensor detects that the user holds the mobile terminal 10 while the power is on. Such control may be performed.

姿勢センサ23は、携帯端末10の内部に設けられ、携帯端末10の姿勢を検出することにより、後述する第1カメラ31、第2カメラ32、第3カメラ33の姿勢を検出するものである。姿勢センサ23としては、フォトインタラプタの赤外光を、重力によって移動する小球が遮断するか否かにより一軸方向の姿勢を検出するセンサを複数組み合わせた構成を採用することができる。ただし、これに限らず、姿勢センサ23としては、3軸加速度センサやジャイロセンサなどを採用することとしてもよい。   The attitude sensor 23 is provided inside the mobile terminal 10 and detects the attitudes of a first camera 31, a second camera 32, and a third camera 33 described later by detecting the attitude of the mobile terminal 10. As the attitude sensor 23, a configuration in which a plurality of sensors that detect the attitude in the uniaxial direction depending on whether or not the small sphere moving by gravity blocks the infrared light of the photo interrupter can be adopted. However, the present invention is not limited to this, and the orientation sensor 23 may be a triaxial acceleration sensor, a gyro sensor, or the like.

温湿度計24は、携帯端末10の周囲の温度を検出する環境センサである。なお、温湿度計24に代えて、温度計及び湿度計が携帯端末10に別々に設けられてもよい。なお、温湿度計24は、生体センサ22によるユーザの体温を検出する機能と兼用される構成であってもよい。   The thermohygrometer 24 is an environmental sensor that detects the ambient temperature of the mobile terminal 10. Note that a thermometer and a hygrometer may be separately provided in the mobile terminal 10 instead of the thermohygrometer 24. Note that the thermohygrometer 24 may be configured to also serve as a function of detecting the body temperature of the user by the biosensor 22.

加速度センサ25は、圧電素子や歪ゲージなどを用いることができる。加速度センサ25は、本実施形態ではユーザが立っているか座っているかを検出する。なお、加速度センサ25による加速度の検出軸は、図2(a)のZ軸方向となっている。なお、図2(a)のX軸、Y軸を検出軸とする加速度センサを設けてもよく、この場合には、加速度センサによりユーザの移動方向を検出するなどすることができる。なお、加速度センサを用いてユーザが立っているか、座っているか、歩いているか、走っているかを検出する方法については、例えば日本特許第3513632号(特開平8−131425号公報)に開示されている。また、加速度センサ25に代えて、もしくは加速度センサ25と併用して角速度を検出するジャイロセンサを用いてもよい。   As the acceleration sensor 25, a piezoelectric element, a strain gauge, or the like can be used. In the present embodiment, the acceleration sensor 25 detects whether the user is standing or sitting. The acceleration detection axis by the acceleration sensor 25 is in the Z-axis direction in FIG. Note that an acceleration sensor having the X axis and Y axis in FIG. 2A as detection axes may be provided. In this case, the user's moving direction can be detected by the acceleration sensor. A method for detecting whether a user is standing, sitting, walking, or running using an acceleration sensor is disclosed in, for example, Japanese Patent No. 3513632 (Japanese Patent Laid-Open No. Hei 8-131425). Yes. Further, a gyro sensor that detects angular velocity in place of the acceleration sensor 25 or in combination with the acceleration sensor 25 may be used.

撮像部30は、図2(a)、図2(b)に示すように、本体部11の主面(−Y側の面)のディスプレイ12よりも上方(+Z方向)に設けられた第1カメラ31と、ディスプレイ12の下方(−Z方向)に設けられた第2カメラ32と、本体部11の主面の反対側の面(+Y側の面)であって、第1カメラ31よりも下方(−Z方向)に設けられた第3カメラ33と、を有している。撮像部30は、ユーザが携帯端末10を保持した際(使用しているとき)のユーザの状況(例えば身なり)を撮像し、当該ユーザの状況のログをユーザに特別な操作を強いることなく取得する。   As shown in FIGS. 2A and 2B, the imaging unit 30 is a first provided above the display 12 on the main surface (surface on the −Y side) of the main body 11 (+ Z direction). A camera 31, a second camera 32 provided below the display 12 (−Z direction), and a surface (+ Y side surface) opposite to the main surface of the main body 11, which is more than the first camera 31. And a third camera 33 provided below (−Z direction). The imaging unit 30 captures an image of a user's situation (for example, dressed) when the user holds (uses) the mobile terminal 10, and acquires a log of the user's situation without forcing the user to perform a special operation. To do.

第1カメラ31は、携帯端末10を操作しているユーザの顔や、帽子、ネクタイ、アクセサリー、髪型、服装などの身の周りを撮像するカメラである。   The first camera 31 is a camera that captures images of the face of the user who is operating the mobile terminal 10 and the surroundings of a hat, tie, accessories, hairstyle, clothes, and the like.

第2カメラは、携帯端末10を操作しているユーザの上半身を撮像するものであり、携帯端末10の姿勢によってはユーザの下半身の撮像もできるものとする。   The second camera captures the upper body of the user who is operating the mobile terminal 10, and depending on the orientation of the mobile terminal 10, the lower body of the user can also be captured.

第3カメラ33は、ユーザの下半身の服装や足元を撮像するカメラである。第3カメラ33は、ユーザの下半身の服装や足元を撮像するため、及びユーザの手によって覆われないようにするために、ディスプレイ12の反対面の下方(−Z側の端部近傍)に設けられている。   The third camera 33 is a camera that captures clothes and feet of the user's lower body. The third camera 33 is provided below the opposite surface of the display 12 (in the vicinity of the end on the −Z side) in order to capture the clothes and feet of the user's lower body and not to be covered by the user's hand. It has been.

撮像部30が有する各カメラ31〜33は、撮影レンズや撮像素子(CCDおよびCMOSデバイス)を有するという基本構成は同一であるが、撮影レンズの焦点距離は異なっている。なお、撮影レンズとしては、液体レンズを用いても構わない。また、撮像部30を構成するそれぞれのカメラの撮像素子は、一例として、RGB3原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。以下、各カメラ31〜33の焦点距離について説明する。   The cameras 31 to 33 included in the imaging unit 30 have the same basic configuration of having a photographic lens and an imaging element (CCD and CMOS device), but the focal length of the photographic lens is different. A liquid lens may be used as the photographing lens. Further, as an example, the image sensor of each camera constituting the imaging unit 30 includes a color filter in which RGB three primary colors are arranged in a Bayer array, and outputs a color signal corresponding to each color. Hereinafter, the focal lengths of the cameras 31 to 33 will be described.

図4(a)は、撮像部30とユーザとの距離を示す図である。図4(a)に示すように、ユーザが携帯端末10を把持した状態では、第1カメラ31からユーザの顔周辺までの距離がおよそ300mmとなる。この第1カメラ31が、肩幅程度(500mm程度)を撮像する必要があるとすると、第1カメラ31の短辺方向半画角は、図4(b)に示すθ1≒39.8°となる(tanθ1=250/300のため)。このため、本実施形態においては、第1カメラ31の焦点距離は、35mm版カメラに換算して14mm相当となっている。   FIG. 4A is a diagram illustrating the distance between the imaging unit 30 and the user. As shown in FIG. 4A, when the user holds the mobile terminal 10, the distance from the first camera 31 to the periphery of the user's face is approximately 300 mm. If it is necessary for the first camera 31 to take an image of the shoulder width (about 500 mm), the short side direction half angle of view of the first camera 31 is θ1≈39.8 ° shown in FIG. (Because tan θ1 = 250/300). Therefore, in the present embodiment, the focal length of the first camera 31 is equivalent to 14 mm in terms of a 35 mm version camera.

これに対し、第2カメラ32からユーザの上半身(胸元)までの距離はおよそ250mmとなる。この第2カメラ32が、肩幅程度(500mm程度)を撮像する必要があるとすると、第2カメラ32の短辺方向の半画角は、図4(b)に示すθ2=45°となる(tanθ2=250/250のため)。このため、本実施形態においては、第2カメラ32の焦点距離は、35mm版カメラに換算して12mm相当となっている。すなわち、第2カメラ32の画角は、第1カメラ31の画角よりも広くなっている。   On the other hand, the distance from the second camera 32 to the user's upper body (chest) is approximately 250 mm. If it is necessary for the second camera 32 to capture an image of about the shoulder width (about 500 mm), the half angle of view of the second camera 32 in the short side direction is θ2 = 45 ° shown in FIG. tan θ2 = 250/250). For this reason, in the present embodiment, the focal length of the second camera 32 is equivalent to 12 mm in terms of a 35 mm version camera. That is, the angle of view of the second camera 32 is wider than the angle of view of the first camera 31.

なお、第3カメラ33は、第1カメラ31と同一の半画角と焦点距離の光学系を備えているものとする。なお、第3カメラ33はユーザが立っている場合にユーザの足元を撮像する場合がある。この場合、短辺方向の半画角が39.8°程度であるとユーザ以外の足元を撮像してしまう場合がある。このような場合には、後述する制御部60は、第3カメラ33の姿勢(姿勢センサ23により検出される携帯端末10の姿勢)に基づいて、ユーザが存在すると思われる範囲の画像のみを残すようにトリミングするようにしてもよい。あるいは、制御部60は、加速度センサ25の出力に基づいてユーザが立っていると判断できるような場合には、第3カメラ33に予め設けておいたズーム光学系を望遠方向に移動して、ユーザの足元を撮像するようにしてもよい。また、制御部60は、ユーザが立っている場合には、第3カメラ33による撮像を行わない(禁止する)ようにしてもよい。   It is assumed that the third camera 33 includes the same half field angle and focal length optical system as the first camera 31. Note that the third camera 33 may image the user's feet when the user is standing. In this case, if the half angle of view in the short side direction is about 39.8 °, a foot other than the user may be captured. In such a case, the control unit 60 to be described later leaves only an image in a range where the user is supposed to exist based on the attitude of the third camera 33 (the attitude of the mobile terminal 10 detected by the attitude sensor 23). You may make it trim in this way. Alternatively, when the control unit 60 can determine that the user is standing based on the output of the acceleration sensor 25, the control unit 60 moves the zoom optical system provided in advance in the third camera 33 in the telephoto direction, You may make it image a user's step. Further, the control unit 60 may not perform (inhibit) imaging by the third camera 33 when the user is standing.

なお、第1カメラ31、第2カメラ32、第3カメラ33を上下または左右に可動できるような構成として、より広い範囲でユーザ及びユーザの身なりを撮像できるようにしてもよい。   The first camera 31, the second camera 32, and the third camera 33 may be configured to be movable up and down or left and right so that the user and the user's appearance can be captured in a wider range.

なお、撮像部30は、ユーザが携帯端末10を操作している間に撮像するため、手振れの影響を受けたり、乗り物などの振動の影響を受けたりする可能性がある。このような場合には、撮像部30は、複数枚の静止画を撮像し、これら複数枚の静止画を合成することで手振れや振動の影響を排除するような処理を行うようにすればよい。なお、この場合の画像は、鑑賞用ではなくユーザの服装などの身なりが判定できる程度のものでよいので、市販のソフトウェアなどを利用して簡易的に手振れや振動の影響を排除するようにすればよい。   In addition, since the imaging unit 30 captures an image while the user is operating the mobile terminal 10, there is a possibility that the imaging unit 30 may be affected by camera shake or vibration of a vehicle or the like. In such a case, the image capturing unit 30 may capture a plurality of still images and synthesize these plurality of still images to perform a process that eliminates the effects of camera shake and vibration. . Note that the image in this case is not for appreciation but can be used to determine the appearance of the user's clothes, etc., so that the effects of camera shake and vibration can be easily eliminated using commercially available software. That's fine.

画像分析部40は、撮像部30が撮像した画像や、外部機器100に保存されている画像の分析を行うものであり、本実施形態では、顔認識部41、服装検出部42及びリサイズ部43を有する。   The image analysis unit 40 analyzes an image captured by the imaging unit 30 and an image stored in the external device 100. In the present embodiment, the face recognition unit 41, the clothing detection unit 42, and the resizing unit 43 are analyzed. Have

顔認識部41は、第1カメラ31が撮像した画像に、顔が含まれているか否かを検出する。さらに、顔認識部41は、画像の中から顔を検出した場合には、検出した顔の部分の画像データと、フラッシュメモリ50に記憶されているユーザの顔の画像データとを比較(例えばパターンマッチング)して、第1カメラ31が撮像した人を認識する。   The face recognition unit 41 detects whether or not a face is included in the image captured by the first camera 31. Further, when the face recognition unit 41 detects a face from the image, the face recognition unit 41 compares the detected face image data with the user face image data stored in the flash memory 50 (for example, a pattern). Matching) to recognize the person imaged by the first camera 31.

服装検出部42は、第1カメラ31、第2カメラ32、第3カメラ33により撮像されたユーザの身なり(服装、鞄、靴など)が、どのようなものであるかを検出するものである。   The clothes detection unit 42 detects what the user's appearance (clothes, bags, shoes, etc.) captured by the first camera 31, the second camera 32, and the third camera 33 is. .

ここで、前述した顔認識部41によって、第1カメラ31が撮像した画像に顔が含まれていると判断された場合、当該顔の下方部分に服装の画像がある可能性が高い。したがって、服装検出部42は、顔認識部41により認識された顔の下方部分の予め定められた範囲の画像を抽出し、当該抽出された画像とフラッシュメモリ50に記憶されている服装DB(図9参照)に格納されている画像データとをパターンマッチングすることにより、ユーザの服装を検出する。なお、服装検出部42は、第2カメラ32が撮像した画像と、フラッシュメモリ50に記憶されている服装DB(図9)の画像データとをパターンマッチングすることによっても、ユーザの服装を検出することができる。なお、上述のパターンマッチングは、撮像部30で撮像された画像全体から服装DBの画像のパターンマッチングを行う部分領域を複数抽出し、抽出された各部分領域に対して服装DBの対象画像(後述するアウター、インナー、スーツなど)を選択してパターンマッチングを行うようにしてもよい。この場合、画像全体から部分領域を抽出するためのテンプレート画像を服装DBに記憶させておき、まず、画像全体とテンプレート画像とのパターンマッチングを行うようにしてもよい。また、各部分領域に対応する撮像素子のRGB出力(色情報)に基づいて、服装検出部42は、各部分領域の代表色を検出するようにしてもよい。   Here, when the face recognition unit 41 described above determines that a face is included in the image captured by the first camera 31, there is a high possibility that there is a clothing image in the lower part of the face. Therefore, the clothing detection unit 42 extracts an image of a predetermined range of the lower part of the face recognized by the face recognition unit 41, and the extracted image and the clothing DB (FIG. 5) stored in the flash memory 50. The user's clothes are detected by pattern matching with the image data stored in (see 9). The clothing detection unit 42 also detects the user's clothing by pattern matching the image captured by the second camera 32 and the image data of the clothing DB (FIG. 9) stored in the flash memory 50. be able to. In the pattern matching described above, a plurality of partial areas for pattern matching of clothing DB images are extracted from the entire image captured by the imaging unit 30, and a target image (described later) of the clothing DB is extracted for each extracted partial area. Pattern matching may be performed by selecting an outer, an inner, a suit, or the like to be performed). In this case, a template image for extracting a partial region from the entire image may be stored in the clothing DB, and first, pattern matching between the entire image and the template image may be performed. Further, based on the RGB output (color information) of the image sensor corresponding to each partial area, the clothing detection unit 42 may detect the representative color of each partial area.

なお、服装DBは、各カメラ31〜33によって撮像された画像から抽出される、ユーザが過去に着用していた服装データを、服装ID(一意に割り当てられる識別子)と服装の種別とともに格納するものとする。なお、服装の種別の欄には、アウター、インナーのほか、スーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート等が入力される。また、服装データの画像として、それぞれの服装の特徴的な形状(例えば、襟部分の形状、半袖、長袖)の画像を格納することとしてもよい。なお、ユーザが通信部18を用いて商品を購入した場合(インターネットショッピングなどで購入した場合)には、制御部60は、通信部18を介して服装データを入手し、服装DBに記憶するようにしてもよい。また、制御部60は、外部機器100が保有する画像から、服装データを入手し、服装DBに記憶するようにしてもよい。   The clothing DB stores clothing data that the user has worn in the past, extracted from images captured by the cameras 31 to 33, together with a clothing ID (uniquely assigned identifier) and a clothing type. And In addition to the outer and inner, suits, jackets, Japanese clothes, ties, pocket chiefs, coats, etc. are entered in the clothing type column. Moreover, it is good also as storing the image of the characteristic shape (for example, the shape of a collar part, a short sleeve, a long sleeve) of each clothing as an image of clothing data. In addition, when a user purchases a product using the communication unit 18 (when purchasing through Internet shopping or the like), the control unit 60 obtains clothing data via the communication unit 18 and stores it in the clothing DB. It may be. Further, the control unit 60 may obtain clothes data from an image held by the external device 100 and store the clothes data in the clothes DB.

なお、服装検出部42は、第1カメラ31及び第2カメラ32が撮像したユーザの上半身の服装と、第3カメラ33が撮像したユーザの下半身の服装とを比較することにより、ユーザの服装がスーツ(上着とズボンとが同じ生地で仕立てられている)か、ジャケットかを判断するようにしてもよい。   The clothes detection unit 42 compares the clothes of the upper body of the user captured by the first camera 31 and the second camera 32 with the clothes of the lower body of the user captured by the third camera 33, so that the clothes of the user can be determined. You may make it judge whether it is a suit (a jacket and trousers are tailored with the same cloth), or a jacket.

また、服装検出部42は以下に説明する2つの機能((1)画像合成機能、及び(2)重ね着判定機能)を有していてもよい。なお、各機能は、いずれもソフトウエアにより達成される。   In addition, the clothing detection unit 42 may have two functions ((1) an image composition function and (2) a layering determination function) described below. Each function is achieved by software.

(1)画像合成機能
服装検出部42は、第1カメラ31が撮像した画像と、第2カメラ32が撮像した画像とを合成して1つの画像とする。この場合、服装検出部42は、一例として、第1カメラ31が撮像した画像と、第2カメラ32が撮像した画像との重複部分を検出し、重複部分に基づいて画像を合成する。なお、服装検出部42は、フラッシュメモリ50に記憶されている服装データをリファレンスとして、第1カメラ31が撮像した画像と、第2カメラ32が撮像した画像とを合成してもよい。このように、画像合成が行われた場合には、服装検出部42は、合成された画像に基づいて、ユーザの服装を検出するようにすればよい。
(1) Image Composition Function The clothing detection unit 42 composes an image captured by the first camera 31 and an image captured by the second camera 32 into one image. In this case, as an example, the clothing detection unit 42 detects an overlapping portion between the image captured by the first camera 31 and the image captured by the second camera 32, and combines the images based on the overlapping portion. The clothing detection unit 42 may combine the image captured by the first camera 31 and the image captured by the second camera 32 using the clothing data stored in the flash memory 50 as a reference. As described above, when image composition is performed, the clothes detection unit 42 may detect the user's clothes based on the combined image.

(2)重ね着判定機能
服装検出部42は、ユーザが着ているYシャツ、Tシャツなどのインナーと、インナーの外側に着ているジャケット、トレーナ、ブルゾンなどのアウターとを検出(識別)することで、重ね着しているか否かを判定する。
(2) Layering determination function The clothing detection unit 42 detects (identifies) an inner such as a Y-shirt or T-shirt worn by a user and an outer such as a jacket, a trainer, or a blouson worn outside the inner. Thus, it is determined whether or not they are layered.

図5(a)〜図5(f)は、ユーザの服装の例を示す図であり、図5(a)〜図5(d)は、男性の服装の例を示し、図5(e)、図5(f)は、女性の服装の例を示している。以下、これらの図に基づいて、重ね着判定の具体例について説明する。   5 (a) to 5 (f) are diagrams showing examples of user's clothes, and FIGS. 5 (a) to 5 (d) show examples of male clothes. FIG. 5F shows an example of female clothes. Hereinafter, a specific example of the layering determination will be described based on these drawings.

図5(a)は、ユーザがYシャツ、ネクタイ、スーツを着ている例を示し、図5(b)は、ユーザがYシャツ、スーツを着ている例を示している。また、図5(c)は、ユーザがYシャツを着ているが、ジャケットを着ていない例を示し、図5(d)は、ユーザがポロシャツを着ている例を示している。また、図5(e)は、ユーザが丸首のシャツにジャケットを着ている例を示し、図5(f)はユーザがワンピースの上にジャケットを着ている例を示している。   FIG. 5A shows an example in which the user is wearing a Y-shirt, tie, and suit, and FIG. 5B shows an example in which the user is wearing a Y-shirt and suit. FIG. 5C shows an example where the user wears a Y-shirt but does not wear a jacket, and FIG. 5D shows an example where the user wears a polo shirt. FIG. 5 (e) shows an example in which the user wears a jacket on a round neck shirt, and FIG. 5 (f) shows an example in which the user wears a jacket on a dress.

これらのうち、図5(a)、図5(b)、図5(e)、図5(f)に示すように、ユーザが重ね着をしている場合は、アウターの襟はインナーの襟の外側に位置している。このため、服装検出部42は、複数の襟の画像を検出したときにユーザが重ね着をしていると判定することができる。また、インナーとアウターとでは色や模様、織り柄(画像を拡大したときのパターン)などが異なっていることが多いため、服装検出部42は、色や模様の違い、織り柄の違いなどから重ね着の判定を行ってもよい。また、これとは逆で、服装検出部42は、図5(c)、図5(d)に示すように、撮像部30がユーザの腕(二の腕や、手首を除いた前腕)を撮像した場合や、半袖を撮像した場合にユーザが重ね着をしていないと判定するようにしてもよい。   Among these, as shown in FIGS. 5 (a), 5 (b), 5 (e), and 5 (f), when the user is wearing a layer, the outer collar is the inner collar. It is located outside. For this reason, the clothing detection unit 42 can determine that the user is wearing a layer when detecting images of a plurality of collars. In addition, since the color, pattern, and woven pattern (pattern when the image is enlarged) are often different between the inner and outer, the clothing detection unit 42 is different from the difference in color, pattern, and woven pattern. The determination of layering may be performed. On the contrary, as shown in FIGS. 5C and 5D, the clothing detection unit 42 images the user's arm (the second arm or the forearm excluding the wrist) as shown in FIGS. In some cases, or when a short sleeve is imaged, it may be determined that the user is not wearing a layer.

また、服装検出部42は、第3カメラ33がユーザの下半身(ズボン、スカート)を撮像した場合に、当該下半身が上着の色や模様と同じかどうかを判定し、同じであればユーザがスーツやワンピースを着ていると判定し、異なっていればユーザがジャケットや、シャツを着ていると判定するようにしてもよい。   In addition, when the third camera 33 images the user's lower body (trousers, skirt), the clothing detection unit 42 determines whether the lower body is the same as the color or pattern of the outerwear. It may be determined that the user is wearing a suit or a dress, and if the user is different, it may be determined that the user is wearing a jacket or shirt.

上記のようにして重ね着判定した結果を利用することで、ユーザがインナーとアウターを着ているのか、スーツやワンピースを着ているのかなどを、検出することが可能となる。   By using the result of layering determination as described above, it is possible to detect whether the user is wearing an inner and an outer, a suit or a one-piece.

図3に戻り、リサイズ部43は、第1カメラ31により撮像された画像に基づき、ユーザの体型の変化(太ったか、痩せたか、変わらないか)の有無を検出する。具体的には、リサイズ部43は、ユーザの両目の間隔をリファレンスとして、両目の間隔と、ある大きさに規格化された後の顔の輪郭や肩幅との比を検出する。なお、リサイズ部43は、輪郭や肩幅に関して、短期間に急激な変化が現れた場合には、ユーザに対して警告を行うようにしてもよい。   Returning to FIG. 3, the resizing unit 43 detects the presence / absence of a change in the body shape of the user (whether it is fat, thin, or unchanged) based on the image captured by the first camera 31. Specifically, the resizing unit 43 detects the ratio between the distance between both eyes and the contour and shoulder width of the face after being normalized to a certain size using the distance between both eyes of the user as a reference. Note that the resizing unit 43 may warn the user when a sudden change occurs in a short period regarding the contour or shoulder width.

また、リサイズ部43によりユーザの体型の変化のログを取ることにより、例えば1年前の同季節の服が着られるかどうか、また、服を購入する際に前年に着ていた服を今年も着ることができるかの判定(推定)を行うようにしてもよい。   In addition, by taking a log of the change in the user's figure by the resizing unit 43, for example, whether the same season's clothes from a year ago can be worn, and the clothes that were worn in the previous year when purchasing the clothes You may make it determine (estimate) whether it can wear.

フラッシュメモリ50は、不揮発性の半導体メモリである。フラッシュメモリ50は、制御部60によって実行される携帯端末10を制御するためのプログラム、および、携帯端末10を制御するための各種パラメータや、服装情報(画像データ)等を記憶する。さらに、フラッシュメモリ50は、センサ部20が検出した各種データ、および、服装DB(図9参照)、服装やユーザの顔の輪郭に関するデータのログ(身なりログ(図10参照))を記憶する。   The flash memory 50 is a nonvolatile semiconductor memory. The flash memory 50 stores a program for controlling the mobile terminal 10 executed by the control unit 60, various parameters for controlling the mobile terminal 10, clothing information (image data), and the like. Furthermore, the flash memory 50 stores various data detected by the sensor unit 20, a clothing DB (see FIG. 9), and a log of data related to clothing and the contour of the user's face (dressing log (see FIG. 10)).

制御部60は、CPUを有し、情報処理システム200全体を統括的に制御する。本実施形態においては、制御部60は、ユーザが携帯端末10を操作しているときに撮像部30により撮像された画像から、ユーザの服装の情報を取得したり、当該ユーザの服装の情報に基づいた各種処理(コーディネート提案など)を実行する。   The control unit 60 has a CPU and controls the information processing system 200 as a whole. In the present embodiment, the control unit 60 acquires user's clothes information from an image captured by the image capturing unit 30 when the user is operating the mobile terminal 10, or uses the user's clothes information. Execute various processes (coordinate proposal etc.) based on it.

図1に戻り、外部機器100は、デジタルカメラ(以下、デジカメと呼ぶ)100a、画像サーバ100b、店舗サーバ100cを含む。なお、いずれの外部機器100も、図3に示すように、通信部、制御部、メモリを有しているものとする。   Returning to FIG. 1, the external device 100 includes a digital camera (hereinafter referred to as a digital camera) 100a, an image server 100b, and a store server 100c. It is assumed that each external device 100 includes a communication unit, a control unit, and a memory as shown in FIG.

デジカメ100aは、ユーザやユーザの家族が所有しているデジカメである。デジカメ100aの制御部120aは、撮像した画像の中から、不図示の顔認識部によりユーザの顔が認識された画像を抽出し、通信部110aを介して携帯端末10に対して送信する。あるいは、制御部120aは、携帯端末10からのリクエストに応じて、メモリ130aに記憶されているユーザの画像を通信部110aを介して携帯端末10に送信する。   The digital camera 100a is a digital camera owned by the user or the user's family. The control unit 120a of the digital camera 100a extracts an image in which the user's face is recognized by a face recognition unit (not shown) from the captured images, and transmits the extracted image to the mobile terminal 10 via the communication unit 110a. Or the control part 120a transmits the user's image memorize | stored in the memory 130a to the portable terminal 10 via the communication part 110a according to the request from the portable terminal 10. FIG.

画像サーバ100bは、登録された複数のユーザの画像を保存するメモリ130bを有するサーバである。メモリ130bは、ユーザ毎に画像を記憶する領域(例えばフォルダ)が設けられており、登録されたユーザのみ画像を閲覧できる記憶領域、ユーザが許可したユーザのみ画像を閲覧できる記憶領域、画像サーバ100bに登録したユーザなら誰でも閲覧できる記憶領域を有している。制御部120bは、登録されたユーザが指定した記憶領域に画像を記憶する。また、制御部120bは、セキュリティーレベルに応じて画像の管理を行うととともに、登録されたユーザの操作に応じて、そのユーザが閲覧可能な画像を通信部110bを介して送信する。   The image server 100b is a server having a memory 130b that stores images of a plurality of registered users. The memory 130b is provided with an area (for example, a folder) for storing images for each user, a storage area where only registered users can view images, a storage area where only users permitted by the user can view images, and the image server 100b. It has a storage area that can be browsed by any user registered in. The control unit 120b stores the image in a storage area designated by the registered user. In addition, the control unit 120b manages images according to the security level, and transmits images that can be viewed by the user via the communication unit 110b in accordance with registered user operations.

本実施形態においては、ユーザによる携帯端末10の操作に応じて、ユーザ自身の画像が画像サーバ100bから携帯端末10に対して送信されるとともに、誰でも閲覧できる画像のうちの服装に関する画像が画像サーバ100bから携帯端末10に対して送信されるものとする。   In the present embodiment, in response to an operation of the mobile terminal 10 by the user, an image of the user is transmitted from the image server 100b to the mobile terminal 10, and an image relating to clothes among images that can be viewed by anyone is an image. It is assumed that the message is transmitted from the server 100b to the mobile terminal 10.

店舗サーバ100cは、服を販売している店舗のサーバである。メモリ130cには、ユーザがどのような商品を購入したかの履歴が記憶されている。制御部120cは、ユーザからのリクエストに応じて、通信部110cを介して、ユーザの購入履歴情報を提供する。なお、購入履歴情報の一例は、購入日、金額、衣服の画像、色、サイズ、素材情報である。   The store server 100c is a server of a store that sells clothes. The memory 130c stores a history of what products the user has purchased. The control unit 120c provides the purchase history information of the user via the communication unit 110c in response to a request from the user. An example of purchase history information is a purchase date, an amount of money, an image of clothes, a color, a size, and material information.

本実施形態においては、前述のとおり、画像分析部40がインナー、アウター、帽子、ネクタイ、アクセサリー、髪型、顔の輪郭などのアイテム別に判別するが、店舗側からの購入した衣服の詳細情報から、アイテムが同一と判定された場合、そのアイテムと、店からの衣服の情報を関連付けることができる。また、各アイテムの代表画像を店舗サーバ100cから取得するようにしてもよい。なお、ユーザの許可があれば、アイテムの使用頻度データを店舗サーバ100cに情報提供するようにしてもよい。   In this embodiment, as described above, the image analysis unit 40 discriminates by item such as inner, outer, hat, tie, accessory, hairstyle, facial contour, etc., but from the detailed information of the clothes purchased from the store side, When it is determined that the items are the same, the items can be associated with information on clothes from the store. Moreover, you may make it acquire the representative image of each item from the store server 100c. If the user has permission, the item usage frequency data may be provided to the store server 100c.

以上のように構成される本実施形態の情報処理システム200の処理について、図6〜図8のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。   The processing of the information processing system 200 of the present embodiment configured as described above will be described in detail along the flowcharts of FIGS. 6 to 8 with reference to other drawings as appropriate.

(ユーザの身なり検出処理)
図6は、ユーザの身なりを検出する処理のフローチャートである。この図6の処理は、生体センサ22(圧力センサなど)が、ユーザによる携帯端末10の保持を検出した段階から開始されるものであり、ユーザによる携帯端末10の操作中(使用中)にユーザに特段の操作を行わせることなく、ユーザの身なりを検出するものである。
(User's dressing detection process)
FIG. 6 is a flowchart of a process for detecting the user's appearance. The processing in FIG. 6 is started when the biosensor 22 (pressure sensor or the like) detects holding of the mobile terminal 10 by the user, and the user is operating (using) the mobile terminal 10 by the user. The user's appearance is detected without causing the user to perform any special operation.

図6の処理では、ステップS10において、制御部60が、撮像を行うかどうかの判断を行うために、センサ部20を用いて状況確認を行う。具体的には、制御部60は、GPSモジュール21によりユーザのいる位置を取得し、生体センサ22及び加速度センサ25によりユーザが立っているか、座っているか、歩いているかなどを検出する。なお、ここでは、ユーザは電車に座って移動しているものとして、以下説明する。   In the process of FIG. 6, in step S <b> 10, the control unit 60 performs a situation check using the sensor unit 20 in order to determine whether to perform imaging. Specifically, the control unit 60 acquires the position of the user by the GPS module 21, and detects whether the user is standing, sitting, walking, or the like by the biosensor 22 and the acceleration sensor 25. In the following description, it is assumed that the user is sitting on a train and moving.

また、制御部60は、姿勢センサ23により携帯端末10の姿勢を検出するとともに、温湿度計24により温度及び湿度を検出する。また、制御部60は、カレンダ部16から現在の日時を取得するとともに、前回ユーザを撮像した時間を確認する。ここで、制御部60は、前回の撮像が会社に向かっているとき(通勤(行き)のとき)に行われた場合で、現在が同日の会社からの帰宅途中である場合には、ユーザが同じ服装であるとして撮像を行わなくてもよい。ただし、これに限らず、後述のステップS14でユーザを撮像したときに同じ服装であるかどうかを検出して、撮像を継続するかどうかを判断するようにしてもよい。   In addition, the control unit 60 detects the attitude of the mobile terminal 10 with the attitude sensor 23, and detects the temperature and humidity with the thermohygrometer 24. Further, the control unit 60 acquires the current date and time from the calendar unit 16 and confirms the time when the user was imaged last time. Here, the control unit 60 is performed when the previous imaging is performed toward the company (when commuting (going)), and when the user is on the way home from the company on the same day, It is not necessary to take an image on the assumption that the clothes are the same. However, the present invention is not limited to this, and it may be determined whether or not the imaging is continued by detecting whether or not the user is in the same clothes when imaging the user in step S14 described later.

次いで、ステップS12では、制御部60は、ステップS10で取得した状況に基づいて撮像部30による撮像を行うかどうかを判断する。   Next, in step S12, the control unit 60 determines whether to perform imaging by the imaging unit 30 based on the situation acquired in step S10.

ここで、制御部60は、例えば、ユーザが電車に座っており、携帯端末10のZ軸方向が鉛直方向から50°程度傾斜している場合には、第1カメラ31、第2カメラ32、第3カメラ33の全てを用いて、ユーザやユーザの身なりを撮像すると判断する。   Here, for example, when the user is sitting on a train and the Z-axis direction of the mobile terminal 10 is inclined by about 50 ° from the vertical direction, the first camera 31, the second camera 32, It is determined that all of the third camera 33 is used to image the user and the user's appearance.

なお、第1カメラ31、第2カメラ32は、携帯端末10のZ軸方向が鉛直方向を向いた状態から、ディスプレイ12を視認可能な方向へ70°程度傾けた状態の範囲内であれば、ユーザの撮像が可能であるとする。また、第3カメラ33は、携帯端末10のZ軸方向が鉛直方向から5°程度傾斜した状態から、ディスプレイ12を視認可能な方向へ90°程度傾けた状態の範囲内であれば、ユーザの撮像が可能であるとする。   In addition, if the first camera 31 and the second camera 32 are within the range of the state in which the Z-axis direction of the mobile terminal 10 is oriented in the vertical direction from the state in which the display 12 is tilted by about 70 °, It is assumed that the user can take an image. Further, if the third camera 33 is within the range of the state in which the Z-axis direction of the mobile terminal 10 is inclined about 5 ° from the vertical direction to the direction in which the display 12 is inclined about 90 °, the user's Assume that imaging is possible.

なお、制御部60は、センサ部20に超音波センサを設けて、ユーザまでの距離を計測し、当該計測結果に基づいて、第1カメラ31、第2カメラ32、第3カメラ33のそれぞれによる撮像が可能かどうかを判断するようにしてもよい。   The control unit 60 includes an ultrasonic sensor in the sensor unit 20 to measure the distance to the user, and based on the measurement result, each of the first camera 31, the second camera 32, and the third camera 33. It may be determined whether or not imaging is possible.

なお、ユーザが歩いているときには、撮像部30による撮像がうまくいかない場合もあるので、制御部60は、ユーザが静止するか、所定の加速度(もしくは角加速度)以下になるまで撮像部30による撮像を待つようにしてもよい。なお、所定の加速度(もしくは角加速度)は、ユーザが携帯端末10を保持した状態で歩いたときの加速度(もしくは角加速度)から求めればよく、例えば検出した値の1/2以下もしくは1/3以下とすればよい。   Note that when the user is walking, imaging by the imaging unit 30 may not be successful, so the control unit 60 captures images by the imaging unit 30 until the user stops or falls below a predetermined acceleration (or angular acceleration). You may wait. The predetermined acceleration (or angular acceleration) may be obtained from the acceleration (or angular acceleration) when the user walks with the portable terminal 10 held, and is, for example, 1/2 or less of the detected value or 1/3. What is necessary is as follows.

制御部60は、撮像部30の少なくとも1つのカメラによる撮像が可能であれば、ステップS14に移行する。一方、撮像部30による撮像が不可能であれば、図6の全処理を終了する(ステップS12:否定)。上述のように、本実施形態においては、制御部60は、加速度センサ25の出力からユーザの状態を検出し、姿勢センサ23の出力から携帯端末10の姿勢を検出し、それらの検出結果に基づいて撮像部30による撮像を行ったり、行わなかったりするので、ユーザに特段の操作を強いることがない。なお、撮像部30の撮像に限らず、ユーザの状態と携帯端末10の姿勢とに基づいて、携帯端末10で使用できる機能やアプリケーションを選択もしくは制限してもよい。例えば、制御部60が、ユーザが歩きながらディスプレイ12を見ていると判断したとする。この場合、制御部60は、ユーザがフラッシュメモリ50に記憶されている地図情報を見る可能性がある一方で、ゲームなどのアプリケーションを使用する可能性が低いことから、ディスプレイ12に表示される特定のアイコンメニューの表示を拡大したり、消去するなどすることができる。   If the imaging by the imaging unit 30 is possible with at least one camera, the control unit 60 proceeds to step S14. On the other hand, if imaging by the imaging unit 30 is impossible, the entire process of FIG. 6 is terminated (No at Step S12). As described above, in the present embodiment, the control unit 60 detects the state of the user from the output of the acceleration sensor 25, detects the posture of the mobile terminal 10 from the output of the posture sensor 23, and based on the detection results. Therefore, the user is not forced to perform a special operation because the imaging unit 30 performs imaging or does not perform imaging. Note that the functions and applications that can be used in the mobile terminal 10 may be selected or restricted based on the state of the user and the attitude of the mobile terminal 10 as well as the imaging of the imaging unit 30. For example, it is assumed that the control unit 60 determines that the user is looking at the display 12 while walking. In this case, the control unit 60 may be able to view the map information stored in the flash memory 50, but has a low possibility of using an application such as a game. The icon menu display can be enlarged or deleted.

ステップS14に移行すると、制御部60は、撮像部30による撮像を実行する。この場合、制御部60は、第1カメラ31、第2カメラ32、第3カメラ33の少なくとも1つを用いて撮像した画像データをフラッシュメモリ50に記憶する。なお、ここでは、制御部60が、服装検出部42が合成した画像データ(それぞれのカメラが撮像した複数枚の画像を合成した画像や、第1カメラ31が撮像した画像と第2カメラ32が撮像した画像とを合成した画像)をフラッシュメモリ50に記憶したものとする。   If transfering it to step S14, the control part 60 will perform the imaging by the imaging part 30. FIG. In this case, the control unit 60 stores image data captured using at least one of the first camera 31, the second camera 32, and the third camera 33 in the flash memory 50. Here, the control unit 60 uses the image data synthesized by the clothing detection unit 42 (an image obtained by synthesizing a plurality of images captured by the respective cameras, an image captured by the first camera 31 and the second camera 32). It is assumed that an image obtained by combining a captured image) is stored in the flash memory 50.

次いで、画像分析部40は、ステップS15において、前述したようにして、ユーザの顔認識、服装検出、リサイズ処理を行う。   Next, in step S15, the image analysis unit 40 performs user face recognition, clothing detection, and resizing processing as described above.

なお、今回の撮像が同日の2回目以降の撮像の場合であって、前回撮像したユーザの服装と、今回撮像したユーザの服装とが同一であった場合には、制御部60は、図6の全処理を終了することとしてもよい。   If the current imaging is the second imaging on the same day or later, and the user's clothing captured last time and the user's clothing captured this time are the same, the control unit 60 selects FIG. It is good also as complete | finishing all the processes.

次いで、ステップS16では、制御部60は、撮像開始から所定時間(数秒から数十秒)経過した後に、撮像を継続するかどうかの判断を行う。なお、このステップS16では、制御部60は、画像分析部40による画像合成や重ね着判定が終了していれば、撮像を終了すると判断するものとする。ステップS16における判断が肯定された場合(撮像を継続する場合)には、ステップS14に戻るが、ステップS16における判断が否定された場合(撮像を終了する場合)には、ステップS17に移行する。   Next, in step S <b> 16, the control unit 60 determines whether or not to continue imaging after a predetermined time (several seconds to several tens of seconds) has elapsed from the start of imaging. In step S16, the control unit 60 determines that the imaging is to be ended if the image composition and the overlay determination by the image analysis unit 40 have been completed. When the determination in step S16 is affirmed (when imaging is continued), the process returns to step S14, but when the determination in step S16 is negative (when imaging is terminated), the process proceeds to step S17.

ステップS17に移行すると、制御部60は、ユーザの身なり分析を実行する。この身なり分析では、服装検出結果やリサイズ処理の結果と、服装DB(図9)と、に基づいて、ユーザの服装や、身に着けているアクセサリーを特定して、図10に示す身なりログ(インナー、アウター、帽子、ネクタイ、やこれら各アイテムの代表色、アクセサリー、髪型(ロングヘア、ショートヘア)、輪郭のサイズ情報)に登録する。なお、このステップS17では、身なりログの1つのレコード(同一日付のレコード)のデータが、可能な限り登録される(場合によっては空白となる場合もある)。   If transfering it to step S17, the control part 60 will perform a dressing analysis of a user. In this dress analysis, based on the clothes detection result, the resizing process result, and the clothes DB (FIG. 9), the user's clothes and the accessories worn are identified, and the dress log ( (Inner, outer, hat, tie, and representative colors, accessories, hairstyles (long hair, short hair), contour size information) for each of these items. In this step S17, data of one record (record of the same date) of the dress log is registered as much as possible (may be blank in some cases).

ここで、図10の身なりログは、季節、日付、種別、画像、代表色、服装ID、気温、湿度、輪郭サイズ、種別の各フィールドを含んでいる。季節のフィールドには、日付に基づいて判定される季節が入力される。日付のフィールドには、カレンダ部16から取得される日付が入力される。種別のフィールドには、服装検出部42が検出した髪型や服装の種別が入力される。画像のフィールドには、服装DBの画像や、撮像部30および服装検出部42の処理に基づいた髪型や服装ごとの画像が入力される。代表色には、服装検出部42が検出した各服装の代表色が入力される。気温及び湿度のフィールドには、温湿度計24により検出された気温及び湿度が入力される。輪郭サイズのフィールドには、リサイズ部43による検出結果が入力される。種別のフィールドには、服装検出部42が検出した服装の種別(スーツ、ジャケット、和服、ワンピースなど)が入力される。なお、服装IDのフィールドには、現在着ている服装と同一の服装に関するデータが服装DBに存在していれば、服装DBに基づいてIDが入力されるが、服装DBに存在していなければ、空白となる。なお、季節のフィールドには、制御部60がカレンダ部16と温湿度計24とに基づいて判断した季節が入力される。   Here, the dress log in FIG. 10 includes fields of season, date, type, image, representative color, clothing ID, temperature, humidity, contour size, and type. In the season field, a season determined based on the date is input. In the date field, a date acquired from the calendar unit 16 is input. In the type field, the hairstyle and the type of clothing detected by the clothing detection unit 42 are input. In the image field, an image of the clothing DB, a hairstyle based on the processing of the imaging unit 30 and the clothing detection unit 42, and an image for each clothing are input. The representative color of each clothing detected by the clothing detection unit 42 is input as the representative color. In the temperature and humidity fields, the temperature and humidity detected by the thermohygrometer 24 are input. A detection result by the resizing unit 43 is input to the contour size field. In the type field, the type of clothes (suit, jacket, Japanese clothes, dress, etc.) detected by the clothes detection unit 42 is input. In the field of clothes ID, if data relating to the same clothes as the current clothes are present in the clothes DB, the ID is input based on the clothes DB, but if not present in the clothes DB. , It will be blank. In the season field, the season determined by the control unit 60 based on the calendar unit 16 and the thermohygrometer 24 is input.

図6に戻り、ステップS18に移行すると、制御部60は、外部機器100との通信による身なりの情報(服装の情報)の取得が必要か否かを判断する。この場合、制御部60は、身なりログの服装IDが空白であるものが存在するか否かに基づいて、外部機器100との通信による身なりの情報(服装の情報)の取得が必要か否かを判断する。なお、髪型に関しては、服装IDが空白であっても外部機器100からの情報取得を必要としないものとする。   Returning to FIG. 6, when the process proceeds to step S <b> 18, the control unit 60 determines whether it is necessary to acquire dressing information (clothing information) through communication with the external device 100. In this case, the control unit 60 determines whether it is necessary to acquire dressing information (clothing information) through communication with the external device 100 based on whether there is a dress ID in the dress log that is blank. Judging. In addition, regarding the hairstyle, information acquisition from the external device 100 is not required even if the clothes ID is blank.

ステップS18の判断が肯定された場合には、ステップS20に移行する。そして、ステップS20では、制御部60が、外部機器100との通信を行う。例えば、服装検出部42によりユーザがスーツを着ていると検出した場合でも、このスーツが前日に購入したものであれば、服装DBにはこのスーツの情報が記憶されていない。そこで、制御部60は、通信部18を用いて外部機器100と通信することで、スーツに関する情報を外部機器100(店舗サーバ100c)から取得し、服装DBに登録する。なお、デジカメ100aや、画像サーバ100bには服装分析機能がない場合がある。このような場合は、前回通信した以降の画像データを取得したり、服装の色を条件として画像データを取得したりすればよい。上記のようにしてステップS20の処理が行われた後は、ステップS22に移行する。   If the determination in step S18 is affirmative, the process proceeds to step S20. In step S20, the control unit 60 communicates with the external device 100. For example, even if it is detected by the clothes detection unit 42 that the user is wearing a suit, if the suit is purchased the previous day, the information on the suit is not stored in the clothes DB. Therefore, the control unit 60 communicates with the external device 100 using the communication unit 18 to acquire information about the suit from the external device 100 (store server 100c) and register it in the clothing DB. Note that the digital camera 100a and the image server 100b may not have a clothing analysis function. In such a case, image data after the previous communication may be acquired, or image data may be acquired under the condition of clothes color. After the process of step S20 is performed as described above, the process proceeds to step S22.

ステップS22では、制御部60は、通信部18を用いて外部機器100から取得した新たな服装データに基づいて、ユーザの身なり分析を再度実行する。その後は、制御部60は、図6の全処理を終了する。なお、ステップS18の判断が否定された場合にも、制御部60は、図6の全処理を終了する。   In step S <b> 22, the control unit 60 performs the dressing analysis of the user again based on the new clothing data acquired from the external device 100 using the communication unit 18. Thereafter, the control unit 60 ends all the processes in FIG. Even when the determination in step S18 is negative, the control unit 60 ends all the processes in FIG.

以上のように、図6の処理を行うことで、制御部60は、ユーザの身なりのログをユーザに特段の操作を強いることなく、適切なタイミングでとることができる。   As described above, by performing the processing in FIG. 6, the control unit 60 can capture the user's dress log at an appropriate timing without forcing the user to perform a special operation.

なお、図6の処理では、制御部60は、カレンダ部16の日付(もしくは月)情報、温湿度計24の出力に基づき、それぞれのアイテムが春夏秋冬のどの季節で用いられたかも身なりログに記憶している。すなわち、身なりログには、春夏秋冬に応じてユーザの身なり情報を記憶しているといえる。なお、アイテムによっては2シーズン(春、秋)、3シーズン(春、秋、冬)着用するものもあるので、それぞれの季節に応じた記憶は有効である。   In the process of FIG. 6, the control unit 60 uses the date (or month) information of the calendar unit 16 and the output of the temperature / humidity meter 24 to determine which season each item was used in spring, summer, autumn, and winter. I remember it. That is, it can be said that the dressing log stores the dressing information of the user according to spring, summer, autumn and winter. Since some items are worn for 2 seasons (spring, autumn) and 3 seasons (spring, autumn, winter), memory according to each season is effective.

(身なり報知処理)
図7は、ユーザに身なりを報知するための処理を示すフローチャートである。図7の処理は、所定期間の身なりのデータが取得された後、ユーザからの要求があった段階から開始されるものとする。
(Performance notification process)
FIG. 7 is a flowchart showing a process for notifying the user of the dressing. The processing in FIG. 7 is assumed to start from a stage when a user request is made after the dressing data for a predetermined period is acquired.

図7のステップS30では、制御部60は、週間データを比較し、表示する処理を実行する。具体的には、制御部60は、身なりログに記憶されている本日とその前の1週間の合計8日間の身なりに関する画像データを読み出し、本日の服装とその前の1週間の服装とを比較し、この比較結果を表示する。   In step S30 of FIG. 7, the control unit 60 performs a process of comparing and displaying weekly data. Specifically, the control unit 60 reads out the image data related to the dressing for a total of 8 days of today and the previous week stored in the dressing log, and compares the dress for today and the dress for the previous week. Then, the comparison result is displayed.

この場合、制御部60は、上半身の重ね着のパターンが同じ日が有るか無いか、上半身の服装と下半身の服装との組合せが同じ日が有るか無いか、上半身の服装の色合いと下半身の服装の色合いとが同じ日が有るか無いかを比較し、比較結果をディスプレイ12上に表示する。また、制御部60は、同じ項目が無い場合や、比較結果の表示を行った後などにおいて、本日を含む8日間に着用した服装のランキングをディスプレイ12上に表示する。これにより、ユーザは、月曜日に同じ服装をしていたことや、1週間の間に白いシャツと黒いスカートの組合せが4回あったことや、各アイテムの代表色の組合せパターンが少ない、というような服装の傾向を知ることができる。   In this case, the control unit 60 determines whether the upper body layering pattern has the same day, whether the upper body clothes and the lower body clothes have the same day, the upper body clothes color and the lower body It is compared whether there is the same day with the color of the clothes, and the comparison result is displayed on the display 12. Moreover, the control part 60 displays the ranking of the clothing worn on 8 days including today on the display 12 when there is no same item or after displaying the comparison result. This means that the user was wearing the same clothes on Monday, that there were four combinations of white shirts and black skirts in one week, and that there were few combinations of representative colors for each item. You can know the tendency of proper clothes.

次いで、ステップS32では、制御部60は、月間データを比較し、表示する処理を実行する。具体的には、制御部60は、フラッシュメモリ50に記憶されている本日を含む30日分の身なりに関する画像データを読み出し、月単位での服装の比較を行い、この比較結果を表示する。なお、表示項目は、ステップS30と同様である。ただし、これに限らず、温湿度計24の計測結果に基づき、似たような気候(雨の日、暑めの日、寒めの日)毎に比較し、その結果を表示するようにしてもよい。これにより、ユーザは雨の日は同じ服装をしていたとか、温度に応じた服装の選択ができていたかどうかなどを知ることができる。   Next, in step S32, the control unit 60 performs a process of comparing and displaying the monthly data. Specifically, the control unit 60 reads out image data relating to the dressing for 30 days including today, which is stored in the flash memory 50, compares clothes in units of months, and displays the comparison result. The display items are the same as in step S30. However, the present invention is not limited to this. Based on the measurement results of the thermo-hygrometer 24, comparison is made for each similar climate (rainy day, hot day, cold day), and the result is displayed. Also good. Thereby, the user can know whether he was wearing the same clothes on a rainy day, whether clothes were selected according to temperature, or the like.

次いで、ステップS34では、制御部60は、過去のデータとの比較を行う。具体的には、制御部60は、過去(例えば昨年、一昨年)の同月・同週との服装の比較を行い、この比較結果を表示する。これにより、ユーザは毎年同じ服装であるかどうかなどを確認できるとともに、服装の購入の要否判断の一助とすることができる。また、服装の好みの変化や、リサイズ部43の検出履歴から体型の変化や、着なくなった服の有無などを知ることができる。なお、同月・同週ではなく、同じような気候の月、週としてもよい。   Next, in step S34, the control unit 60 performs comparison with past data. Specifically, the control unit 60 compares clothes with the same month / same week in the past (for example, last year, last year) and displays the comparison result. Thereby, the user can confirm whether or not the clothes are the same every year, and can help determine whether or not to purchase clothes. In addition, it is possible to know a change in the preference of clothes, a change in body shape, the presence or absence of clothes that are no longer worn from the detection history of the resizing unit 43. In addition, the same month / week may be used instead of the same month / week.

次いで、ステップS36では、制御部60は、ユーザに対して、コーディネートの提案が必要かどうかの問い合わせを行う。本実施形態では、制御部60は、ディスプレイ12に問い合わせのメッセージを表示する。そして、ユーザによるタッチパネル14の操作に基づいて、コーディネートの提案が必要か否かを判断する。ここでの判断が否定された場合には、図7の全処理を終了するが、肯定された場合には、ステップS38に移行する。   Next, in step S36, the control unit 60 inquires of the user whether coordination proposal is necessary. In the present embodiment, the control unit 60 displays an inquiry message on the display 12. And based on operation of the touch panel 14 by a user, it is judged whether the proposal of coordination is required. If the determination here is negative, the entire process of FIG. 7 is terminated. If the determination is positive, the process proceeds to step S38.

ステップS38に移行した場合、制御部60は、フラッシュメモリ50に記憶されている服装情報に基づいて、コーディネートの提案を行う。このステップS38では、制御部60は、例えば、本日撮像したユーザの髪型の画像データを取得し、同様の髪型の際にユーザが着用していた服装を提案したりすることができる。また、制御部60は、通信部18を介してインターネット上から流行情報、天気予報、気温予想などを取得して、これらに基づいて服装を提案したりすることができる。また、制御部60は、季節の変わり目などにおいて気温の変化が激しく(10℃近く)変動するような日には、天気予報、気温予想に基づき、ユーザが所持している服装からコーディネートを提案することができる。このようにすることで、ユーザに対して適切なコーディネートの情報を提供することができる。   When the process proceeds to step S <b> 38, the control unit 60 makes a coordination proposal based on the clothing information stored in the flash memory 50. In this step S38, the control unit 60 can acquire, for example, image data of the user's hairstyle captured today, and can suggest clothes worn by the user for the same hairstyle. Moreover, the control part 60 can acquire fashion information, a weather forecast, temperature prediction, etc. from the internet via the communication part 18, and can propose clothes based on these. The control unit 60 also proposes coordinates based on the weather forecast and the temperature forecast on the day when the temperature changes drastically (near 10 ° C.) at the turn of the season, etc., based on the clothes the user has. be able to. In this way, it is possible to provide appropriate coordination information to the user.

なお、ステップS30、S32、S34,S38の処理の順番は適宜変更してもよく、また、ステップS30〜S34の処理については、ユーザにより選択された処理のみを実行するようにしてもよい。   Note that the order of the processes in steps S30, S32, S34, and S38 may be changed as appropriate, and only the processes selected by the user may be executed for the processes in steps S30 to S34.

以上のような処理を行うことで、ユーザの過去の服装の傾向を表示したり、ユーザがコーディネートを必要とする場合には、制御部60が、ユーザに対してコーディネート案を提供したりすることができる。   By performing the processing as described above, the control unit 60 displays a tendency of the user's past clothes or provides a coordination plan to the user when the user needs to coordinate. Can do.

(新しい服装とのコーディネート提案処理)
上述した図7のステップS38の処理では、ユーザが所持している服装からコーディネートを提案するものとしたが、新しく服を購入する場合にも、ユーザは、既存の服とのコーディネートを考える必要がある。しかしながら、例えば秋服であれば8月の半ば以降から販売されるが、実際には8月は残暑も厳しく、衣替えもしていない。このため、ユーザは、新作の秋服を購入する段階では、手持ちの秋服を把握できていないことが多いことから、手持ちの秋服と類似した服や、手持ちの秋服とマッチしない服を購入してしまうことが多々ある。
(Coordination proposal processing with new clothes)
In the process of step S38 in FIG. 7 described above, coordination is proposed from the clothes possessed by the user. However, even when purchasing new clothes, the user needs to consider coordination with existing clothes. is there. However, for example, autumn clothes are sold after the middle of August, but in fact, the remaining heat is severe in August and the clothes are not changed. For this reason, users often do not know their own autumn clothes at the stage of purchasing new autumn clothes, so wear clothes that are similar to their own clothes or that do not match their own autumn clothes. I often buy it.

そこで、図8の処理では、ユーザが購入しようとしている新しい服装と、手持ちの服装とのコーディネートを提案する処理を実行する。なお、図8の処理は、ユーザが店舗やインターネットや雑誌などにおいて新しい服を見ているときに、ユーザの指示の下開始される処理であるものとする。なお、以下においては、ユーザが、店舗で新しい服を見ている場合について説明する。   Therefore, in the process of FIG. 8, a process of proposing a coordinate between new clothes that the user intends to purchase and hand-held clothes is executed. Note that the process in FIG. 8 is a process that is started under the user's instruction when the user is looking at new clothes in a store, the Internet, a magazine, or the like. In the following, a case where the user is looking at new clothes at a store will be described.

図8の処理では、ステップS40において、制御部60が、ユーザが購入を検討している服装データが入力されるまで待機する。なお、ユーザが服装データを入力する方法としては、店舗に置かれている端末(店舗サーバ100cに接続されているものとする)に、衣服につけられたバーコードや、電子タグに近づけて読み取らせ、店舗サーバ100cから携帯端末10に服装データを送信する方法を用いることができる。また、ユーザが服装データを入力する方法としては、衣服につけられたQRコードなどを携帯端末10の撮像部30で撮像することで、衣服のIDを読み込み、当該IDを用いて店舗サーバ100cにアクセスして、店舗サーバ100cから服装データを取得する方法を用いることができる。なお、ユーザは、店舗において服装の画像を撮像することで、服装のデータを入力するようにしてもよい。   In the process of FIG. 8, in step S <b> 40, the control unit 60 waits until clothes data that the user is considering purchasing is input. In addition, as a method for the user to input clothes data, a terminal placed in a store (suppose that it is connected to the store server 100c) is read close to a barcode attached to clothes or an electronic tag. A method of transmitting clothes data from the store server 100c to the mobile terminal 10 can be used. In addition, as a method for the user to input clothing data, the clothing ID is read by capturing the QR code or the like attached to the clothing with the imaging unit 30 of the mobile terminal 10, and the store server 100c is accessed using the ID. And the method of acquiring clothing data from the store server 100c can be used. Note that the user may input clothes data by taking an image of clothes at the store.

上記のような方法によって服装データの入力があり、ステップS40の判断が肯定されると、制御部60は、ステップS42において、入力された新しい服装の判別を行う。具体的には、制御部60は、入力された服装データに基づきその服装が上半身の服装か、下半身の服装(ズボン、スカート)を判別する。また、制御部60は、その服装が上半身の服装の場合、入力された服装データに基づきインナーかアウターかを判別したり、ユーザにインナーかアウターかを入力してもらうなどして、判別を行う。   When clothes data is input by the method as described above and the determination in step S40 is affirmed, the control unit 60 determines the new clothes input in step S42. Specifically, the control unit 60 determines whether the clothes are upper body clothes or lower body clothes (trousers, skirts) based on the input clothes data. Further, when the clothes are upper-body clothes, the control unit 60 determines whether the clothes are inner or outer based on the input clothes data, or asks the user to input the inner or outer clothes. .

次いで、ステップS44では、制御部60は、ステップS42で判別した服装とのコーディネートを提案するために、ユーザが所持している服装情報を服装DBから読み出す。なお、ここでは、ユーザは秋物のジャケット(アウター)を新しい服装データとして入力したものとし、制御部60は、服装DBからジャケット、インナー、ズボンに関する服装情報を読み出すものとする。すなわち、制御部60は、入力された服装データのカテゴリーが第1のカテゴリーであったときは、当該第1のカテゴリーとともに、第1のカテゴリーと異なる第2のカテゴリーの服装情報を服装DBから読み出す。   Next, in step S44, the control unit 60 reads out the clothes information possessed by the user from the clothes DB in order to propose the coordination with the clothes determined in step S42. Here, it is assumed that the user inputs an autumn jacket (outer) as new clothing data, and the control unit 60 reads out clothing information about the jacket, inner, and trousers from the clothing DB. That is, when the category of the input clothing data is the first category, the control unit 60 reads out the clothing information of the second category different from the first category from the clothing DB together with the first category. .

次いで、ステップS46では、制御部60は、ユーザが購入を予定しているジャケットと類似のジャケットをユーザが所持しているかどうかを判断する。この場合、制御部60は、服装DBから読み出したジャケットの服装情報(色、デザイン)と、ユーザが購入を予定しているジャケットの情報(色、デザイン)とを比較し、類似しているかどうかを判断する。このステップS46の判断が否定された場合には、ステップS52に移行するが、肯定された場合には、ステップS48に移行する。   Next, in step S46, the control unit 60 determines whether the user has a jacket similar to the jacket that the user plans to purchase. In this case, the control unit 60 compares the clothes information (color, design) of the jacket read from the clothes DB with the information (color, design) of the jacket that the user plans to purchase, and whether or not they are similar. Judging. If the determination in step S46 is negative, the process proceeds to step S52. If the determination is positive, the process proceeds to step S48.

ステップS48に移行した場合、制御部60は、ディスプレイ12にユーザが所持している類似のジャケットの画像データを表示し、ユーザが手持ちのジャケットと同じようなジャケットの購入を検討していることを報知する。なお、制御部60は、ユーザが所持している他のジャケットの画像データについてもディスプレイ12に表示することとしてもよい。   When the process proceeds to step S48, the control unit 60 displays image data of a similar jacket possessed by the user on the display 12, and indicates that the user is considering purchasing a jacket similar to the jacket on hand. Inform. In addition, the control part 60 is good also as displaying on the display 12 also about the image data of the other jacket which the user has.

ステップS48の処理が終了した後は、制御部60は、ステップS49において、ユーザが購入しようとしているジャケットを変更するか否かを尋ねるメッセージをディスプレイ12上に表示する。   After the process of step S48 is complete | finished, the control part 60 displays the message which asks whether the user is changing the jacket which he is going to purchase on the display 12 in step S49.

次いで、ステップS50では、制御部60は、ユーザが、購入予定のジャケットを変更する旨の入力をタッチパネル14から入力したか否かを判断する。ここでの判断が肯定された場合には、ステップS40に戻るが、判断が否定された場合には、ステップS52に移行する。   Next, in step S50, the control unit 60 determines whether or not the user has input from the touch panel 14 that the jacket to be purchased is changed. If the determination here is affirmed, the process returns to step S40, but if the determination is negative, the process proceeds to step S52.

ステップS52では、制御部60は、フラッシュメモリ50からアウター以外の服装情報(すなわち、インナーの服装情報とズボンの服装情報)とを読み出し、コーディネート提案(各服装を組み合わせた表示)をディスプレイ12に表示する。なお、コーディネート提案としては、ステップS40で入力された服装の色に合った色を代表色とする手持ちの服装を表示するなどすることができる。具体的には、制御部60は、黒とグレー、青と淡い青というように同じ色相や、近い色相になるような組合せを提案(ディスプレイ12に表示)すればよい。また、ストライプとボーダとの着合せは一般には行なわれないため、購入予定の服がストライプであれば、制御部60は、手持ちのボーダの服とのコーディネートを提案しないようにすればよい。同様に、制御部60は、模様同士の着合せを提案しないようにすればよい。また、制御部60は、手持ちの服のサムネイル画像をディスプレイ12に表示して、タッチパネル14によりユーザに選択させるようにしてもよい。なお、制御部60は、色が合っているか否かを、予め定められているテンプレート(インナーの色とアウターの色の適切な組み合わせを定義したテンプレート)等に基づいて判断するようにすればよい。これにより、ユーザは店舗にいながら新しく購入を予定しているジャケットと、所持している服装とをコーディネートすることができる。なお、通販などのように購入予定の服を試着できない場合や、試着が面倒な場合には、制御部60は、手持ちの服とのサイズ比較を行うようにすればよい。例えば、通販でスカートを購入する場合には、膝が出てしまうかどうかがわからないことがある。このような場合に、制御部60は、同じような丈の長さのスカートの画像をディスプレイ12に表示することにより、購入予定のスカートを着用した場合にひざが出るかどうかをユーザに視認させることができる。同様に、コートを着用した場合にスカートがコートの丈よりも長いか短いかがわからないことがある。このような場合には、制御部60は、手持ちのコートの丈との比較により、その結果をユーザに知らせることができる。このように、本実施形態の携帯端末10によれば、手持ちの同じカテゴリの服装の情報や、手持ちの異なるカテゴリーの服装の情報を用いて購入予定の服を着用したときの状態を確認することができる。   In step S <b> 52, the control unit 60 reads out clothes information other than the outer (that is, inner clothes information and pants clothes information) from the flash memory 50, and displays a coordinate proposal (display combining each clothes) on the display 12. To do. In addition, as a coordination proposal, it is possible to display hand-held clothing having a representative color that matches the color of the clothing input in step S40. Specifically, the control unit 60 may propose (display on the display 12) a combination of the same hue or similar hues such as black and gray and blue and light blue. In addition, since the matching between the stripe and the border is not generally performed, if the clothes to be purchased are stripes, the control unit 60 may not propose to coordinate with the clothes of the hand-held border. Similarly, the control part 60 should just not propose the matching of patterns. In addition, the control unit 60 may display a thumbnail image of the hand-held clothing on the display 12 and allow the user to select it with the touch panel 14. Note that the control unit 60 may determine whether the colors match based on a predetermined template (a template that defines an appropriate combination of inner and outer colors) or the like. . Thereby, the user can coordinate the jacket that he / she intends to purchase while at the store and the clothes he / she has. In addition, when it is not possible to try on clothes that are scheduled to be purchased, such as a mail order, or when trying on clothes is troublesome, the control unit 60 may compare the size with the clothes on hand. For example, when purchasing a skirt by mail order, it may not be clear whether a knee will come out. In such a case, the control unit 60 displays an image of a skirt having a similar length on the display 12 so that the user can visually recognize whether or not the knee is to be worn when the skirt to be purchased is worn. be able to. Similarly, when a coat is worn, it may not be clear whether the skirt is longer or shorter than the length of the coat. In such a case, the control unit 60 can inform the user of the result by comparison with the length of the coat on hand. As described above, according to the mobile terminal 10 of the present embodiment, it is possible to check the state when wearing clothes to be purchased using information on clothes in the same category on hand or information on clothes in different categories on hand. Can do.

なお、ステップ52で行ったコーディネート提案は、図7のフローチャートのステップS38へも転用することができる。   The coordination proposal made in step 52 can also be diverted to step S38 in the flowchart of FIG.

次いで、ステップS54では、制御部60は、ユーザが本処理の継続を希望しているか否かを判断する。ここでの判断が肯定された場合には、ステップS40に戻るが、否定された場合には、図8の全処理を終了する。   Next, in step S54, the control unit 60 determines whether or not the user desires to continue this process. If the determination here is affirmed, the process returns to step S40. If the determination is negative, the entire process of FIG. 8 is terminated.

以上のように、制御部60が図8の処理を実行することで、ユーザが新しく購入しようとしている服装と、手持ちの服装とが類似する場合に、ユーザにその旨を報知したり、新しく購入しようとしている服装と、手持ちの服装とによるコーディネート案をユーザに提供したりすることができる。   As described above, when the control unit 60 executes the process of FIG. 8 and the clothes that the user intends to newly purchase are similar to the clothes that the user has, the user is notified of that or newly purchased. It is possible to provide the user with a coordination plan based on the clothes he is trying to wear and the clothes he has.

以上、詳細に説明したように、本実施形態によると、携帯端末10が、本体部11に設けられた第1カメラ31と、本体部11の第1カメラ31とは異なる位置に設けられた第2カメラ32、第3カメラ33と、本体部11の姿勢を検出する姿勢センサ23と、姿勢センサ23の検出結果に応じて、各カメラによる撮像を行う制御部60と、を備えている。これにより、本実施形態では、本体部11の姿勢に応じて、すなわち、第1〜第3カメラ31〜33の撮影可能範囲に応じて、撮像を行うことが可能となる。したがって、各カメラが適切な画像を撮像できるときに各カメラを用いた撮像が行われるため、適切な画像の撮像を自動的に行うことができ、携帯端末10の使い勝手を向上することが可能となる。   As described above in detail, according to the present embodiment, the mobile terminal 10 includes the first camera 31 provided in the main body 11 and the first camera 31 provided in a different position from the first camera 31 of the main body 11. 2 cameras 32, a third camera 33, an attitude sensor 23 that detects the attitude of the main body 11, and a control unit 60 that performs imaging with each camera according to the detection result of the attitude sensor 23. Thereby, in this embodiment, it becomes possible to image according to the attitude | position of the main-body part 11, ie, according to the imaging | photography possible range of the 1st-3rd cameras 31-33. Therefore, when each camera can capture an appropriate image, imaging using each camera is performed. Therefore, it is possible to automatically capture an appropriate image and improve the usability of the mobile terminal 10. Become.

また、不適切な画像が撮像される可能性のあるとき(例えば盗撮になりかねない場合)に、自動的な撮像を行わないようにする(撮像を禁止する)ことができるため、この点からも、携帯端末10の使い勝手を向上することが可能となる。   In addition, since there is a possibility that an inappropriate image may be captured (for example, when there is a possibility of voyeurism), it is possible to prevent automatic imaging (prohibit imaging) from this point. In addition, the usability of the mobile terminal 10 can be improved.

また、本実施形態では、第1カメラ31は前記本体部の−Y側の面(主面)に設けられ、第3カメラ33は主面とは異なる面(+Y側の面)に設けられているので、ユーザが座った状態又は立った状態で、ユーザの上半身と下半身とを同時に撮像することが可能である。   In the present embodiment, the first camera 31 is provided on the −Y side surface (main surface) of the main body, and the third camera 33 is provided on a surface (+ Y side surface) different from the main surface. Therefore, it is possible to image the upper and lower body of the user at the same time while the user is sitting or standing.

また、本実施形態では、携帯端末10の主面(−Y側の面)に、タッチパネル14とディスプレイ12とが設けられているので、ユーザが携帯端末10の操作、ディスプレイ12の視認を行っている間に、ユーザの身なり(上半身や下半身)を撮像することができる。   In this embodiment, since the touch panel 14 and the display 12 are provided on the main surface (the surface on the −Y side) of the mobile terminal 10, the user operates the mobile terminal 10 and visually recognizes the display 12. The user's appearance (upper body and lower body) can be imaged while the user is in motion.

また、本実施形態では、本体部11を保持しているユーザの姿勢を検出する加速度センサ25を有しており、制御部60は、加速度センサ25の検出結果に応じて、第3カメラ33の撮像条件を変更する。これにより、第3カメラ33により適切な画像を撮像できるときに、第3カメラ33による撮像を実行することができる。また、制御部60は、加速度センサ25の検出結果に応じて撮像された画像のトリミングを行うことで、撮像された画像のうち、撮像すべきでなかった可能性の高い部分をユーザが視認できないようにすることができる。   Moreover, in this embodiment, it has the acceleration sensor 25 which detects the attitude | position of the user holding the main-body part 11, and the control part 60 of 3rd camera 33 according to the detection result of the acceleration sensor 25. Change the imaging conditions. As a result, when the third camera 33 can capture an appropriate image, the third camera 33 can perform imaging. In addition, the control unit 60 performs trimming of an image captured according to the detection result of the acceleration sensor 25, so that the user cannot visually recognize a portion of the captured image that is likely not to be captured. Can be.

また、本実施形態では、ユーザが携帯端末10(本体部11)を保持していることを、生体センサ22の圧力センサ等により検出し、制御部60は、圧力センサ等による検出がされたときに、カメラ31〜33の少なくとも1つによる撮像を行うので、ユーザの身なり等を適切なタイミングで撮像することができる。   Moreover, in this embodiment, when the user is holding the portable terminal 10 (main body part 11), it detects with the pressure sensor etc. of the biosensor 22, and the control part 60 is detected with a pressure sensor etc. In addition, since imaging is performed by at least one of the cameras 31 to 33, the user's appearance and the like can be captured at an appropriate timing.

また、本実施形態では、服装検出部42が、各カメラが撮像した画像を合成するので、各カメラが撮像したユーザの部分的な画像(顔周辺、上半身、下半身などの画像)を纏めて1枚の画像とすることができる。これにより、ユーザの身なりを適切に分析することが可能となる。   In the present embodiment, since the clothing detection unit 42 synthesizes the images captured by the cameras, partial images (images of the periphery of the face, the upper body, the lower body, etc.) captured by the cameras are collected 1 It can be a single image. Thereby, it becomes possible to analyze a user's appearance appropriately.

また、本実施形態では、身なりに関するデータを記憶するフラッシュメモリ50を備えているので、制御部60は、ユーザの現在の身なりと過去の身なりとの同一性について分析したり、ユーザの現在の身なりのコーディネート案や、新しく購入しようとしている服と手持ちの服とのコーディネート案などを提案することができる。また、本実施形態では、通信部18が、外部機器100から身なりに関するデータを取得するので、過去の服装(デジカメ100aで撮像した服装や、画像サーバ100bに記憶されている服装など)のデータに基づいた、ユーザの身なりの分析を行うことが可能である。   Further, in the present embodiment, since the flash memory 50 that stores data relating to the dressing is provided, the control unit 60 analyzes the identity between the current dressing of the user and the past dressing, or the current dressing of the user. You can propose a coordination plan for your clothes, a coordination plan for clothes that you are going to purchase and clothes you have on hand. In the present embodiment, since the communication unit 18 obtains data related to the dressing from the external device 100, the data of past clothes (such as clothes photographed with the digital camera 100a or clothes stored in the image server 100b) are included. Based on this, it is possible to analyze the user's appearance.

また、本実施形態の携帯端末10では、制御部60が、ユーザの服装を撮像した画像データを取得し、服装検出部42が、画像データに基づいて、服装の組合せを判別するので、ユーザの服装の組み合わせを画像データから自動的に判別することが可能である。   In the mobile terminal 10 according to the present embodiment, the control unit 60 acquires image data obtained by capturing the user's clothes, and the clothes detection unit 42 determines the combination of clothes based on the image data. It is possible to automatically determine the combination of clothes from the image data.

また、本実施形態では、顔認識部41が、画像中からユーザの顔を認識するので、顔から下側の部分を服装と判断することで、ユーザの服装の組み合わせを簡易に判別することが可能である。また、顔認識結果を用いることで、ユーザの本人確認や、ユーザごとの服装管理を行うことが可能となる。   In this embodiment, since the face recognition unit 41 recognizes the user's face from the image, it is possible to easily determine the combination of the user's clothes by determining the lower part from the face as the clothes. Is possible. Further, by using the face recognition result, it becomes possible to perform user identification and clothing management for each user.

また、本実施形態では、制御部60は、フラッシュメモリ50に、ユーザの服装の組み合わせの頻度を記憶させるので、当該頻度の情報をユーザに対して提供(例えば、ディスプレイ12に表示)することができる。   In the present embodiment, since the control unit 60 stores the frequency of the combination of the user's clothes in the flash memory 50, the frequency information can be provided to the user (for example, displayed on the display 12). it can.

また、本実施形態の携帯端末10は、ユーザが所持している服装データを記憶するフラッシュメモリ50と、フラッシュメモリ50に記憶されていない服装に関する情報を入力する通信部18とを備えている。これにより、制御部60は、ユーザが購入しようとしている服装(店舗サーバ100cから取得)と、フラッシュメモリ50に記憶されている手持ちの服装とのコーディネートを提案することができる。   In addition, the mobile terminal 10 of the present embodiment includes a flash memory 50 that stores clothes data possessed by the user, and a communication unit 18 that inputs information about clothes that are not stored in the flash memory 50. Thereby, the control unit 60 can propose a coordination between the clothes that the user intends to purchase (obtained from the store server 100c) and the clothes that the user has stored in the flash memory 50.

また、本実施形態では、制御部60は、フラッシュメモリ50に記憶されている手持ちの服装データの中から、ユーザが購入しようとしている服装に類似した服装データを検出し、ディスプレイ12に表示する。これにより、ユーザが、手持ちの服装と類似する服装を新たに購入してしまうようなことを防止することができる。   In the present embodiment, the control unit 60 detects clothes data similar to the clothes that the user intends to purchase from the hand-held clothes data stored in the flash memory 50 and displays the clothes data on the display 12. Thereby, it is possible to prevent the user from newly purchasing clothes similar to the clothes on hand.

また、本実施形態では、リサイズ部43が、ユーザの体型の変化を検出するので、当該体型の変化に関する情報をユーザに対して提供することができる。   Moreover, in this embodiment, since the resizing part 43 detects the change of a user's body shape, the information regarding the change of the said body shape can be provided with respect to a user.

なお、上記実施形態では、電車の中などの外出先においてユーザを撮像し、身なりを分析する場合について説明したが、これに限られるものではない。例えば、寒い季節においては、コートを着用しているため、コートの下に何を着用しているかが外から見て判断できない場合がある。このような場合には、ユーザが室内にいるとき(例えば、日付が冬であるのに、気温(室温)が15℃以上であるときなど)にのみ、ユーザの撮像を行うようにしてもよい。   In addition, although the said embodiment demonstrated the case where a user was imaged in the place where it goes out, such as in a train, and analyzed, the present invention is not limited to this. For example, in a cold season, since a coat is worn, what is worn under the coat may not be determined from the outside. In such a case, the user may be imaged only when the user is indoors (for example, when the date is winter but the temperature (room temperature) is 15 ° C. or higher). .

なお、上記実施形態では、制御部60は、図7のステップS38において、髪型等に基づいたコーディネート提案を行うものとしたが、これに限られるものではない。例えば、ユーザが海外に行く場合に、その国や都市を入力したとする。このような場合には、制御部60は、例えば、画像サーバ100bからその国や都市(例えばデンマーク)の在住者であり、かつユーザと同じ性別で年齢の近い人の最近(又は前年)の服装の画像データを取得し、提供することとしてもよい。これにより、ユーザに対して、現地の気候や風土に適したコーディネートの情報を提供することができる。   In the above-described embodiment, the control unit 60 performs the coordination proposal based on the hairstyle or the like in step S38 in FIG. 7, but the present invention is not limited to this. For example, when the user goes abroad, it is assumed that the country or city is input. In such a case, for example, the control unit 60 is a recent (or previous year) outfit of a person resident in the country or city (for example, Denmark) from the image server 100b and having the same gender as the user and a close age. The image data may be acquired and provided. As a result, it is possible to provide the user with coordinate information suitable for the local climate and climate.

なお、ステップS48では、新しい服装の購入を検討している場合に、類似の服装をすでに保有しているのであれば、ユーザに対してその旨を報知する場合について説明したが、これに限られるものではない。例えば、服装DBにおいて服装のサイズを管理しているような場合で、新しい服装のサイズと、手持ちの服装のサイズとが異なる場合には、これまでの服装が着れなくなるおそれがある旨をユーザに報知するようにしてもよい。なお、このような報知は、成長盛りである子供の洋服のコーディネートを行う場合に特に有効である。また、ユーザが自分のサイズを認識していない場合もあるので、服装DBに記憶されている服装のサイズを抽出し、ディスプレイ12に予め表示するようにしてもよい。   In step S48, when purchasing new clothes, if similar clothes are already held, the case of notifying the user of that is described. However, the present invention is limited to this. It is not a thing. For example, when the size of clothes is managed in the clothes DB and the size of the new clothes is different from the size of the clothes on hand, the user may be informed that there is a possibility that the previous clothes may not be worn. You may make it alert | report. Such notification is particularly effective when coordinating clothes for children who are growing up. Further, since the user may not recognize his size, the size of the clothes stored in the clothes DB may be extracted and displayed on the display 12 in advance.

更に、家族の服を購入する場合や、他人に服をプレゼントする場合には、他人のサイズやどのような服を所持しているかがわからない場合がある。このような場合には、通信部18がデジカメ100aや、画像サーバ100b、店舗サーバ100cから家族や他人のサイズや、家族や他人が所持している服装情報を分析し、ユーザに報知するようにしてもよい。   Furthermore, when purchasing family clothes or presenting clothes to others, it may not be possible to know the size of others or what kind of clothes they have. In such a case, the communication unit 18 analyzes the size of the family and others and the clothes information possessed by the family and others from the digital camera 100a, the image server 100b, and the store server 100c, and notifies the user. May be.

なお、上記実施形態では、携帯端末10の主面(−Y側の面)に、操作部(上記実施形態ではタッチパネル14)と表示部(上記実施形態ではディスプレイ12)の両方が設けられている場合について説明した。しかしながら、これに限らず、少なくとも一方が設けられていればよい。   In the above embodiment, both the operation unit (touch panel 14 in the above embodiment) and the display unit (display 12 in the above embodiment) are provided on the main surface (the surface on the −Y side) of the mobile terminal 10. Explained the case. However, the present invention is not limited to this, and at least one may be provided.

なお、上記実施形態では、本体部11に第1〜第3カメラ31〜33を設ける場合について説明したが、これに限られるものではない。第1〜第3カメラ31〜33のうちの少なくとも2つが設けられていればよい。すなわち、これら少なくとも2つのカメラのみならず、上記実施形態で説明したカメラ以外の1又は複数のカメラが本体部11に設けられていてもよい。   In addition, although the said embodiment demonstrated the case where the 1st-3rd cameras 31-33 were provided in the main-body part 11, it is not restricted to this. It is sufficient that at least two of the first to third cameras 31 to 33 are provided. That is, not only the at least two cameras but also one or a plurality of cameras other than the cameras described in the above embodiment may be provided in the main body 11.

なお、上記実施形態においては、携帯端末10の撮像部30によりユーザの身なりの情報を検出したが、パーソナルコンピュータに撮像部を設けて、ユーザがパーソナルコンピュータを操作している間にユーザの身なりを検出してもよい。また、携帯端末10とパーソナルコンピュータとを連携して、ユーザの身なりの情報を検出したり、コーディネートの情報を提供したりしてもよい。   In the above embodiment, the user's appearance information is detected by the imaging unit 30 of the mobile terminal 10, but the personal computer is provided with an imaging unit so that the user's appearance is maintained while the user is operating the personal computer. It may be detected. Further, the portable terminal 10 and the personal computer may be linked to detect the user's dressed information or provide coordinate information.

また、上記実施形態では、電話機能のある片手サイズの大きさである携帯端末(スマートフォン)を例にとり説明したが、タブレット型コンピュータなどの携帯端末にも、上記実施形態を適用することができる。   Moreover, although the said embodiment demonstrated taking the case of the portable terminal (smartphone) which is the magnitude | size of the one hand size with a telephone function, the said embodiment is applicable also to portable terminals, such as a tablet type computer.

なお、上記実施形態では、ユーザの身なり分析などの処理を、制御部60が行うこととしたが、これに限られるものではない。上記実施形態で説明した制御部60の処理の一部又は全部を、ネットワーク80に接続された処理サーバ(クラウド)が実行することとしてもよい。   In the above-described embodiment, the control unit 60 performs processing such as analysis of the user's appearance. However, the present invention is not limited to this. A part or all of the processing of the control unit 60 described in the above embodiment may be executed by a processing server (cloud) connected to the network 80.

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。   The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

10 携帯端末
11 本体部
12 ディスプレイ
14 タッチパネル
18 通信部
23 姿勢センサ
25 加速度センサ
31 第1カメラ
32 第2カメラ
33 第3カメラ
42 服装検出部
43 リサイズ部
50 フラッシュメモリ
60 制御部
100 外部機器
DESCRIPTION OF SYMBOLS 10 Mobile terminal 11 Main body part 12 Display 14 Touch panel 18 Communication part 23 Attitude sensor 25 Acceleration sensor 31 1st camera 32 2nd camera 33 3rd camera 42 Clothing detection part 43 Resize part 50 Flash memory 60 Control part 100 External apparatus

Claims (17)

本体部に設けられた第1カメラと、
前記本体部の前記第1カメラとは異なる位置に設けられた第2カメラと、
前記本体部の姿勢を検出する第1姿勢検出センサと、
前記第1姿勢検出センサの検出結果に応じて、前記第1、第2カメラによる撮像を行う制御部と、を備えたことを特徴とする電子機器。
A first camera provided in the main body,
A second camera provided at a position different from the first camera of the main body,
A first posture detection sensor for detecting the posture of the main body,
An electronic apparatus comprising: a control unit that performs imaging with the first and second cameras according to a detection result of the first attitude detection sensor.
前記制御部は、前記第1姿勢検出センサの検出結果に応じて、前記第1、第2カメラの少なくとも一方による撮像を禁止することを特徴とする請求項1に記載の電子機器。   The electronic device according to claim 1, wherein the control unit prohibits imaging by at least one of the first and second cameras according to a detection result of the first attitude detection sensor. 前記第1カメラは前記本体部の第1の面に設けられ、前記第2カメラは前記第1の面とは異なる第2の面に設けられていることを特徴とする請求項1又は2に記載の電子機器。   The said 1st camera is provided in the 1st surface of the said main-body part, and the said 2nd camera is provided in the 2nd surface different from the said 1st surface, The Claim 1 or 2 characterized by the above-mentioned. The electronic device described. 前記本体部の前記第1の面には、操作部と表示部との少なくとも一方が設けられていることを特徴とする請求項1〜3のいずれか一項に記載の電子機器。   The electronic device according to claim 1, wherein at least one of an operation unit and a display unit is provided on the first surface of the main body unit. 前記本体部を携帯しているユーザの姿勢を検出する第2姿勢検出センサを備えたことを特徴とする請求項1〜4のいずれか一項に記載の電子機器。   The electronic apparatus according to claim 1, further comprising a second attitude detection sensor that detects an attitude of a user carrying the main body. 前記制御部は、前記第2姿勢検出センサの検出結果に応じて、前記第2カメラの撮像条件と、前記第2カメラの撮像後の処理との少なくとも一方を変更することを特徴とする請求項5に記載の電子機器。   The control unit changes at least one of an imaging condition of the second camera and a process after imaging of the second camera according to a detection result of the second attitude detection sensor. 5. The electronic device according to 5. 前記本体部を保持しているユーザとの距離を検出する距離センサを備えたことを特徴とする請求項1〜6のいずれか一項に記載の電子機器。   The electronic apparatus according to claim 1, further comprising a distance sensor that detects a distance from a user holding the main body. 前記制御部は、前記本体部をユーザが保持しているときに、前記第1、第2カメラの少なくとも一方による撮像を行うことを特徴とする請求項1〜7のいずれか一項に記載の電子機器。   The said control part performs the imaging by at least one of the said 1st, 2nd camera, when the user hold | maintains the said main-body part, The Claim 1 characterized by the above-mentioned. Electronics. 前記本体部には、生体情報を取得する生体センサが設けられていることを特徴とする請求項1〜8のいずれか一項に記載の電子機器。   The electronic device according to claim 1, wherein the main body portion is provided with a biological sensor that acquires biological information. 前記第1カメラが撮像した画像と、前記第2カメラが撮像した画像とを合成する合成部を備えたことを特徴とする請求項1〜9のいずれか一項に記載の電子機器。   The electronic apparatus according to claim 1, further comprising a combining unit that combines an image captured by the first camera and an image captured by the second camera. 前記第1の面の前記第1カメラとは異なる位置に設けられた第3カメラを備えたことを特徴とする請求項1〜10のいずれか一項に記載の電子機器。   The electronic device according to claim 1, further comprising a third camera provided at a position different from the first camera on the first surface. 身なりに関するデータを記憶するメモリを備えたことを特徴とする請求項1〜11のいずれか一項に記載の電子機器。   The electronic device according to claim 1, further comprising a memory that stores data relating to the dressing. 前記メモリに記憶されているデータと、前記第1、第2カメラが撮像した画像データとを比較する比較部を備えたことを特徴とする請求項12に記載の電子機器。   The electronic device according to claim 12, further comprising a comparison unit that compares data stored in the memory with image data captured by the first and second cameras. 外部機器から身なりに関するデータを取得する取得部を備えたことを特徴とする請求項1〜13のいずれか一項に記載の電子機器。   The electronic device according to claim 1, further comprising an acquisition unit that acquires data related to dressing from an external device. ユーザの動きを検出する動き検出センサと、
本体部の姿勢を検出する姿勢検出センサと、
前記本体部に設けられ、処理を行なう処理部と、
前記動き検出センサと前記姿勢検出センサとの検出結果に基づいて、前記処理部による処理を制御する制御部と、を備えたことを特徴とする電子機器。
A motion detection sensor for detecting a user's motion;
An attitude detection sensor for detecting the attitude of the main body, and
A processing unit that is provided in the main body and performs processing;
An electronic apparatus comprising: a control unit that controls processing by the processing unit based on detection results of the motion detection sensor and the posture detection sensor.
前記制御部は、前記動きセンサの出力が所定の値よりも小さくなったときに、前記処理部による処理を行うことを特徴とする請求項15に記載の電子機器。   The electronic device according to claim 15, wherein the control unit performs processing by the processing unit when an output of the motion sensor becomes smaller than a predetermined value. 前記処理部は、撮像を行う撮像部であることを特徴とする請求項15又は16に記載の電子機器。   The electronic device according to claim 15, wherein the processing unit is an imaging unit that performs imaging.
JP2012072215A 2012-03-27 2012-03-27 Electronic device Pending JP2013207406A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012072215A JP2013207406A (en) 2012-03-27 2012-03-27 Electronic device
US14/389,049 US20150084984A1 (en) 2012-03-27 2012-10-05 Electronic device
PCT/JP2012/075928 WO2013145387A1 (en) 2012-03-27 2012-10-05 Electronic device
IN7947DEN2014 IN2014DN07947A (en) 2012-03-27 2012-10-05
CN201280071880.0A CN104247393A (en) 2012-03-27 2012-10-05 Electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012072215A JP2013207406A (en) 2012-03-27 2012-03-27 Electronic device

Publications (1)

Publication Number Publication Date
JP2013207406A true JP2013207406A (en) 2013-10-07

Family

ID=49526124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012072215A Pending JP2013207406A (en) 2012-03-27 2012-03-27 Electronic device

Country Status (1)

Country Link
JP (1) JP2013207406A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016084453A1 (en) * 2014-11-27 2016-06-02 ソニー株式会社 Information processing device, control method and program
JP2017016518A (en) * 2015-07-03 2017-01-19 京セラ株式会社 Portable electronic equipment, control method and control program
JPWO2019049494A1 (en) * 2017-09-08 2020-08-20 パナソニックIpマネジメント株式会社 Sound collecting device, sound collecting system, sound collecting method, program, and calibration method
JP7174817B1 (en) 2021-07-30 2022-11-17 功憲 末次 Improper Use Control System and Improper Use Control Program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297251A (en) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd Mobile terminal
JP2009111843A (en) * 2007-10-31 2009-05-21 Sony Corp Imaging apparatus and imaging method
JP2009118134A (en) * 2007-11-06 2009-05-28 Sony Corp Automatic imaging apparatus, automatic imaging control method, image display system, image display method, display control unit, and display control method
JP2009216743A (en) * 2008-03-07 2009-09-24 Canon Inc Image stabilizing camera
JP2011070475A (en) * 2009-09-28 2011-04-07 Nec Corp Portable terminal, information providing method, and program for the same
JP2011087183A (en) * 2009-10-16 2011-04-28 Olympus Imaging Corp Imaging apparatus, image processing apparatus, and program
JP2012029138A (en) * 2010-07-26 2012-02-09 Olympus Corp Imaging apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297251A (en) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd Mobile terminal
JP2009111843A (en) * 2007-10-31 2009-05-21 Sony Corp Imaging apparatus and imaging method
JP2009118134A (en) * 2007-11-06 2009-05-28 Sony Corp Automatic imaging apparatus, automatic imaging control method, image display system, image display method, display control unit, and display control method
JP2009216743A (en) * 2008-03-07 2009-09-24 Canon Inc Image stabilizing camera
JP2011070475A (en) * 2009-09-28 2011-04-07 Nec Corp Portable terminal, information providing method, and program for the same
JP2011087183A (en) * 2009-10-16 2011-04-28 Olympus Imaging Corp Imaging apparatus, image processing apparatus, and program
JP2012029138A (en) * 2010-07-26 2012-02-09 Olympus Corp Imaging apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016084453A1 (en) * 2014-11-27 2016-06-02 ソニー株式会社 Information processing device, control method and program
JP2017016518A (en) * 2015-07-03 2017-01-19 京セラ株式会社 Portable electronic equipment, control method and control program
JPWO2019049494A1 (en) * 2017-09-08 2020-08-20 パナソニックIpマネジメント株式会社 Sound collecting device, sound collecting system, sound collecting method, program, and calibration method
JP7133789B2 (en) 2017-09-08 2022-09-09 パナソニックIpマネジメント株式会社 Sound collection device, sound collection system, sound collection method, program, and calibration method
JP7174817B1 (en) 2021-07-30 2022-11-17 功憲 末次 Improper Use Control System and Improper Use Control Program
JP2023020123A (en) * 2021-07-30 2023-02-09 功憲 末次 Inappropriate use control system and inappropriate use control program
US11886317B2 (en) 2021-07-30 2024-01-30 Katsunori SUETSUGU Inappropriate use control system and inappropriate use control program

Similar Documents

Publication Publication Date Title
WO2013145387A1 (en) Electronic device
JP2013205969A (en) Electronic equipment
US10653962B2 (en) Generating and utilizing digital avatar data for online marketplaces
JP5929145B2 (en) Electronic device, information processing method and program
US7454216B2 (en) in-facility information provision system and in-facility information provision method
JP2013207407A (en) Electronic device
US10445577B2 (en) Information display method and information display terminal
JP6069565B1 (en) RECOMMENDATION DEVICE, RECOMMENDATION METHOD, AND PROGRAM
JP2017076315A (en) Image processing device, image processing method, and program
JP5504807B2 (en) Coordinated image creation device, coordinated image creation method and program
WO2013084395A1 (en) Electronic device, information processing method and program
JP6720385B1 (en) Program, information processing method, and information processing terminal
US20150018023A1 (en) Electronic device
JP5264634B2 (en) Coordinating system, coordinating method and program
JP2013207406A (en) Electronic device
JP5915457B2 (en) Control system and program
US20220327747A1 (en) Information processing device, information processing method, and program
KR20130116091A (en) Virtual fitting service system for providing shopping course and the providing method thereof
KR20200079721A (en) Smart clothes management system and method thereof
JP6656572B1 (en) Information processing apparatus, display control method, and display control program
JP2004086662A (en) Clothes try-on service providing method and clothes try-on system, user terminal device, program, program for mounting cellphone, and control server
JP4427714B2 (en) Image recognition apparatus, image recognition processing method, and image recognition program
KR20140139901A (en) Applications with Clothing Management and coordination functions
KR101705106B1 (en) Method and application for managing clothes, and method for managing progress of production
JP2006155545A (en) Image evaluation device and camera-equipped portable terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170117