JP2023095908A - Information processing system, information processing method, and program - Google Patents
Information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP2023095908A JP2023095908A JP2023072870A JP2023072870A JP2023095908A JP 2023095908 A JP2023095908 A JP 2023095908A JP 2023072870 A JP2023072870 A JP 2023072870A JP 2023072870 A JP2023072870 A JP 2023072870A JP 2023095908 A JP2023095908 A JP 2023095908A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- unit
- person
- clothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000605 extraction Methods 0.000 abstract description 54
- 239000000284 extract Substances 0.000 abstract description 18
- 238000001514 detection method Methods 0.000 description 47
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005314 correlation function Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、服装提案装置、服装提案方法、およびプログラムに関し、特に、ユーザに服装を提案する服装提案装置等に関する。 The present invention relates to an outfit proposal device, an outfit proposal method, and a program, and more particularly to an outfit proposal device and the like for suggesting outfits to a user.
ユーザが自分の服装を決定することをサポートする関連技術が存在する。例えば、特許文献１に記載の関連技術は、場所を指定する情報をユーザから入力されたとき、指定された場所において撮影された画像を収集するものである。そして、特許文献１に記載の関連技術では、画像中の人物の服装を分析することによって、服装の傾向を示す情報を生成し、生成した情報をユーザ端末へ送信する。特許文献２に記載の関連技術は、ユーザを撮影した画像から、ユーザの服装や髪形を判別するものである。そして、特許文献２に記載の関連技術は、ユーザの服装や髪形に応じた服装のコーディネートをユーザに提案するものである。
Related technologies exist to support users in determining their clothing. For example, the related technology described in
ユーザが、未知の場所、例えば外国へ初めて訪れようとしているとき、気候やマナーなどの観点で、どのような服装がふさわしいのか、ユーザには分からない場合がある。そこで、指定された場所に適した服装をユーザに提案できる技術が求められている。 When a user is about to visit an unknown place, such as a foreign country, for the first time, the user may not know what kind of clothing is appropriate in terms of climate, manners, and the like. Therefore, there is a demand for a technique that can suggest clothes suitable for a specified place to a user.
本発明の目的は、指定された場所に適した服装をユーザに提案する服装提案装置等を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an outfit proposal device or the like that proposes to a user an outfit suitable for a specified place.
本発明の一態様に係わる情報処理システムは、ユーザの顔に関する顔情報を取得し、前記ユーザの顔に類似している人物を検出する検出手段と、当該検出された人物の服装に関する情報に基づいて、前記ユーザに服装を提案する提案手段と、を備えている。 An information processing system according to an aspect of the present invention includes a detection unit that acquires face information about a user's face and detects a person whose face is similar to the user's face; and suggestion means for proposing clothes to the user.
本発明の一態様に係わる情報処理方法では、コンピュータが、ユーザの顔に関する顔情報を取得し、前記ユーザの顔に類似している人物を検出し、当該検出された人物の服装に関する情報に基づいて、前記ユーザに服装を提案する、ことを含む。 In an information processing method according to an aspect of the present invention, a computer obtains face information about a user's face, detects a person whose face is similar to the user's face, and based on information about clothing of the detected person, and suggesting clothing to the user.
本発明の一態様に係わるプログラムは、ユーザの顔に関する顔情報を取得し、前記ユーザの顔に類似している人物を検出することと、当該検出された人物の服装に関する情報に基づいて、前記ユーザに服装を提案することと、をコンピュータに実行させる。 A program according to an aspect of the present invention acquires face information about a user's face, detects a person whose face is similar to the user's face, and based on information about clothes of the detected person, suggesting clothing to the user; and causing a computer to execute.
本発明によれば、指定された場所に適した服装をユーザに提案することができる。 According to the present invention, it is possible to suggest clothing suitable for a designated place to a user.
〔実施形態１〕
図１～図８を参照して、実施形態１について以下で説明する。
[Embodiment 1]
（通信システム１）
図１は、本実施形態１に係わる通信システム１の構成を示すブロック図である。図１に示すように、通信システム１は、服装提案装置１０、入力部２０、ユーザ情報記憶部３０、および提示部６０を備えている。
(Communication system 1)
FIG. 1 is a block diagram showing the configuration of a
服装提案装置１０は、通信システム１の他の各部と、それぞれ接続されている。また、服装提案装置１０は、図示しない通信装置を介して、インターネットと接続している。通信システム１の機能については、入力部２０の構成の説明の後で、説明する。
The
入力部２０は、服装提案装置１０への入力をユーザが行うための入力デバイスである。入力部２０は、例えば、キーボード、マウス、タッチパネル、またはその他の入力デバイスであってよい。ここでいう場所には、例えば、特定の国名や、特定の地名や、特定の国または地域のレストラン、ダイニングカフェ、公共施設、コンサートホール、イベント会場、スポーツ競技場、宗教施設などが含まれる。
The
例えば、入力部２０は、場所の名称（たとえば、アメリカ、ニューヨーク、恵比寿のレストラン、東京ドーム、代々木公園など）を入力するためのユーザ操作を受け付ける。あるいは、入力部２０は、場所を特定するためのその他の情報、例えば住所、電話番号、または位置情報などを入力するためのユーザ操作を受け付けてもよい。入力部２０は、ユーザから入力された場所を指定する情報を、服装提案装置１０へ送信する。
For example, the
服装提案装置１０は、入力部２０から、場所を指定する情報を受信する。服装提案装置１０は、指定された場所の情報を用いて、図示しない通信装置を通じて、インターネット検索を行うことにより、指定された場所の情報が紐付けられた画像を、インターネット上から収集する。服装提案装置１０によって収集された画像は、入力部２０が受け付けたユーザ操作によって指定された場所で撮影された画像を含んでいる。なお画像は、動画の一フレームであってもよい。
服装提案装置１０は、こうして収集した画像を解析することによって、画像中の人物（指定された場所で撮影された人物であって、通常、ユーザとは異なる他人である）の服装を判別する。ここでいう服装とは、一人の人物が着用している要素の組み合わせのことである。服装を構成する要素には、衣服の種類のほか、服飾品、露出の高さ、丈、柄、および色が含まれる。服装提案装置１０は、画像中の人物の服装の判別結果に基づいて生成したデータ（後述）を、提示部６０へ出力する。
The
さらに、服装提案装置１０は、画像中の人物の服装の判別結果に基づいて、ユーザに提供する提案情報を生成する。提案情報とは、ユーザに提案する服装の情報である。服装提案装置１０は、生成した提案情報を、提示部６０へ送信して、提示部６０に提示させる。なお、服装提案装置１０の動作の詳細については後述する。
Furthermore, the
ユーザ情報記憶部３０は、服装提案装置１０に接続されており、服装提案装置１０によって参照される。
The user
ユーザ情報記憶部３０には、ユーザの属性を示す情報（以下では、この情報を属性情報と呼ぶ）、および、ユーザの嗜好を示す情報（以下では、この情報を嗜好情報と呼ぶ）が格納されている。ユーザの属性情報およびユーザの嗜好情報は、ユーザによって、入力部２０を用いて入力される。服装提案装置１０の入力受付部１１（図２参照）は、ユーザの属性情報およびユーザの嗜好情報を、入力部２０から取得して、ユーザ情報記憶部３０に格納する。
The user
ユーザの属性情報には、例えば、ユーザの性別、年齢、および家族構成に関する情報が含まれる。ユーザの嗜好情報には、ユーザの好みの服装の情報が含まれる。そのほかにも、ユーザの嗜好情報には、例えば、ユーザの好みの色や柄の情報、および、ユーザが所持している衣服および服飾品に関する情報が含まれてもよい。 User attribute information includes, for example, information on the user's gender, age, and family structure. The user's preference information includes information on user's favorite clothes. In addition, the user's preference information may include, for example, information on the user's favorite colors and patterns, and information on clothes and accessories possessed by the user.
提示部６０は、服装提案装置１０から、提案情報を受信する。提示部６０は、服装提案装置１０からの指示に基づいて、提案情報を提示する。本実施形態１に係わる提示部６０は、表示部６１を備えている（図１参照）。例えば、提案情報が、ユーザに提案する服装の画像を含む場合、提示部６０は、その画像を表示部６１に表示させる。
The
（服装提案装置１０）
図２は、服装提案装置１０の構成を示すブロック図である。図２に示すように、服装提案装置１０は、入力受付部１１、画像収集部１２、人物検出部１３、服装情報抽出部１４、ユーザ情報取得部１５、および提案部１６を備えている。
(Outfit suggestion device 10)
FIG. 2 is a block diagram showing the configuration of the
入力受付部１１は、入力部２０を介して、場所を指定する情報の入力を受け付ける。場所を指定する情報の入力は、例えば、場所の名称または住所をキーボードで入力することであってもよいし、表示部６１あるいは他の表示装置（図示せず）に表示されているマップ上の位置を、ユーザがタッチまたはポインタで指し示すことであってもよい。前者の場合、キーボードが、上述した入力部２０である。後者の場合、タッチパネルまたはマウスが、入力部２０である。入力受付部１１は、指定された場所を示す情報を、画像収集部１２および提案部１６へ送信する。
The
画像収集部１２は、入力受付部１１から、指定された場所を示す情報を受信する。画像収集部１２は、指定された場所に関する画像を収集する。具体的には、画像収集部１２は、場所を指定する情報を用いて、インターネット検索を行い、指定された場所の情報と紐付けられている複数の画像を、インターネット上から収集する。例えば、画像収集部１２は、ポータルサイトが提供している検索エンジンに、指定された場所を示す情報と紐付いた画像を検索させてもよい。この場合、画像収集部１２は、検索エンジンから、検索結果として、指定された場所に関する画像を取得する。
The
図３は、服装提案装置１０の画像収集部１２によって収集された一つの画像ｐを示す。画像ｐは、複数の人物（ユーザとは異なる他人である）を含んでいる。画像収集部１２は、例えば図３に示すような画像を収集する。画像収集部１２は、こうして収集した複数の画像を、人物検出部１３へ送信する。
FIG. 3 shows one image p collected by the
人物検出部１３は、画像収集部１２から、インターネット上から収集された複数の画像を取得する。人物検出部１３は、収集された複数の画像から、人物の第１の特徴を抽出する。第１の特徴は、人物らしさを表す特徴で、人物の肩、腕、足、頭部、顔のうちのいずれが１つ、あるいはいずれか２つ以上の特徴を含んでも良い。人物検出部１３は、人物の第１の特徴を用いて、これらの複数の画像の各々から人物の領域を検出する。具体的には、人物検出部１３は、各画像において、人物らしさに対応する評価値が閾値を超える領域を、人物の領域であると判別する。人物の領域は、人物部分の画像を包含する矩形領域あるいは人物部分の画像を包含する他の形状の領域でよい。これによって、例えば、人物検出部１３は、図３に示す画像ｐから、人物Ａの領域を検出する。人物検出部１３は、人物Ａの領域を示す情報を出力する。人物の領域を示す情報は、人物（たとえば、人物Ａ）の画像を含む領域の画像のデータであってもよい。
The
以上のように、人物検出部１３は、画像収集部１２によって収集された複数の画像から人物を検出する。
As described above, the
また、人物検出部１３は、人物の領域に対応する人物Ａの属性を判別する。人物の属性とは、例えば、人物の性別および年齢層である。人物検出部１３は、図示されない記憶装置に記憶された服装、髪型などのサンプルデータを教師データとして用いて、性別または年齢層ごとに、人物の第２の特徴を予め学習する。第２の特徴は、人物の属性に関わる特徴である。学習の処理に用いられるソフトウェアアルゴリズムは、特に限定されない。そして、人物検出部１３は、学習結果に基づいて、画像ｐ中の人物Ａの性別および年齢層を判別（識別ともいう）する。
Also, the
人物検出部１３は、画像中の人物の領域を示す情報と、人物の属性を示す情報とを紐付けて、服装情報抽出部１４へ送信する。人物検出部１３が検出する人物は、画像収集部１２によって収集された画像中の人物であり、通常はユーザに対し他人である。したがって、人物の属性を示す情報を、以下では、他人の属性情報と呼ぶ。
The
服装情報抽出部１４は、人物検出部１３から、人物Ａの領域を示す情報を受信する。服装情報抽出部１４は、人物Ａの領域を示す情報から人物Ａの服装に関する第１の情報を抽出する。服装情報抽出部１４は、人物Ａの領域の画像のデータを分析することによって、人物Ａの服装を判別（識別）する。
The clothing
具体的には、服装情報抽出部１４は、人物Ａの領域の画像のデータから検出した服装ｆの特徴と、様々な種類の服装の特徴とを比較して、これらの特徴同士の類似度を計算する。そして、服装情報抽出部１４は、計算した類似度に基づいて、人物Ａの服装ｆを判別する。
Specifically, the clothing
服装情報抽出部１４は、様々な種類の服装の特徴を、サンプル画像を用いた機械学習によって得てもよい。服装情報抽出部１４は、機械学習に用いられるサンプル画像を、例えばインターネット上から取得してもよい。服装の特徴は、複数の特徴を要素とする特徴ベクトルで表されてもよい。服装の特徴の間の類似度は、例えば、特徴ベクトル間の距離又は方向に基づいて計算されてもよいし、特徴ベクトル間の相関関数に基づいて計算されてもよい。
The clothing
服装情報抽出部１４は、上述した手順で、画像ｐ中の人物の領域ごとに、対応する人物が着用している服装をそれぞれ判別する。服装情報抽出部１４は、人物の服装の判別結果に基づいて、人物の服装を示す情報（以下では、他人の服装情報と呼ぶ）を生成する。人物の服装とは、具体的には、１人の人物が着用している服装を構成する要素（例えば、衣服、服飾品）の組み合わせである。他人の服装情報は、第１の情報の一例である。あるいは、服装情報抽出部１４は、ユーザ情報記憶部３０を参照し、ユーザの属性情報またはユーザの嗜好情報に合致する他人の属性情報を、第１の情報として抽出してもよい。例えば、服装情報抽出部１４は、画像ｐ中の人物の中から、ユーザの属性（例えばユーザの年齢および性別）と類似する人物を判別し、ユーザと属性の類似する人物の服装を示す情報のみを、他人の服装情報として抽出する。あるいは、服装情報抽出部１４は、画像ｐ中の人物の中から、ユーザの嗜好（例えば好みの色）と合致する人物の服装を判別し、ユーザの嗜好と合致する人物の服装を示す情報のみを、他人の服装情報として抽出する。
The clothing
他人の服装情報は、人物が着用している服装を示す情報を含む。服装を示す情報とは、例えば、ドレスコード、衣服の種類、服飾品、露出の高さ、柄、色である。ドレスコードは、例えば、フォーマル、セミフォーマル、カジュアルなどである。衣服の種類は、例えば、スーツ、ジャケット、スカート、パンツ、ワンピース、シャツなどである。服飾品は、例えば帽子、サングラス、ネックレスなどである。露出の高さは、例えば、丈の長さやノースリーブかそうでないかで表される。柄は、例えば、ボーダー、チェック、ストライプ、なしである。色は、例えば、白、黒、グレーである。服装を示す情報には、衣服の種類、柄、色だけが含まれてもよいし、他の情報が含まれてもよい。 Others' clothing information includes information indicating the clothing worn by the person. The information indicating clothing includes, for example, dress code, clothing type, accessories, height of exposure, pattern, and color. Dress codes are, for example, formal, semi-formal, and casual. The types of clothes are, for example, suits, jackets, skirts, pants, dresses, shirts, and the like. Accessories are, for example, hats, sunglasses, necklaces, and the like. The height of exposure is represented, for example, by the length of the dress or whether it is sleeveless or not. Patterns are, for example, borders, checks, stripes, and none. Colors are, for example, white, black and gray. The information indicating clothes may include only the type, pattern, and color of the clothes, or may include other information.
服装情報抽出部１４は、こうして生成した他人の服装情報に対し、人物検出部１３が判別した他人の属性情報を紐付ける。そして、服装情報抽出部１４は、他人の服装情報と、他人の属性情報とを紐付けたデータを、提案部１６へ送信する。服装情報抽出部１４は、人物検出部１３が検出した人物の領域の情報も、提案部１６へさらに送信してもよい。服装情報抽出部１４から提案部１６へ送信されたデータは、提案部１６のキャッシュメモリ１６１０（図６参照）に格納される。
The clothing
図４は、服装情報抽出部１４から提案部１６へ送信されたデータであって、提案部１６のキャッシュメモリ１６１０に格納されているデータの一例を示す。図４に示す例において、コード（ドレスコード）、上下の衣服、服飾品、露出、柄、および色は、それぞれ、上述した他人の服装情報に含まれる。また、性別、および年齢は、上述した他人の属性情報に含まれる。しかしながら、他人の服装情報、および他人の属性情報は、図４に示す例に限定されない。
FIG. 4 shows an example of data transmitted from the clothing
ユーザ情報取得部１５は、ユーザに関する情報を取得する。ユーザに関する情報とは、具体的には、ユーザの属性情報およびユーザの嗜好情報である。ユーザの属性情報およびユーザの嗜好情報は、それぞれ、第２の情報の一例である。
The user
ユーザ情報取得部１５は、ユーザの属性情報およびユーザの嗜好情報を、上述したユーザ情報記憶部３０から取得して、提案部１６へ送信する。ユーザの属性情報およびユーザの嗜好情報は、どちらも第２の情報の一例である。以下では、ユーザの属性情報およびユーザの嗜好情報を併せて、ユーザの属性／嗜好情報と記載する。
The user
提案部１６は、第１の情報および第２の情報に基づいて、ユーザに提案する服装を決定する。すなわち、第１に、提案部１６は、服装情報抽出部１４から、他人の服装情報と、他人の属性情報とを取得する（図４参照）。第２に、提案部１６は、ユーザ情報取得部１５から、ユーザの属性／嗜好情報を受信する。第３に、提案部１６は、他人の服装情報と、ユーザの属性／嗜好情報とに基づいて、ユーザに提案する服装を決定する。
The
ユーザに提案する服装を決定した後、さらに提案部１６は、ユーザに提案する服装を示す提案情報を生成する。そして、提案部１６は、生成した提案情報を提示部６０へ送信する。例えば、提案情報は、ユーザに提案する服装をお勧め順に並べたリストであってよい。あるいは、提案情報は、ユーザに提案する服装の画像（図８参照）であってもよい。なお、提案部１６の詳細な構成や動作については、後述する。
After determining the clothing to be proposed to the user, the
（服装提案装置１０の動作）
図５を参照して、上述した服装提案装置１０の各部（図２参照）の動作を詳細に説明する。図５は、服装提案装置１０の動作の流れを示すフローチャートである。
(Operation of outfit proposal device 10)
The operation of each part (see FIG. 2) of the
図５に示すように、入力受付部１１は、上述した入力部２０（図１参照）から、場所を指定する情報を受信する（Ｓ１）。入力受付部１１は、場所を示す情報を、画像収集部１２および提案部１６へそれぞれ送信する。
As shown in FIG. 5, the
画像収集部１２は、入力受付部１１から、場所を指定する情報を取得する。画像収集部１２は、場所を指定する情報を用いて、インターネット検索を行う（Ｓ２）。例えば、画像収集部１２は、場所を表すタグ情報（例えばＥｘｉｆ）が紐付いた画像を検索する。
The
画像収集部１２は、ステップＳ２における検索の結果として、指定された場所に関する複数の画像（指定された場所で撮影された画像を含む）を、インターネット上から収集する（Ｓ３）。画像収集部１２は、収集した複数の画像を、人物検出部１３へ送信する。
As a result of the search in step S2, the
人物検出部１３は、画像収集部１２によって収集された複数の画像を取得する。人物検出部１３は、各画像から、一または複数の人物の領域を検出する（Ｓ４）。
The
加えて、人物検出部１３は、人物の領域に対応する人物の属性を判別して、上述した他人の属性情報を生成する。例えば、人物検出部１３は、人物の属性によって異なる特徴に基づいて、人物の領域に対応する人物の属性を判別する。人物の属性によって異なる特徴は、例えば、人物検出部１３が、様々な属性の人物を含む学習用のサンプル画像を用いて、機械学習を行うことによって得られる。人物検出部１３は、人物の領域を示す情報と、他人の属性情報とを紐付けて、服装情報抽出部１４へ送信する。
In addition, the
服装情報抽出部１４は、人物検出部１３から、人物の領域を示す情報と、他人の属性情報とを受信する。服装情報抽出部１４は、まず、人物の領域から、人物が着用している服装の特徴を抽出する（Ｓ５１）。
The clothing
服装情報抽出部１４は、様々な種類の服装の特徴（図３参照）を、予め学習している。服装情報抽出部１４は、人物の領域から抽出した服装の特徴と、様々な種類の服装の特徴とを比較して、これらの特徴の間の類似度を計算する。服装情報抽出部１４は、こうして計算した類似度に基づいて、人物が着用している服装を判別する（Ｓ５２）。
The clothing
服装情報抽出部１４は、ステップＳ５２における服装の判別結果に基づいて、上述した他人の服装情報を生成する。また、服装情報抽出部１４は、生成した他人の服装情報に対し、人物検出部１３から受信した他人の属性情報を紐付ける。そして、服装情報抽出部１４は、他人の服装情報と、他人の属性情報とを紐付けたデータ（図４参照）を、提案部１６へ送信する。
The clothing
提案部１６は、画像収集部１２によって収集された他の画像があるかどうかを判定する（Ｓ６）。画像収集部１２によって収集された他の画像がある場合（Ｓ６でＹｅｓ）、フローは、上述したステップＳ４に戻る。
The proposing
画像収集部１２によって収集された他の画像がない場合（Ｓ６でＮｏ）、提案部１６は、服装情報抽出部１４から受信した他人の服装情報（図４参照）を参照する。そして、提案部１６は、他人の服装情報を用いて、ユーザに提案する服装を決定する（Ｓ７）。なお、ステップＳ７の詳細を後述する（図７参照）。
If there is no other image collected by the image collection unit 12 (No in S6), the
その後、提案部１６は、ユーザに提案する服装を示す提案情報を生成する。例えば、提案情報は、ユーザに提案する服装をお勧め順に並べたリストであってよい。あるいは、提案情報は、ユーザに提案する服装の画像（図８参照）であってもよい。提案部１６は、このように生成した提案情報を、提示部６０に提示させる（Ｓ８）。
After that, the
以上で、服装提案装置１０の動作フローは終了する。
With this, the operation flow of the
（提案部１６）
図６は、服装提案装置１０（図２参照）が備えた提案部１６の構成を示すブロック図である。図６に示すように、提案部１６は、集計部１６０、第１選択部１６１、第２選択部１６２、および提案情報生成部１６４を含む。
(Proposal unit 16)
FIG. 6 is a block diagram showing the configuration of the
集計部１６０は、服装情報抽出部１４から、上述した他人の服装情報および他人の属性情報（図４参照）を受信して、図示しないキャッシュメモリ１６１０に格納する。集計部１６０は、キャッシュメモリ１６１０に格納された他人の服装情報における同じ服装の出現頻度を計算する。より詳細には、集計部１６０は、服装情報抽出部１４から受信した他人の服装情報のうち、同じ要素の組み合わせで構成された他人の服装情報の数をカウントする。
The tallying
例えば、集計部１６０は、キャッシュメモリ１６１０に格納された他人の服装情報において、「衣服」（１つ目の要素）がスーツであり、かつ、「柄」（２つ目の要素）がなしという組み合わせに相当する他人の服装情報がいくつあるかをカウントする。集計部１６０は、上記の集計結果に基づいて、カウント数が多い順に、いくつか（例えば数１０から１００通り）の他人の服装情報を選択する。集計部１６０は、選択した他人の服装情報と、それに紐付く他人の属性情報とを、第１選択部１６１へ送信する。
For example, the tallying
なお、集計部１６０のキャッシュメモリ１６１０に格納された全ての他人の服装情報において、出現頻度が閾値よりも低い服装が存在する場合、集計部１６０は、その服装がＮＧ（提案不可）であると判断する。この場合、集計部１６０は、ＮＧである服装を含まない他人の服装情報の中から、いくつかの他人の服装情報を選択する。逆に、キャッシュメモリ１６１０に格納された全ての他人の服装情報において、出現頻度が別の閾値よりも高い服装が存在する場合、集計部１６０は、その服装が必須であると判断する。この場合、集計部１６０は、必須である服装を含む他人の服装情報の中から、いくつかの他人の服装情報を選択する。
Note that if there is a piece of clothing whose frequency of appearance is lower than the threshold in all of the clothing information of other people stored in the
第１選択部１６１は、集計部１６０によって選択された他人の服装情報と、それに紐付く他人の属性情報とを受信する。また、第１選択部１６１は、ユーザ情報取得部１５から、上述したユーザ属性情報を取得する。第１選択部１６１は、集計部１６０から受信した他人の服装情報の中から、ユーザの属性に適合する他人の服装情報をさらに選択する。
The
具体的には、第１選択部１６１は、他人の服装情報と紐付けられた人物の属性情報と、ユーザ属性情報とを比較する。そして、両者が一致する場合、第１選択部１６１は、その他人の服装情報を選択する。一方、両者が異なる場合、第１選択部１６１は、その他人の服装情報を選択しない。第１選択部１６１は、このようにして選択した他人の服装情報を、第２選択部１６２へ送信する。
Specifically, the
第２選択部１６２は、第１選択部１６１によって選択された他人の服装情報を受信する。第２選択部１６２は、ユーザ情報取得部１５から、上述したユーザ嗜好情報を取得する。
The
第２選択部１６２は、第１選択部１６１によって選択された他人の服装情報の中から、ユーザの嗜好に適合する他人の服装情報をさらに選択する。
The
具体的には、第２選択部１６２は、他人の服装情報を構成する服装のうちの一定数以上が、ユーザの好みの服装である場合、その他人の服装情報を選択する。第２選択部１６２は、このようにして選択した他人の服装情報を提案情報生成部１６４へ送信する。
Specifically, the
提案情報生成部１６４は、第２選択部１６２によって選択された他人の服装情報を受信する。提案情報生成部１６４は、第２選択部１６２によって選択された他人の服装情報を用いて、ユーザに提案する服装を示す提案情報を生成する。
The suggested
提案情報生成部１６４は、生成した提案情報を提示部６０へ送信し、提示部６０に提案情報を提示させる。なお、提案情報の提示の一例を後述する。
Proposal
なお、第１選択部１６１および第２選択部１６２の両方は必須ではない。すなわち、提案部１６は、第１選択部１６１および第２選択部１６２のどちらか一方のみを備えていてもよい。
Both the
提案部１６が第２選択部１６２を備えていない場合、第１選択部１６１は、ユーザの属性情報に基づいて選択した他人の服装情報を、提案情報生成部１６４へ送信する。提案情報生成部１６４は、ユーザの属性情報に基づいて選択された他人の服装情報を用いて、ユーザに提案する服装を決定する。
If the
また、提案部１６が第１選択部１６１を備えていない場合、集計部１６０は、服装マナーの情報に基づいて選択した他人の服装情報を、第２選択部１６２へ送信する。第２選択部１６２は、集計部１６０によって選択された他人の属性情報の中から、ユーザの嗜好に適合する他人の服装情報をさらに選択する。
If the
（提案部１６の動作）
図７を参照して、服装提案装置１０が備えた提案部１６の動作の一例を説明する。図７は、図５に示すフローのステップＳ７における提案部１６の動作の流れを示すフローチャートである。
(Operation of proposal unit 16)
An example of the operation of the
図７に示すように、集計部１６０は、キャッシュメモリ１６１０から、他人の服装情報および他人の属性情報を受信する（Ｓ７０）。集計部１６０は、キャッシュメモリ１６１０において、同じ服装の数を集計する。集計部１６０は、キャッシュメモリ１６１０に格納された全ての他人の服装情報の中から、カウント数が多い順に、いくつか（例えば数１０から１００通り）の他人の服装情報を選択する。集計部１６０は、選択した他人の服装情報と、それに紐付く他人の属性情報とを、第１選択部１６１へ送信する。
As shown in FIG. 7, totaling
第１選択部１６１は、集計部１６０によって選択された他人の服装情報と、それに紐付く他人の属性情報とを受信する。また第１選択部１６１は、ユーザ情報取得部１５から、ユーザ属性情報を取得する（Ｓ７４）。
The
第１選択部１６１は、集計部１６０によって選択された他人の服装情報の中から、ユーザの属性情報に適合する他人の服装情報をさらに選択する。より詳細には、第１選択部１６１は、他人の服装情報に紐付けられた他人の属性情報と、ユーザの属性情報とを比較する。そして、両者が一致する場合、第１選択部１６１は、その他人の服装情報を選択する（Ｓ７５）。第１選択部１６１は、選択した他人の服装情報を第２選択部１６２へ送信する。
The
第２選択部１６２は、第１選択部１６１によって選択された他人の服装情報を受信する。第２選択部１６２は、ユーザ情報取得部１５から、ユーザ嗜好情報を取得する（Ｓ７６）。
The
第２選択部１６２は、第１選択部１６１によって選択された他人の服装情報の中から、ユーザの嗜好に適合する他人の服装情報をさらに選択する。より詳細には、第２選択部１６２は、他人の服装情報に含まれる服装を示す情報を参照する。また、ユーザの嗜好情報に含まれる服装を示す情報を参照する。そして、両者が一致する場合、第２選択部１６２は、その他人の服装情報を選択する（Ｓ７７）。
The
第２選択部１６２は、選択した他人の服装情報を提案情報生成部１６４へ送信する。
The
提案情報生成部１６４は、第２選択部１６２によって選択された他人の服装情報を受信する。提案情報生成部１６４は、第２選択部１６２によって選択された他人の服装情報を用いて、ユーザに提案する服装を示す提案情報を生成する（Ｓ７８）。
The suggested
その後、提案情報生成部１６４は、生成した提案情報を提示部６０へ送信して、提示部６０に提案情報を提示させる（図５のＳ８）。
After that, the proposal
（提案情報の例）
図８は、提案部１６が提供する提案情報の一例を示す。図８に示す提案情報は、ユーザに提案する服装の画像である。提案情報生成部１６４は、ユーザに提案する服装に関する情報（例えば衣服や服飾品の名称または種類）を用いて、インターネット検索を行い、ユーザに提案する服装のサンプル画像を取得する。
(Example of proposal information)
FIG. 8 shows an example of proposal information provided by the
あるいは、服装のサンプル画像がキャッシュメモリ１６１０に予め格納されていてもよい。この場合、提案情報生成部１６４は、キャッシュメモリ１６１０から、ユーザに提案する服装と一致するサンプル画像を取得する。また、提案情報生成部１６４は、ユーザの顔画像を、ユーザ情報記憶部３０から取得する。
Alternatively, sample images of clothing may be stored in the
提案情報生成部１６４は、キャッシュメモリ１６１０またはインターネットから取得したサンプル画像に、ユーザの顔画像を合成することによって、図８に示す画像を生成する。図８に示す画像は、ユーザに提案する２パターンの服装を示している。提案部１６は、図８に示す画像を、提示部６０へ送信し、提示部６０の表示部６１に表示させる。
The proposal
（変形例）
以下で、本実施形態１に係わるいくつかの変形例を説明する。ここで説明する変形例の構成を、上述した実施形態１の構成と置換したり、組み合わせたりしてもよい。
(Modification)
Several modifications of the first embodiment will be described below. The configuration of the modified example described here may be replaced with or combined with the configuration of the first embodiment described above.
（例１）提案部１６は、上述したユーザの嗜好情報として、ユーザの性格を表す情報に基づいて、ユーザに提案する服装を選択する。本変形例では、ユーザ情報取得部１５は、ユーザの嗜好情報として、ユーザの性格を表す情報（例えば目立ちたがり、地味、活発）を取得する。提案部１６は、ユーザ情報取得部１５から、ユーザの嗜好情報を取得する。提案部１６は、キャッシュメモリ１６１０に格納された他人の服装情報の中から、ユーザの性格に適した服装を選択する。
(Example 1) The
例えば、ユーザの嗜好情報が示すユーザの性格が「目立ちたがり」である（もしくはない）であるとする。提案部１６は、キャッシュメモリ１６１０に格納された他人の服装情報における同じ服装の出現頻度の計算結果を、集計部１６０から取得する。そして、ユーザの性格が「目立ちたがり」でない場合、提案部１６は、他人の服装情報における出現頻度が閾値を超える服装になるように、ユーザの服装を決定する。一方、ユーザの性格が「目立ちたがり」である場合、提案部１６は、他人の服装情報における出現頻度が他の閾値よりも小さい服装になるように、ユーザの服装を決定する。
For example, assume that the user's personality indicated by the user's preference information is (or is not) "attractive". The proposing
（例２）提案部１６は、上述したユーザの嗜好情報として、ユーザが所持している衣服または服飾品に関する情報に基づいて、ユーザに提案する服装を決定する。本変形例では、提案部１６は、ユーザ情報取得部１５から、ユーザの嗜好情報を取得する。提案部１６は、キャッシュメモリ１６１０に格納された他人の服装情報の中から、ユーザが所持している衣服または服飾品と同じ種類の衣服または服飾品を含む他人の服装情報を選択する。
(Example 2) The
（例３）服装情報抽出部１４は、画像中の人物の服装の判別結果とともに、画像における人物の領域の部分も、キャッシュメモリ１６１０に格納する。提案部１６は、キャッシュメモリ１６１０に格納された人物の領域から、ユーザに提案する服装と類似した服装を着用している人物の領域を抽出する。提案部１６は、キャッシュメモリ１６１０から抽出した人物の領域の画像を、提案情報とともに、表示部６１に表示させる。ユーザは、表示部６１に表示された人物の領域の画像を参考にして、自分の服装を決定することができる。
(Example 3) The clothing
（例４）服装情報抽出部１４は、画像収集部１２が収集した画像の付加情報から、画像が撮影された日時を示す情報を抽出する。服装情報抽出部１４は、画像中の人物の服装の判別結果を、画像の付加情報から抽出した日時を示す情報と紐付けて、キャッシュメモリ１６１０に格納する。提案部１６は、キャッシュメモリ１６１０を参照して、他人の服装情報と紐付けられた日時を示す情報を確認し、現在と同じ季節（例えば現在より前後１か月の期間）に撮影された他人の服装情報を選択する。あるいは、提案部１６は、現在と同じ時間帯（朝、昼、夜など）に撮影された他人の服装情報を選択してもよい。
(Example 4) The clothing
（例５）提案部１６は、ユーザに提案する服装に関連する商品を提案する。服装に関連する商品とは、例えば、販売中の衣服、服飾品、またはそれらのコーディネートである。提案部１６は、検索の結果として得られた商品に関する情報を、提案情報とともに、提示部６０にさらに提示させる。本変形例は、例えば、ｅコマースと協働するビジネスモデルを実施する場合に役立つ。
(Example 5) The
（本実施形態の効果）
本実施形態の構成によれば、画像収集部１２は、ユーザに指定された場所に関する画像を収集する。人物検出部１３は、画像から人物を検出する。服装情報抽出部１４は、他人の服装に関する情報（第１の情報の一例である）を画像から抽出して、キャッシュメモリ１６１０に格納する。ユーザ情報取得部１５は、ユーザの属性／嗜好情報（第２の情報の一例である）を取得する。提案部１６は、キャッシュメモリ１６１０に格納された他人の服装情報およびユーザの属性／嗜好情報に基づいて、ユーザに提案する服装を決定する。
(Effect of this embodiment)
According to the configuration of this embodiment, the
したがって、指定された場所に適した服装をユーザに提案することができる。 Therefore, it is possible to suggest clothes suitable for the designated place to the user.
〔実施形態２〕
図９～図１２を参照して、実施形態２について以下で説明する。
[Embodiment 2]
（通信システム２）
図９は、本実施形態２に係わる通信システム２の構成を示すブロック図である。図９に示すように、通信システム２は、服装提案装置２１０、入力部２０、ユーザ情報記憶部３０、マナーＤＢ４０、および提示部６０を備えている。本実施形態２に係わる通信システム２は、前記実施形態１に係わる通信システム１の構成に加えて、マナーＤＢ４０をさらに備えている。
(Communication system 2)
FIG. 9 is a block diagram showing the configuration of a
図９に示すように、ユーザ情報記憶部３０およびマナーＤＢ４０は、服装提案装置２１０に接続されており、服装提案装置２１０の各部によって参照される。服装提案装置２１０の構成については後述する。
As shown in FIG. 9 , the user
（マナーＤＢ４０）
マナーＤＢ４０には、様々な場所における文化や状況に応じた行儀作法を説明するマナー情報が格納されている。マナー情報は、例えばテキスト、音声、画像、またはその組み合わせであってもよい。マナー情報は、服装に関するマナーの情報（以下では、服装マナーの情報と呼ぶ）を含む。マナー情報はマナーＤＢ４０に予め格納されていてもよいし、服装提案装置１０がインターネット上からマナー情報を収集してもよい。
(Manner DB 40)
The
（服装提案装置２１０）
図１０は、本実施形態２に係わる服装提案装置２１０の構成を示すブロック図である。図１０に示すように、服装提案装置２１０は、入力受付部１１、画像収集部１２、人物検出部１３、服装情報抽出部１４、ユーザ情報取得部１５、および提案部２１６を備えている。
(Outfit proposal device 210)
FIG. 10 is a block diagram showing the configuration of an
本実施形態２に係わる服装提案装置２１０の提案部２１６は、入力受付部１１から、場所を指定する情報を受信する。また、提案部２１６は、マナーＤＢ４０を参照する。この点で、提案部２１６は、前記実施形態１に係わる服装提案装置１０の提案部１６（図２参照）とは異なる。
The
（提案部２１６）
図１１は、提案部２１６の構成を示すブロック図である。図１１に示すように、提案部２１６は、集計部１６０、第１選択部１６１、第２選択部１６２、第３選択部１６３、および提案情報生成部１６４を含む。本実施形態２に係わる提案部２１６は、前記実施形態１に係わる提案部１６の構成（図６参照）に加えて、第３選択部１６３をさらに備えている。
(Proposal unit 216)
FIG. 11 is a block diagram showing the configuration of the proposing
第２選択部１６２は、前記実施形態１で説明した手順と同様に、他人の服装情報を選択する。本実施形態２に係わる第２選択部１６２は、選択した他人の服装情報を、第３選択部１６３へ送信する。
The
第３選択部１６３は、第２選択部１６２によって選択された他人の服装情報を受信する。第３選択部１６３は、ユーザ情報取得部１５から、上述したユーザ嗜好情報を取得する。
The
第３選択部１６３は、第２選択部１６２によって選択された他人の服装情報の中から、ユーザの嗜好に適合する他人の服装情報をさらに選択する。
The
具体的には、第３選択部１６３は、他人の服装情報を構成する服装のうちの一定数以上が、ユーザの好みの服装である場合、その他人の服装情報を選択する。第３選択部１６３は、このようにして選択した他人の服装情報を提案情報生成部１６４へ送信する。
Specifically, the
提案情報生成部１６４は、第３選択部１６３によって選択された他人の服装情報を受信する。提案情報生成部１６４は、第３選択部１６３によって選択された他人の服装情報を用いて、ユーザに提案する服装を示す提案情報を生成する。
The suggested
なお、本実施形態２においても、第１選択部１６１および第２選択部１６２の両方は必須ではない。すなわち、提案部２１６は、第１選択部１６１および第２選択部１６２のどちらか一方のみを備えていてもよい。
Note that both the
提案部２１６が第２選択部１６２を備えていない場合、第１選択部１６１は、ユーザの属性情報に基づいて選択した他人の服装情報を、第３選択部１６３へ送信する。第３選択部１６３は、第１選択部１６１によって選択された他人の服装情報の中から、指定された場所における服装マナーに違反しない他人の服装情報をさらに選択する。
If the
また、提案部２１６が第１選択部１６１を備えていない場合、集計部１６０は、他人の服装情報の集計結果に基づいて選択した他人の服装情報を、第２選択部１６２へ送信する。第２選択部１６２は、集計部１６０から受信した他人の属性情報の中から、ユーザの嗜好に適合する他人の服装情報をさらに選択する。
If the
（提案部２１６の動作）
本実施形態２に係わる提案部２１６は、図５に示すフローにおいて、ステップＳ７の代わりに、以下で説明するステップＳ７´を実行する。
(Operation of proposal unit 216)
The
図１２を参照して、服装提案装置２１０が備えた提案部２１６の動作を説明する。図１２は、ステップＳ７´における提案部２１６の動作の流れを示すフローチャートである。
The operation of the
図１２に示すように、集計部１６０は、キャッシュメモリ１６１０から、他人の服装情報および他人の属性情報を受信する（Ｓ７０）。集計部１６０は、キャッシュメモリ１６１０において、同じ服装の数を集計する。集計部１６０は、キャッシュメモリ１６１０に格納された全ての他人の服装情報の中から、同じ服装が多い順に、いくつか（例えば数１０から１００通り）の他人の服装情報を選択する。集計部１６０は、選択した他人の服装情報と、それに紐付く他人の属性情報とを、第１選択部１６１へ送信する。
As shown in FIG. 12, the tallying
第１選択部１６１は、集計部１６０によって選択された他人の服装情報と、それに紐付く他人の属性情報とを受信する。また第１選択部１６１は、ユーザ情報取得部１５から、ユーザ属性情報を取得する（Ｓ７１）。
The
第１選択部１６１は、集計部１６０から受信した他人の服装情報の中から、ユーザの属性情報に適合する他人の服装情報をさらに選択する。より詳細には、第１選択部１６１は、他人の服装情報に紐付けられた他人の属性情報と、ユーザの属性情報とを比較する。そして、両者が一致する場合、第１選択部１６１は、その他人の服装情報を選択する（Ｓ７２）。第１選択部１６１は、選択した他人の服装情報を第２選択部１６２へ送信する。
The
第２選択部１６２は、第１選択部１６１によって選択された他人の服装情報を受信する。第２選択部１６２は、ユーザ情報取得部１５から、ユーザ嗜好情報を取得する（Ｓ７３）。
The
第２選択部１６２は、第１選択部１６１によって選択された他人の服装情報の中から、ユーザの嗜好に適合する他人の服装情報をさらに選択する。より詳細には、第２選択部１６２は、他人の服装情報に含まれる服装を示す情報を参照する。また、ユーザの嗜好情報に含まれる服装を示す情報を参照する。そして、両者が一致する場合、第２選択部１６２は、その他人の服装情報を選択する（Ｓ７４）。
The
第２選択部１６２は、選択した他人の服装情報を第３選択部１６３へ送信する。
第３選択部１６３は、入力受付部１１から、場所を指定する情報を取得する（Ｓ７５）。また第３選択部１６３は、マナーＤＢ４０から、指定された場所における服装マナーの情報を取得する（Ｓ７６）。第３選択部１６３は、服装マナーの情報に基づいて、指定された場所におけるマナーに違反する服装を特定する。
The
第３選択部１６３は、第２選択部１６２が選択した他人の服装情報を受信する。そして、第３選択部１６３は、受信した他人の服装情報の中から、指定された場所における服装マナーに違反しない他人の服装情報を選択する（Ｓ７７）。第３選択部１６３は、選択した他人の服装情報を、提案情報生成部１６４へ送信する。
The
提案情報生成部１６４は、第３選択部１６３によって選択された他人の服装情報を受信する。提案情報生成部１６４は、第３選択部１６３によって選択された他人の服装情報を用いて、ユーザに提案する服装を示す提案情報を生成する（Ｓ７８）。
The suggested
その後、提案情報生成部１６４は、生成した提案情報を提示部６０へ送信して、提示部６０に提案情報を提示させる（図５のＳ８）。
After that, the proposal
〔実施形態３〕
図１３を参照して、実施形態３について以下で説明する。
[Embodiment 3]
前記実施形態１では、他人の服装情報および他人の属性情報を用いて、ユーザに提案する服装を決定する構成を説明した。本実施形態３では、顔照合技術を利用して、ユーザと顔が類似する人物を判別する。そして、ユーザと顔が類似する他人の服装情報に基づいて、ユーザに提案する服装を決定する。 In the first embodiment, a configuration has been described in which clothes to be proposed to the user are determined using other people's clothes information and other people's attribute information. In the third embodiment, a face matching technique is used to determine a person whose face is similar to that of the user. Then, the clothes to be proposed to the user are decided based on the clothes information of others whose faces are similar to those of the user.
本実施形態３に係わる通信システムおよび服装提案装置の構成は、前記実施形態１で説明した通信システム１（図１参照）および服装提案装置１０（図２参照）と共通である。ただし、本実施形態３では、ユーザ情報記憶部３０（図１参照）に、ユーザに関する情報として、ユーザの顔画像がさらに格納されている。また、本実施形態３において、服装提案装置１０の人物検出部１３は、ユーザ情報記憶部３０に格納されたユーザの顔画像を取得する。
The configurations of the communication system and the outfit proposal device according to the third embodiment are common to the communication system 1 (see FIG. 1) and the outfit proposal device 10 (see FIG. 2) described in the first embodiment. However, in the third embodiment, the user information storage unit 30 (see FIG. 1) further stores a user's face image as information about the user. Also, in the third embodiment, the
（服装提案装置１０の動作）
図１３を参照して、本実施形態３に係わる服装提案装置１０の各部（図２参照）の動作を詳細に説明する。図１３は、本実施形態３に係わる服装提案装置１０の動作の流れを示すフローチャートである。なお、図１３に示すフローにおいて、ステップＳ１からステップＳ３までと、ステップＳ５１からステップＳ８までは、前記実施形態１で説明した図５に示すフローと同じである。
(Operation of outfit proposal device 10)
With reference to FIG. 13, the operation of each part (see FIG. 2) of the
図１３に示すように、入力受付部１１は、入力部２０（図１参照）から、場所を指定する情報を受信する（Ｓ１）。入力受付部１１は、場所を示す情報を、画像収集部１２および提案部１６へそれぞれ送信する。
As shown in FIG. 13, the
画像収集部１２は、入力受付部１１から、場所を指定する情報を取得する。画像収集部１２は、場所を指定する情報を用いて、インターネット検索を行う（Ｓ２）。例えば、画像収集部１２は、場所を表すタグ情報（例えばExif）が紐付いた画像を検索する。
The
画像収集部１２は、ステップＳ２における検索の結果として、指定された場所に関する複数の画像を、インターネット上から収集する（Ｓ３）。画像収集部１２は、収集した複数の画像を、人物検出部１３へ送信する。
The
人物検出部１３は、画像収集部１２によって収集された複数の画像を取得する。人物検出部１３は、各画像から人物の領域を検出する（Ｓ４１）。加えて、人物検出部１３は、人物の領域に対応する人物の属性を判別して、上述した他人の属性情報を生成する。例えば、人物検出部１３は、人物の属性によって異なる特徴に基づいて、人物の領域に対応する人物の属性を判別する。人物の属性によって異なる特徴は、例えば、様々な属性の人物を含むサンプル画像を用いて、機械学習を行うことによって得られる。
The
次に、人物検出部１３は、ステップＳ４１において検出した人物の領域から、人物の顔を検出する（Ｓ４２）。例えば、人物検出部１３は、人物の領域において、人物の顔らしさを表す尤度が閾値よりも高い領域を、人物の顔として検出する。
Next, the
ステップＳ４２の後、人物検出部１３は、ユーザ情報記憶部３０（図１参照）から、ユーザの顔画像を取得する（Ｓ４３）。
After step S42, the
人物検出部１３は、ステップＳ４２において検出した画像中の人物の顔画像と、ステップＳ４３において取得したユーザの顔画像とを比較して、画像中の人物の顔とユーザの顔とが類似しているかどうかを判定する（Ｓ４４）。
The
具体的には、まず、人物検出部１３は、人物の顔画像から、人物の顔の特徴を抽出し、ユーザの顔画像から、ユーザの顔の特徴を抽出する。そして、人物検出部１３は、両者の特徴の間の類似度を計算する。ここで、顔の特徴は、複数の特徴を要素とする特徴ベクトルで表されてもよい。顔の特徴の間の類似度は、例えば、特徴ベクトル間の距離又は方向に基づいて計算されてもよいし、特徴ベクトル間の相関関数に基づいて計算されてもよい。
Specifically, first, the
計算した類似度が閾値を超える場合、人物検出部１３は、ステップＳ４２において検出した画像中の人物の顔と、ユーザの顔とが類似していると判定する（Ｓ４４でＹｅｓ）。
When the calculated degree of similarity exceeds the threshold, the
画像中の人物の顔とユーザの顔とが類似していない場合（Ｓ４４でＮｏ）、フローはステップＳ４１に戻り、人物検出部１３は、画像から別の人物の領域を検出する（Ｓ４１）。
If the face of the person in the image and the face of the user are not similar (No in S44), the flow returns to step S41, and the
一方、画像中の人物の顔とユーザの顔とが類似している場合（Ｓ４４でＹｅｓ）、人物検出部１３は、人物の領域を示す情報と、他人の属性情報とを紐付けて、服装情報抽出部１４へ送信する。
On the other hand, when the face of the person in the image and the face of the user are similar (Yes in S44), the
このように本実施形態３においては、ユーザと類似する人物に関する情報（人物の領域を示す情報および他人の属性情報）のみが、服装情報抽出部１４へ送信される。
As described above, in the third embodiment, only information about a person similar to the user (information indicating the area of the person and attribute information of another person) is transmitted to the clothing
以降のステップＳ５１からステップＳ８までの説明を、本実施形態３では省略する。 Descriptions of subsequent steps S51 to S8 are omitted in the third embodiment.
（本実施形態の効果）
本実施形態の構成によれば、画像収集部１２は、ユーザに指定された場所に関する画像を収集する。人物検出部１３は、画像から人物を検出する。人物検出部１３は、画像中の人物の中から、ユーザに類似する人物を判別する。したがって、服装情報抽出部１４は、ユーザに類似する人物が着用している服装に関するデータ（図２に示す人物の服装の判別結果）のみを、キャッシュメモリ１６１０へ格納することになる。
(Effect of this embodiment)
According to the configuration of this embodiment, the
また、提案部１６は、キャッシュメモリ１６１０を参照して、ユーザと類似する人物に関する他人の服装情報のみに基づいて、ユーザに提案する服装を決定する。したがって、本実施形態３では、提案部１６が実行する処理の負荷が、前記実施形態１よりも低減される。
Further, the
〔実施形態４〕
図１４を参照して、実施形態４について以下で説明する。
[Embodiment 4]
（服装提案装置３１０）
図１４は、服装提案装置３１０の構成を示すブロック図である。図１４に示すように、服装提案装置３１０は、画像収集部３１１、服装情報抽出部３１２、および提案部３１３を備えている。
(Outfit suggestion device 310)
FIG. 14 is a block diagram showing the configuration of the
画像収集部３１１は、ユーザによって指定された場所に関する画像を収集する。具体的には、画像収集部１２は、指定された場所を指定する情報を用いて、インターネット検索を行い、指定された場所の情報と紐付けられている複数の画像を、インターネット上から収集する。例えば、画像収集部３１１は、ポータルサイトが提供している検索エンジンに、指定された場所を示す情報と紐付いた画像を検索させてもよい。この場合、画像収集部３１１は、検索エンジンから、検索結果として、ユーザによって指定された場所に関する画像を取得する。画像収集部３１１は、収集した画像を、服装情報抽出部３１２へ送信する。
The
服装情報抽出部３１２は、画像収集部３１１から、ユーザによって指定された場所に関する画像を受信する。服装情報抽出部３１２は、指定された場所に関する画像から、人物の服装に関する情報（以下では、他人の服装情報と呼ぶ）を抽出する。他人の服装情報は、第１の情報の一例である。
The clothing
また、服装情報抽出部３１２は、人物の領域の画像のデータを分析することによって、人物の服装を判別（識別）する。具体的には、服装情報抽出部３１２は、まず、画像中の人物の領域を検出し、人物の領域から服装の特徴を抽出する。そして、服装情報抽出部３１２は、抽出した服装の特徴と、様々な種類の服装の特徴とを比較して、これらの特徴同士の類似度を計算する。そして、服装情報抽出部３１２は、計算した類似度に基づいて、画像中の人物の服装を判別する。
Also, the clothing
服装情報抽出部３１２は、様々な種類の服装の特徴を、サンプル画像を用いた機械学習によって得てもよい。服装情報抽出部３１２は、機械学習に用いられるサンプル画像を、例えばインターネット上から取得してもよい。服装の特徴は、複数の特徴を要素とする特徴ベクトルで表されてもよい。服装の特徴の間の類似度は、例えば、特徴ベクトル間の距離又は方向に基づいて計算されてもよいし、特徴ベクトル間の相関関数に基づいて計算されてもよい。
The clothing
あるいは、服装情報抽出部３１２は、ユーザ情報記憶部３０を参照し、ユーザの属性情報またはユーザの嗜好情報に合致する他人の属性情報を、第１の情報として抽出してもよい。例えば、服装情報抽出部３１２は、画像中の人物の中から、ユーザの属性（例えばユーザの年齢および性別）と類似する人物を判別し、ユーザと属性の類似する人物の服装を示す情報のみを、他人の服装情報として抽出する。あるいは、服装情報抽出部３１２は、画像中の人物の中から、ユーザの嗜好（例えば好みの色）と合致する人物の服装を判別し、ユーザの嗜好と合致する人物の服装を示す情報のみを、他人の服装情報として抽出する。
Alternatively, the clothing
他人の服装情報は、人物が着用している服装を示す情報を含む。服装を示す情報には、衣服の種類、柄、色だけが含まれてもよいし、前記実施形態１で説明したような他の情報が含まれてもよい。 Others' clothing information includes information indicating the clothing worn by the person. The information indicating clothes may include only the type, pattern, and color of the clothes, or may include other information as described in the first embodiment.
服装情報抽出部３１２は、こうして生成した他人の服装情報を、提案部３１３へ送信する。服装情報抽出部３１２から提案部３１３へ送信された他人の服装情報は、提案部３１３のキャッシュメモリ（図示せず）に格納される。
The clothing
提案部３１３は、服装情報抽出部３１２から受信した他人の服装情報に基づいて、ユーザに提案する服装を決定する。より詳細には、提案部３１３は、キャッシュメモリに格納された全ての他人の服装情報の中から、カウント数が多い順に、いくつか（例えば数１０から１００通り）の他人の服装情報を選択する。提案部３１３は、選択した他人の服装情報に基づいて、ユーザに提案する服装を決定する。
The
ユーザに提案する服装を決定した後、さらに提案部３１３は、ユーザに提案する服装を示す提案情報を生成する。そして、提案部３１３は、生成した提案情報を出力する。例えば、提案情報は、ユーザに提案する服装をお勧め順に並べたリストであってよい。あるいは、提案情報は、ユーザに提案する服装の画像（図８参照）であってもよい。
After determining the clothing to be proposed to the user, the
（服装提案装置３１０の動作）
本実施形態４に係わる服装提案装置３１０の動作は、前記実施形態１で説明した服装提案装置１０の動作（図５参照）と、基本的に同じである。
(Operation of outfit proposal device 310)
The operation of the
しかし、本実施形態４に係わる提案部３１３は、図５に示すステップＳ７において、キャッシュメモリに格納された全ての他人の服装情報の中から、カウント数が多い順に、いくつか（例えば数１０から１００通り）の他人の服装情報を選択する。提案部３１３は、選択した他人の服装情報に基づいて、ユーザに提案する服装を決定する。
However, in step S7 shown in FIG. 5, the
すなわち、本実施形態４では、提案部３１３が、ユーザの属性情報およびユーザの嗜好情報によらずに、ユーザに提案する服装を決定する。この点で、本実施形態４に係わる服装提案装置３１０の動作は、前記実施形態１に係わる服装提案装置１０の動作とは異なる。
That is, in the fourth embodiment, the
（本実施形態の効果）
本実施形態の構成によれば、画像収集部３１１は、ユーザに指定された場所に関する画像を収集する。服装情報抽出部３１２は、画像収集部３１１によって収集された画像から、他人の服装に関する情報（第１の情報の一例である）を抽出する。提案部３１３は、他人の服装情報に基づいて、ユーザに提案する服装を決定する。したがって、指定された場所に適した服装をユーザに提案することができる。
(Effect of this embodiment)
According to the configuration of this embodiment, the
〔実施形態５〕
図１５を参照して、実施形態５について以下で説明する。
[Embodiment 5]
Embodiment 5 is described below with reference to FIG.
（ハードウェア構成について）
前記実施形態で説明した服装提案装置１０、２１０、３１０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図１５に示すような情報処理装置９００により実現される。図１５は、本実施形態５に係わる情報処理装置９００のハードウェア構成の一例を示すブロック図である。
(About hardware configuration)
Each component of the
図１５に示すように、情報処理装置９００は、一例として、以下のような構成を含む。
As shown in FIG. 15, the
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態で説明した服装提案装置１０、２１０、３１０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
- CPU (Central Processing Unit) 901
・ROM (Read Only Memory) 902
・RAM (Random Access Memory) 903
・
-
A
- A
- An input/
A bus 911 connecting each component
Each component of the
（本実施形態の効果）
本実施形態の構成によれば、前記実施形態において説明した服装提案装置１０、２１０、３１０が、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。
(Effect of this embodiment)
According to the configuration of this embodiment, the
本発明は、例えば、指定された場所に適した服装をユーザに提案するリコメンドサービスに利用することができる。また、本発明は、ソフトウェアアプリケーション、データ活用のビジネスモデルにも利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used, for example, for a recommendation service that suggests clothes suitable for a specified place to a user. The present invention can also be used for software applications and data utilization business models.
１、２ 通信システム
１０、２１０、３１０ 服装提案装置
１１ 入力受付部
１２、３１１ 画像収集部
１３ 人物検出部
１４、３１２ 服装情報抽出部
１５ ユーザ情報取得部
１６、２１６、３１３ 提案部
Claims (10)
当該検出された人物の服装に関する情報に基づいて、前記ユーザに服装を提案する提案手段と、
を備える情報処理システム。 a detecting means for acquiring face information relating to a user's face and detecting a person whose face is similar to the user's face;
proposal means for suggesting clothing to the user based on the detected clothing information of the person;
An information processing system comprising
ことを特徴とする請求項１に記載の情報処理システム。 2. The information processing system according to claim 1, wherein the information about the clothes of the person includes information indicating a combination of elements constituting the clothes of the person.
前記ユーザに関する情報を取得するユーザ情報取得手段と、をさらに備え、
前記提案手段は、前記人物の服装に関する情報および前記ユーザに関する情報に基づいて、前記ユーザに提案する服装を決定する
ことを特徴とする請求項１または２に記載の情報処理システム。 input receiving means for receiving input of information designating a location from the user;
User information acquisition means for acquiring information about the user,
3. The information processing system according to claim 1, wherein said proposing means determines clothes to be suggested to said user based on information about clothes of said person and information about said user.
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。 When a predetermined ratio or more of a plurality of clothes constituting clothes of a person included in the image designated by the user corresponds to the preference of the user, the proposal means, based on the clothes of the person, 4. The information processing system according to any one of claims 1 to 3, wherein the information processing system proposes clothing to the user.
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。 4. The proposing unit according to any one of claims 1 to 3, wherein the proposing means proposes clothing to the user based on the character of the user and the appearance frequency of persons included in the image designated by the user. The information processing system according to item 1.
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。 4. The proposing unit according to any one of claims 1 to 3, wherein said proposing means acquires etiquette information of a place specified by said user, and proposes an outfit to said user based on the outfits of others who do not violate etiquette. The information processing system according to item 1.
前記ユーザ情報取得手段は、前記ユーザ操作によって入力された前記ユーザに関する情報を取得する
ことを特徴とする請求項３に記載の情報処理システム。 The input receiving means further receives a user operation for inputting information about the user,
4. The information processing system according to claim 3, wherein the user information acquisition means acquires information about the user input by the user operation.
ことを特徴とする請求項３から７のいずれか１項に記載の情報処理システム。 8. The apparatus according to any one of claims 3 to 7, further comprising extracting means for extracting, based on the information about the user, the information about the clothes of the person from the image about the place specified by the user. Information processing system as described.
ユーザの顔に関する顔情報を取得し、前記ユーザの顔に類似している人物を検出し、
当該検出された人物の服装に関する情報に基づいて、前記ユーザに服装を提案する、
ことを含む情報処理方法。 the computer
Obtaining face information about a user's face, detecting a person similar to the user's face,
suggesting clothes to the user based on information about clothes of the detected person;
information processing method, including
当該検出された人物の服装に関する情報に基づいて、前記ユーザに服装を提案することと、
をコンピュータに実行させるためのプログラム。 obtaining face information about a user's face and detecting a person similar to the user's face;
suggesting clothes to the user based on information about clothes of the detected person;
A program that causes a computer to run
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023072870A JP2023095908A (en) | 2018-12-27 | 2023-04-27 | Information processing system, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018245319A JP7279361B2 (en) | 2018-12-27 | 2018-12-27 | Clothing proposal device, clothing proposal method, and program |
| JP2023072870A JP2023095908A (en) | 2018-12-27 | 2023-04-27 | Information processing system, information processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018245319A Division JP7279361B2 (en) | 2018-12-27 | 2018-12-27 | Clothing proposal device, clothing proposal method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023095908A true JP2023095908A (en) | 2023-07-06 |
Family
ID=71449172
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018245319A Active JP7279361B2 (en) | 2018-12-27 | 2018-12-27 | Clothing proposal device, clothing proposal method, and program |
| JP2023072870A Pending JP2023095908A (en) | 2018-12-27 | 2023-04-27 | Information processing system, information processing method, and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018245319A Active JP7279361B2 (en) | 2018-12-27 | 2018-12-27 | Clothing proposal device, clothing proposal method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7279361B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7498086B2 (en) | 2020-10-19 | 2024-06-11 | Kddi株式会社 | Information processing device, information processing method, and program |
| JP7498085B2 (en) | 2020-10-19 | 2024-06-11 | Kddi株式会社 | Information processing device, information processing method, and program |
| JP2022152320A (en) * | 2021-03-29 | 2022-10-12 | 株式会社MaaS Tech Japan | Program and information processing device |
| KR102527398B1 (en) | 2021-11-23 | 2023-04-28 | 엔에이치엔클라우드 주식회사 | Method and system for virtual fitting based on video meeting program |
| JP7388649B1 (en) | 2023-05-12 | 2023-11-29 | 株式会社リプラス | Outfit suggestion device, outfit suggestion method, outfit suggestion program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5379547B2 (en) * | 2009-04-20 | 2013-12-25 | 株式会社日本総合研究所 | Costume providing support device, costume providing support method, and costume providing support program |
| JP6500374B2 (en) * | 2014-09-11 | 2019-04-17 | 富士ゼロックス株式会社 | Image processing apparatus and image processing program |
| US10592551B2 (en) * | 2016-06-16 | 2020-03-17 | Optim Corporation | Clothing information providing system, clothing information providing method, and program |
| JP2018120527A (en) * | 2017-01-27 | 2018-08-02 | 株式会社リコー | Image processing apparatus, image processing method, and image processing system |
-
2018
- 2018-12-27 JP JP2018245319A patent/JP7279361B2/en active Active
-
2023
- 2023-04-27 JP JP2023072870A patent/JP2023095908A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020107084A (en) | 2020-07-09 |
| JP7279361B2 (en) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7196885B2 (en) | Search system, search method, and program | |
| JP7279361B2 (en) | Clothing proposal device, clothing proposal method, and program | |
| JP7136156B2 (en) | Search support system, search support method and program | |
| US20140032359A1 (en) | System and method for providing intelligent recommendations | |
| JP5504807B2 (en) | Coordinated image creation device, coordinated image creation method and program | |
| KR102437199B1 (en) | Method And Apparatus for Recommending Clothing by Using Body Shape Information | |
| US20210160018A1 (en) | Automated customization with compatible objects | |
| KR102064653B1 (en) | Wearable glasses and method for clothes shopping based on augmented relity | |
| JP6178487B1 (en) | Coordinate system, coordinate device, and program | |
| KR102102572B1 (en) | System and method for providing online shopping mall | |
| WO2020079235A1 (en) | Method and apparatus for accessing clothing | |
| KR20140015709A (en) | System for image matching and method thereof | |
| KR20200071196A (en) | A virtual fitting system based on face recognition | |
| CN112242007B (en) | Virtual fitting method | |
| US20230214911A1 (en) | Systems and/or methods for presenting dynamic content for surveilled individuals | |
| JP2024098124A (en) | Search System | |
| KR20230163818A (en) | Clothes fitting and recommendation System for using 3D avatar | |
| CN117057864A (en) | Method and computing device for online recommendation of clothing commodities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240530 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |