JP2018120527A - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

画像処理装置、画像処理方法及び画像処理システム Download PDF

Info

Publication number
JP2018120527A
JP2018120527A JP2017013193A JP2017013193A JP2018120527A JP 2018120527 A JP2018120527 A JP 2018120527A JP 2017013193 A JP2017013193 A JP 2017013193A JP 2017013193 A JP2017013193 A JP 2017013193A JP 2018120527 A JP2018120527 A JP 2018120527A
Authority
JP
Japan
Prior art keywords
user
type
product
feature amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017013193A
Other languages
English (en)
Inventor
友保 相▲崎▼
Tomoyasu Aizaki
友保 相▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017013193A priority Critical patent/JP2018120527A/ja
Publication of JP2018120527A publication Critical patent/JP2018120527A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ユーザの嗜好に基づいて適切な商品を推薦する。【解決手段】画像処理装置は、ユーザを被写体として含む１以上のユーザ画像データのそれぞれから、前記ユーザが着用している各服飾品の種類及び各服飾品の画像領域の第１の特徴量を抽出する抽出部と、商品としての服飾品を含む１以上の商品画像データのそれぞれに関して、各商品に係る服飾品の種類及び各商品の画像領域の第２の特徴量を取得する取得部と、前記種類ごとに、当該種類に係る前記第１の特徴量に基づいて、前記ユーザの嗜好を示す第３の特徴量を特定する特定部と、前記種類ごとに、当該種類に係る前記第２の特徴量と、当該種類に係る前記第３の特徴量との比較に基づいて推薦する商品を特定し、特定された商品の組み合わせに関する情報を出力する出力部と、を有する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。
服飾品等の商品を購入する場合、２種類以上の商品を調和するように組み合わせた複数の商品（以下、調和するように組み合わせた複数の商品を「コーディネート」という。）、又はコーディネートのうち一つの商品を選択して購入する場合がある。そこで、ユーザに応じた適切な商品又はコーディネートを推薦する方法が考えられている。
従来の方法では、商品の閲覧又は購入といったユーザの行動及び購買の履歴データと、商品に付与されているメタデータ（テキストタグ）に含まれる種類、型番、価格、ブランド又はサイズカテゴリといった商品属性とを関連付けることで、商品又はコーディネートの推薦が行われていた。
また、行動及び購買の履歴データが与えられていない状況においても、服飾品等の画像を解析することで、適切な商品又はコーディネートを推薦する方法が知られている（例えば特許文献１）。
しかしながら、従来の画像解析により適切な商品又はコーディネートを推薦する技術では、推薦する商品は、コーディネートの参考となる参考用写真集合におけるコーディネートに依存しており、必ずしもユーザの好みに合った商品が推薦されるとは限らないという問題があった。また、参考用写真集合中の１種のアイテム（例えば、上衣）から得られる情報のみに着目して、商品又はコーディネートが推薦されるため、１種のアイテムからだけでは得られない情報（例えば、ユーザが好んで着用している下衣の色、形、柄などの情報）を反映することができないという問題があった。
本発明は、上記の点に鑑みてなされたものであって、ユーザの嗜好に基づいて適切な商品を推薦することを目的とする。
そこで、上記課題を解決するため、画像処理装置は、ユーザを被写体として含む１以上のユーザ画像データのそれぞれから、前記ユーザが着用している各服飾品の種類及び各服飾品の画像領域の第１の特徴量を抽出する抽出部と、商品としての服飾品を含む１以上の商品画像データのそれぞれに関して、各商品に係る服飾品の種類及び各商品の画像領域の第２の特徴量を取得する取得部と、前記種類ごとに、当該種類に係る前記第１の特徴量に基づいて、前記ユーザの嗜好を示す第３の特徴量を特定する特定部と、前記種類ごとに、当該種類に係る前記第２の特徴量と、当該種類に係る前記第３の特徴量との比較に基づいて推薦する商品を特定し、特定された商品の組み合わせに関する情報を出力する出力部と、を有する。
ユーザの嗜好に基づいて適切な商品を推薦することができる。
第１の実施の形態における画像処理システムの構成例を示す図である。 第１の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。 第１の実施の形態における画像処理装置１００の機能構成例を示す図である。 第１の実施の形態におけるユーザ画像特徴量を抽出する手順の一例を説明するためのフローチャートである。 第１の実施の形態におけるユーザ情報データベース７００の構成例を示す図である。 第１の実施の形態における商品画像特徴量を抽出する手順の一例を説明するためのフローチャートである。 第１の実施の形態における商品データベース８００の構成例を示す図である。 第１の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。 第２の実施の形態におけるユーザ画像特徴量を抽出する手順の一例を説明するためのフローチャートである。 第２の実施の形態におけるユーザ情報データベース７００の構成例を示す図である。 第２の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。 第２の実施の形態における各クラスタの代表特徴量の例を示す図である。 第２の実施の形態におけるクラスタの要素数のヒストグラムの例を示す図である。 第２の実施の形態におけるトピックモデルによるモデル化を示す図である。 第２の実施の形態におけるトピックモデルを記述したグラフィカルモデルの例を示す図である。 第２の実施の形態におけるトピック比率の算出結果の一例を示す図である。 第２の実施の形態における出現確率の算出結果の一例を示す図である。 第２の実施の形態におけるユーザに対するトピック比率とトピックに対する代表特徴量の出現確率との類似度を算出する例を示す図である。 第３の実施の形態における画像処理装置３００の機能構成例を示す図である。 第３の実施の形態におけるユーザ嗜好特徴量を抽出する手順の一例を説明するためのフローチャートである。 第３の実施の形態におけるユーザ嗜好データベースの構成例を示す図である。 第３の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。 第４の実施の形態における画像処理装置４００の機能構成例を示す図である。 第４の実施の形態におけるユーザ画像特徴量を抽出する手順の一例を説明するためのフローチャートである。 第４の実施の形態におけるユーザ情報データベース７００の構成例を示す図である。 第４の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。 第４の実施の形態におけるクラスタの要素数のヒストグラムの例を示す図である。 第４の実施の形態におけるトピックモデルによるモデル化を示す図である。 第４の実施の形態におけるトピックモデルを記述したグラフィカルモデルの例を示す図である。 第４の実施の形態におけるトピック比率の算出結果の一例を示す図である。 第４の実施の形態における顔ＩＤに対するトピック比率とトピックに対する代表特徴量の出現確率との類似度を算出する例を示す図である。 第５の実施の形態における画像処理装置５００の機能構成例を示す図である。 第５の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。 第５の実施の形態におけるフォトブック作成手順の一例を説明するためのフローチャートである。
以下、図面に基づいて本発明の第１の実施の形態を説明する。
図１は、第１の実施の形態における画像処理システムの構成例を示す図である。図１において、画像処理システムは、画像処理装置１００、ネットワーク６００、ユーザ情報データベース７００、商品データベース８００及びユーザ嗜好データベース９００を含む。
画像処理装置１００は、ネットワーク６００を介して、ユーザ情報データベース７００、商品データベース８００及びユーザ嗜好データベース９００と接続される。画像処理装置１００は、これらデータベースからデータを読み込んだり、これらデータベースへデータを書き込んだりして処理を行う。
ネットワーク６００は、例えば、インターネット等を含み、公開されたネットワークであってもよい。ネットワーク６００は、有線であっても無線であってもよい。
ユーザ情報データベース７００、商品データベース８００及びユーザ嗜好データベース９００は、記憶装置を用いて実現される。これらデータベースは、一部又は全部が共通のデータベースとして構成されてもよいし、一部又は全部が画像処理装置１００に含まれてもよい。
ユーザ情報データベース７００は、例えば、デジタルカメラ、カメラ付き携帯電話又はスマートフォン等の撮影装置で撮影したユーザを被写体として含む画像データをネットワーク６００を介して受信して記録することができる。ユーザ情報データベース７００に蓄積された画像データは、画像データを記録するユーザごとに管理され、ユーザＩＤ及びパスワードが入力されることでアクセス可能となる。また、例えば、ＳＮＳ（Social Networking Service）等にユーザの画像が掲載されている場合には、当該ユーザが当該ＳＮＳへのアクセスをユーザ情報データベース７００に許可することで、当該ＳＮＳ上に掲載されている画像が自動的にユーザ情報データベース７００に取り込まれるようにしてもよい。この場合、ユーザがユーザ情報データベース７００に画像データを入力する手間を大幅に低減できる。また、ユーザ情報データベース７００には、ユーザの画像データに関する画像処理装置１００による処理結果のデータが記録される。
商品データベース８００は、商品画像と商品に付与されているメタデータ（商品種別、型番、価格、ブランド及びサイズ等の商品属性）とを、記録及び管理する。また、商品データベース８００には、画像処理装置１００による商品の画像の処理結果に関するデータが記録される。なお、本実施の形態において、商品とは、服飾品に関する商品をいう。
ユーザ嗜好データベース９００は、ユーザの画像を処理して得られたユーザの嗜好に関するデータ（詳細は後述）を記録する。
図２は、第１の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。図２の画像処理装置１００は、それぞれバスＢで相互に接続されているＣＰＵ（Central Processing Unit）１００１、ネットワークインタフェース１００２、入出力インタフェース１００３、補助記憶装置１００４及びメモリ装置１００５等を有する。
画像処理装置１００での処理を実現するプログラムは、補助記憶装置１００４に格納される。補助記憶装置１００４は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置１００５は、プログラムの起動指示があった場合に、補助記憶装置１００４からプログラムを読み出して格納する。ＣＰＵ１００１は、メモリ装置１００５に格納されたプログラムに従って画像処理装置１００に係る機能を実行する。
ネットワークインタフェース１００２は、ユーザ情報データベース７００、商品データベース８００及びユーザ嗜好データベース９００等との通信を行うための有線又は無線のインタフェースである。
入出力インタフェース１００３は、ＵＳＢ（Universal Serial Bus）機器、ハードウェアキー、状態通知用ＬＥＤ、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。
なお、ユーザ情報データベース７００、商品データベース８００及びユーザ嗜好データベース９００も図２と同様のハードウェア構成を有していてもよい。
図３は、第１の実施の形態における画像処理装置１００の機能構成例を示す図である。図３に示される画像処理装置１００は、通信部１０１、領域特定部１０２、特徴抽出部１０３、ユーザ嗜好推定部１０４、類似度算出部１０５、コーディネート決定部１０６及びコーディネート送信部１０７等を有する。これら各部は、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ１００１に実行させる処理により実現される。
通信部１０１は、ユーザ情報データベース７００、商品データベース８００及びユーザ嗜好データベース９００等との通信を行う。
領域特定部１０２は、ユーザ情報データベース７００から取得したユーザが所有する画像データ（以下、「ユーザ所有画像データ」という。）、又は商品データベース８００から取得した商品の画像データ（以下、「商品画像データ」という。）及び商品メタデータ（種類、型番、価格、ブランド又はサイズカテゴリといった商品属性を示す情報）を解析する。当該解析により、領域特定部１０２は、画像データに表示されている服飾の種類（トップス、ジャケット、パンツ、スカート、ワンピース、シューズ、バッグ、ベルト、帽子等である。以下、「服飾種類」という。）と、服飾が表示されている画像領域（領域の幅、高さ及び領域の始点の座標等で示される。以下、「服飾領域」という。）とを特定する。なお、ユーザ所有画像データは、メタデータ（撮影日時、撮影場所等）を含んでもよい。
特徴抽出部１０３は、領域特定部１０２が特定したユーザ所有画像データの服飾領域ごとに画像特徴量（以下、「ユーザ画像特徴量」という。）を抽出する。抽出されたユーザ画像特徴量は、抽出元であるユーザ所有画像データに関連付けられてユーザ情報データベース７００に記録される。特徴抽出部１０３は、また、領域特定部１０２が特定した商品画像データの服飾領域ごとに画像特徴量（以下、「商品画像特徴量」という。）を抽出する。抽出された商品画像特徴量は、抽出元である商品画像データに関連付けられて商品データベース８００に記録される。
ユーザ嗜好推定部１０４は、ユーザからの商品又はコーディネートの送信要求情報を通信部１０１を介して取得すると、当該ユーザに関してユーザ情報データベース７００に記録されているユーザ画像特徴量に基づいて、ユーザの嗜好を示す特徴量（以下、「ユーザ嗜好特徴量」という。）を推定する。コーディネートとは、調和するように組み合わせた複数の商品をいう。
類似度算出部１０５は、ユーザ嗜好推定部１０４が推定したユーザ嗜好特徴量と、商品データベース８００に記録されている商品画像特徴量との類似度を算出する。
コーディネート決定部１０６は、類似度算出部１０５が算出した類似度に基づいて、コーディネートを決定する。
コーディネート送信部１０７は、コーディネート決定部１０６が決定したコーディネートに用いる商品情報（以下、「コーディネート用商品データ」という。）を商品データベース８００から取得し、コーディネート用商品データを、通信部１０１を介して、ユーザへ送信する。
以下、画像処理システムにおいて実行される処理手順の一例について説明する。
図４は、第１の実施の形態におけるユーザ画像特徴量を抽出する手順の一例を説明するためのフローチャートである。
ステップＳ１２０１において、領域特定部１０２は、通信部１０１を介してユーザ情報データベース７００からユーザ所有画像データを１枚取得する。以下、取得されたユーザ所有画像データを解析対象画像データと呼ぶ。
続いて、解析対象画像データがまだ解析されていなければ、ステップＳ１２０３へ進み（Ｓ１２０２でＹｅｓ）、解析対象画像データが既に解析済であればステップＳ１２０５へ進む（Ｓ１２０２でＮｏ）。
ステップＳ１２０３において、領域特定部１０２は、解析対象画像データを解析し、服飾種類及び服飾領域を特定する。服飾種類及び服飾領域の特定には、既存の解析方法を用いることができる。例えば、以下の文献に記載された方法が利用されてもよい。
「"Fashion apparel detection: The role of deep convolutional neural network and pose-dependent priors", Kota Hara, Vignesh Jagadeesh, Robinson Piramuthu, IEEE Winter Conference on Applications of Computer Vision (WACV) 2016」
「"Parsing Clothing in Fashion Photographs", Kota Yamaguchi, M Hadi Kiapour, Luis E Ortiz, Tamara L Berg, CVPR 2012.」
「"Semantic Object Parsing with Graph LSTM", Xiaodan Liang, Xiaohui Shen, Jiashi Feng, Liang Lin, and Shuicheng Yan, Proc. of European Conference on Computer Vision (ECCV), 2016.」
第１の実施の形態では、服飾種類及び服飾領域の特定には上述したもの以外の解析方法が用いられてもよい。なお、１枚の解析対象画像データから特定される服飾種類及び服飾領域は、複数であってもよい。
続いて、特徴抽出部１０３は、領域特定部１０２が特定した服飾領域ごとに、予め定められた定義に基づいて、画像特徴量を抽出する（Ｓ１２０４）。ここで抽出される画像特徴量が、ユーザ画像特徴量である。画像特徴量の定義としては、服飾の色やテクスチャ、形状等任意の特徴量を用いることができる。画像特徴量の例としては、カラーヒストグラムやＬＢＰ（Local Binary Pattern）画像特徴量、ＧＩＳＴ画像特徴量、ＨＯＧ（Histgrams of Oriented Gradients）画像特徴量などが挙げられる。
また、他の方法としては、近年注目されている技術の一つである深層学習、ＤｅｅｐＬｅａｒｎｉｎｇと呼ばれる手法を用いる方法が挙げられる。ＤｅｅｐＬｅａｒｎｉｎｇはニューラルネットワークを多層化することで精度の向上を実現する手法であり、Ａｕｔｏｅｎｃｏｄｅｒを取り入れている。Ａｕｔｏｅｎｃｏｄｅｒは、出力が入力を再現する学習を行うことで、入力の次元圧縮を行い、特徴を抽出するアルゴリズムである。Ａｕｔｏｅｎｃｏｄｅｒを積み重ねて多層化したＳｔａｃｋｅｄ Ａｕｔｏｅｎｃｏｄｅｒと呼ばれるアルゴリズムを用いて画像特徴量を抽出する方法を用いてもよい。
また、抽出される画像特徴量は、服飾種類によって異なる抽出方法に基づく画像特徴量であってもよい。また、ステップＳ１２０３で服飾領域が特定できなかった場合或いは服飾が写っていないと判断される場合には、特徴抽出部１０３は、ユーザ画像特徴量の抽出処理は行わない。なお、第１の実施の形態で用いる画像特徴量には上述した画像特徴量以外のものが用いられてもよい。
特徴抽出部１０３は、解析結果を解析対象画像データに関連付けて、通信部１０１を介してユーザ情報データベース７００に記録する。
図５は、第１の実施の形態におけるユーザ情報データベース７００の構成例を示す図である。
図５に示されるように、ユーザ情報データベース７００には、「ユーザＩＤ」、「画像ファイル名」、「服飾種類」及び「ユーザ画像特徴量」が関連付けられて記録される。ユーザＩＤは、ユーザを識別する情報である。画像ファイル名は、ユーザ所有画像データを識別する情報である。服飾種類及びユーザ画像特徴量は、解析によって得られる情報である。
ユーザ情報データベース７００に保存された全てのユーザ所有画像データが解析された場合（Ｓ１２０５でＹｅｓ）、図４の処理は終了する。解析されていないユーザ所有画像データが有る場合（Ｓ１２０５でＮｏ）、ステップＳ１２０１へ進み処理が継続する。
なお、ユーザ情報データベース７００に保存されたユーザ所有画像データ全てが解析対象とされなくてもよい。例えば、直近１か月にユーザがユーザ情報データベース７００に保存されたユーザ所有画像データのみを解析対象画像データに選定する方法、又はユーザがユーザ情報データベース７００に直近に保存した指定枚数（例えば、２０枚等）のユーザ所有画像データのみを解析対象画像データに選定する方法等が採用されてもよい。ユーザの嗜好は時間の経過に応じて変化することが考えられるため、このような方法が採用されることにより、ユーザの直近の嗜好を反映したコーディネートを推薦することが可能となる。また、他の方法として、ユーザに前回コーディネートを推薦した時点より後にユーザ情報データベース７００に保存されたユーザ所有画像データのみを解析対象画像データに選定する方法が採用されてもよい。当該方法が採用された場合、前回コーディネートを推薦した際に解析対象画像データとしたユーザ所有画像データとは異なるユーザ所有画像データが解析対象画像データとされるため、前回コーディネートの推薦とは異なるコーディネートの推薦を行うことができる。したがって、同一ユーザに同一のコーディネートが推薦される可能性を低減することが可能となる。
なお、図４の処理は、ユーザ情報データベース７００に画像が保存されるタイミングで実行されてもよいし、それ以外のタイミングで実行されてもよい。例えば、一日に一度、一週間に一度、一か月に一度等、定期的に当該処理が実行されてもよい。
図６は、第１の実施の形態における商品画像特徴量を抽出する手順の一例を説明するためのフローチャートである。
ステップＳ１３０１において、領域特定部１０２は、通信部１０１を介して商品データベース８００から商品画像データ及び当該商品に係る商品メタデータを１つ取得する。以下、取得された商品画像データを解析対象画像データと呼ぶ。
続いて、解析対象画像データがまだ解析されていなければ、ステップＳ１３０３へ進み（Ｓ１３０２でＹｅｓ）、解析対象画像データが既に解析済であればステップＳ１３０５へ進む（Ｓ１３０２でＮｏ）。
ステップＳ１３０３において、領域特定部１０２は、解析対象画像データ及び商品メタデータを解析し、服飾種類及び服飾領域を特定する。服飾種類は、商品メタデータに含まれる情報から特定される。また、服飾種類は、図４のステップＳ１２０３と同様に、解析対象画像データを解析することによって特定されてもよい。服飾領域を特定する方法は、以下の２通りがある。
第１の方法は、解析対象画像データに商品のみが撮影されている場合に、解析対象画像データ全体を、服飾領域として特定する方法である。第２の方法は、解析対象画像データに商品を着用したモデルが撮影されている場合に、図４のステップＳ１２０３と同様の解析方法を用いる方法である。第１の方法と第２の方法のいずれを使用するかの判別には、例えば、既存の顔認識技術等が用いられてもよい。顔認識技術に基づいて解析対象画像データに顔が含まれていないと判断された場合には、第１の方法が使用され、顔が含まれていると判断された場合には、第２の方法が使用される。第１の実施の形態では、服飾が表示されている画像領域の特定に用いる解析方法には上述したもの以外が用いられてもよい。なお、１枚の解析対象画像データ及び商品メタデータから特定される服飾種類及び服飾領域は、複数であってもよい。
続いて、特徴抽出部１０３は、領域特定部１０２が特定した服飾領域に、予め定められた定義に基づいて、画像特徴量を抽出する（Ｓ１３０４）。ここで抽出される画像特徴量が、商品画像特徴量である。商品画像特徴量は、図４のステップＳ１２０４で算出したユーザ画像特徴量と同一の定義で算出される。ユーザ画像特徴量と商品画像特徴量の類似度を算出するために、同一の定義に基づく算出が必要となる。
特徴抽出部１０３は、解析結果を解析対象画像データに関連付けて、通信部１０１を介して商品データベース８００に記録する。
図７は、第１の実施の形態における商品データベース８００の構成例を示す図である。図７に示されるように、商品データベース８００には、「商品ＩＤ」、「商品画像ファイル名」、商品メタデータの各項目、「商品画像特徴量」が関連付けられて記録される。商品ＩＤは、商品を識別する情報である。商品画像ファイル名は、商品画像を識別する情報である。商品メタデータの項目は、例えば、「服飾種類」、「型番」、「価格」、「ブランド」、「サイズカテゴリ」等を含む。商品画像特徴量は、解析によって得られる情報である。
商品データベース８００に保存された全ての商品画像データが解析された場合（Ｓ１３０５でＹｅｓ）、図６の処理は終了する。解析されていない商品画像データが有る場合（Ｓ１３０５でＮｏ）、ステップＳ１３０１へ進み処理が継続する。
なお、商品データベース８００に保存された商品画像データ全てが解析対象とされなくてもよい。例えば、季節に適した商品のみ（季節が春の場合には、春物の商品）を解析対象画像データに選定する方法が採用されてもよい。当該方法が採用されることにより、季節に応じた商品を対象にコーディネートを推薦することが可能となる。
なお、図６の処理は、商品データベース８００に商品のデータが保存されるタイミングで実行されてもよいし、それ以外のタイミングで実行されてもよい。例えば、一日に一度、一週間に一度、一か月に一度等、定期的に当該処理が実行されてもよい。
図８は、第１の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。
ステップＳ１４０１において、ユーザ嗜好推定部１０４は、通信部１０１を介して、ユーザによって入力された送信要求情報を取得する。例えば、ユーザは、自らが利用する端末に送信要求情報を入力する。ステップＳ１４０１では、当該端末から送信される送信要求情報が取得される。なお、送信要求情報には、当該ユーザのユーザＩＤが含まれている。
続いて、ユーザ嗜好推定部１０４は、通信部１０１を介してユーザ情報データベース７００から、当該ユーザのユーザ画像特徴量を取得する（Ｓ１４０２）。すなわち、送信要求情報に含まれているユーザＩＤに関連付けられているユーザ画像特徴量が取得される。
続いて、ユーザ嗜好推定部１０４は、当該ユーザのユーザ嗜好特徴量を推定する（Ｓ１４０３）。ユーザ嗜好特徴量を推定する方法の例としては、服飾種類ごとのユーザ画像特徴量の平均値、中央値又は最頻値を用いる方法等がある。例えば、ユーザ画像特徴量の平均値をユーザ嗜好特徴量とする場合、当該ユーザのトップスのユーザ嗜好特徴量Ｕトップス（ｍｅａｎ）は、ユーザ画像特徴量がｎ次元であれば［Ｕトップス（ｍｅａｎ）１，Ｕトップス（ｍｅａｎ）２，Ｕトップス（ｍｅａｎ）３，・・・，Ｕトップス（ｍｅａｎ）ｎ］と表現される。ここで、Ｕトップス（ｍｅａｎ）ｋは、当該ユーザのトップスのユーザ画像特徴量のｋ次元目の平均値を表す。
同様に、ユーザ画像特徴量の中央値を用いた場合、当該ユーザのトップスのユーザ嗜好特徴量Ｕトップス（ｍｅｄｉａｎ）は、ユーザ画像特徴量がｎ次元であれば［Ｕトップス（ｍｅｄｉａｎ）１，Ｕトップス（ｍｅｄｉａｎ）２，Ｕトップス（ｍｅｄｉａｎ）３，・・・，Ｕトップス（ｍｅｄｉａｎ）ｎ］と表現される。ここで、Ｕトップス（ｍｅｄｉａｎ）ｋは、当該ユーザのトップスのユーザ画像特徴量のｋ次元目の中央値を表す。
同様に、ユーザ画像特徴量の最頻値をユーザ嗜好特徴量とする場合、当該ユーザのトップスのユーザ嗜好特徴量Ｕトップス（ｍｏｄｅ）は、ユーザ画像特徴量がｎ次元であれば［Ｕトップス（ｍｏｄｅ）１，Ｕトップス（ｍｏｄｅ）２，Ｕトップス（ｍｏｄｅ）３，・・・，Ｕトップス（ｍｏｄｅ）ｎ］と表現される。ここで、Ｕトップス（ｍｏｄｅ）ｋは、当該ユーザのトップスのユーザ画像特徴量のｋ次元目の最頻値を表す。
上述の方法によれば、ユーザのユーザ嗜好特徴量は、当該ユーザが着用していた服飾のユーザ画像特徴量から統計的に算出されるため、当該ユーザの特性又は嗜好が反映された特徴量であるといえる。なお、ユーザ画像特徴量に含まれる服飾種類と、ユーザ嗜好特徴量に含まれる服飾種類とは同一となり、服飾種類の数も同一となる。
ステップＳ１４０４において、類似度算出部１０５は、商品データベース８００から商品画像特徴量を取得する。
続いて、類似度算出部１０５は、商品画像特徴量ごとに、当該商品画像特徴量の服飾種類に対応するユーザ嗜好特徴量との類似度を算出する（Ｓ１４０５）。
類似度の算出方法の例としては、商品画像特徴量と、当該商品画像特徴量の服飾種類に対応するユーザ嗜好特徴量とのベクトル間の類似度を算出する方法がある。例えば、当該商品画像特徴量の服飾種類がトップスの場合は、商品画像特徴量のベクトルＰトップスと、当該ユーザのトップスのユーザ嗜好特徴量のベクトルＵトップスとの類似度が算出され、当該商品画像特徴量の服飾種類がパンツの場合は、商品画像特徴量のベクトルＰパンツと、当該ユーザのパンツのユーザ嗜好特徴量のベクトルＵパンツとの類似度が算出される。第１の実施の形態では、ベクトル間の類似度の算出方法として、ユークリッド距離、マハラノビス距離、コサイン類似度又はピアソン相関係数を用いた方法等任意の方法を用いることが可能であり、これらに限定されない。
ステップＳ１４０６において、コーディネート決定部１０６は、類似度算出部１０５が算出した類似度に基づいて、当該ユーザへ推薦するコーディネートを決定する。ユーザ嗜好特徴量に含まれる服飾種類ごとに、類似度に基づいて１個又はＮ個の商品が選択される。コーディネートの決定方法としては、類似度が高いものから順に選択する方法、類似度の高い上位Ｎ個の商品を選択しｎ番目（ｎは１からＮ）の商品を組み合わせる方法、類似度の高い上位Ｎ個の商品を選択し全ての商品を組み合わせる方法、類似度の高い上位Ｎ個の商品をクラスタ分析によりクラスタリングを行いクラスタの中心に最も近い商品を組み合わせる方法等がある。
例えば、類似度が高いものから順に選んでいく方法では、コーディネート決定部１０６は、当該ユーザのトップスのユーザ嗜好特徴量と最も類似度の高いトップスの商品Ａを選ぶ。同様に、コーディネート決定部１０６は、当該ユーザのパンツのユーザ嗜好特徴量と最も類似度の高いパンツの商品Ｂを選ぶ。このように当該ユーザの服飾種類ごとのユーザ嗜好特徴量との類似度が最も高い商品を選び、当該商品を組み合わせることで、推薦するコーディネートを決定する。
また、例えば、類似度が高い上位Ｎ個の商品のうち上位ｎ番目同士の商品を組み合わせる方法（ｎは１からＮの値）では、コーディネート決定部１０６は、当該ユーザのユーザ嗜好特徴量に含まれる服飾種類ごとに類似度の高い商品をＮ個ずつ選択し、選択した各商品を組み合わせる。服飾種類ごとに上位ｎ番目同士の商品を組み合わせることで、コーディネート決定部１０６は、Ｎ通りのコーディネートを決定する。このとき、コーディネート決定部１０６は、当該ユーザのコーディネートとして、Ｎ通りの全てを決定しなくてもよく、Ｎ通りの中から更に絞り込んだコーディネートを決定してもよい。
また、例えば、類似度が高い上位Ｎ個の商品を全て組み合わせる方法では、コーディネート決定部１０６は、当該ユーザのユーザ嗜好特徴量に含まれる服飾種類ごとに類似度の高い商品をＮ個ずつ選択し、選択した各商品を全て組み合わせる。Ｎ個の商品を全て組み合わせることで、コーディネート決定部１０６は、服飾種類の数がｎである場合、Ｎｎ通りのコーディネートを決定する。このとき、コーディネート決定部１０６は、当該ユーザのコーディネートとして、Ｎｎ通りの全てを決定しなくてもよく、Ｎｎ通りの中から更に絞り込んだコーディネートを決定してもよい。
また、例えば、類似度が高い上位Ｎ個の商品をクラスタ分析により絞り込んで組み合わせる方法では、コーディネート決定部１０６は、当該ユーザのユーザ嗜好特徴量に含まれる服飾種類ごとに類似度の高い商品をＮ個ずつ選択し、当該Ｎ個の商品にクラスタ分析を実施する。すなわち、コーディネート決定部１０６は、各服飾種類から選択した上位Ｎ個の商品画像特徴量を用いてクラスタリングを行い、クラスタの中心に最も近い商品を選択することにより、コーディネートに用いる商品を絞り込む。クラスタ分析に用いる方法の例としては、Ｋ−ｍｅａｎｓアルゴリズムがある。Ｋ−ｍｅａｎｓアルゴリズムとは、予め定めたクラスタ数ＫとそのＫ個のクラスタ中心をランダムに決め、サンプル点とＫ個のクラスタ中心との距離を計算し、最も近いクラスタに分類することでクラスタリングを行う方法である。クラスタリング時に、同一クラスタに該当するサンプル点の重心を計算し、クラスタ中心の更新を繰り返し、クラスタ中心の更新が収束したら処理を終了させる。分割数（クラスタ数Ｋ）は、予め決定しておいた分割数を使用するか、又は商品選択数（Ｎ個）等に応じて経験的に決定する。なお、Ｋ−ｍｅａｎｓアルゴリズム以外にも、Ｋ−ｍｅａｎｓアルゴリズムの初期値の選択方法を改良したＫ−ｍｅａｎｓ＋＋アルゴリズム、分割数（クラスタ数）を自動的に推定するＸ−ｍｅａｎｓアルゴリズム等を用いてもよい。Ｋ−ｍｅａｎｓ＋＋アルゴリズムについては、例えば、「"k-means++: the advantages of careful seeding", David Arthur, Sergei Vassilvitskii, Vassilvitskii, SODA '07 Proceedings of the eighteenth annual ACM-SIAM symposium on Discrete algorithms Pages 1027-1035」に詳しい。Ｘ−ｍｅａｎｓアルゴリズムについては、例えば、「"X-means: Extending k-means with efficient estimation of the number of clusters", Dan Pelleg, Andrew W. Moore, ICML '00 Proceedings of the Seventeenth International Conference on Machine Learning Pages 727-734」に詳しい。クラスタ分析によって、類似する商品をクラスタとしてまとめることが可能となるため、コーディネート決定部１０６は、類似した商品ばかりを用いたコーディネートの推薦を防ぎ、バリエーションのある商品を用いたコーディネートを決定することが可能となる。
続いて、コーディネート送信部１０７は、コーディネート決定部１０６が決定したコーディネートに用いる商品の情報を商品データベース８００から取得する（Ｓ１４０７）。
続いて、コーディネート送信部１０７は、商品データベース８００から取得した当該コーディネートに用いる商品の情報を、通信部１０１を介して当該ユーザへ送信する（Ｓ１４０８）。
上述したように、第１の実施の形態によれば、画像処理装置１００は、ユーザ所有画像データを解析してユーザの嗜好を推定し、商品画像データを解析して当該ユーザの嗜好を反映した商品を選択してコーディネートを決定することができる。その結果、画像処理装置１００は、ユーザの嗜好に基づいて適切な商品を推薦することができる。
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第１の実施の形態と同様でもよい。
第２の実施の形態では、図４の代わりに図９の手順が実行される。図９は、第２の実施の形態におけるユーザ画像特徴量を抽出する手順の一例を説明するためのフローチャートである。
ステップＳ２２０１、ステップＳ２２０２及びステップＳ２２０３は、図４のステップＳ１２０１、ステップＳ１２０２及びステップＳ１２０３と同様である。
ステップＳ２２０４において、ステップＳ２２０３で服飾領域が特定できなかった場合或いは服飾が写っていないと判断した場合には、特徴抽出部１０３は、ユーザ画像特徴量の抽出処理は行わずに、ユーザ画像特徴量を０とする。第２の実施の形態で用いる画像特徴量は上述したもの以外を用いてもよく、これらに限定されない。
続いて、特徴抽出部１０３は、解析対象画像データに撮影されている人物ごとに（人物ごとに行うとは、複数人が写っている場合に、各人物に対して行うことをいう。）、解析対象画像データの全ての服飾領域から抽出したユーザ画像特徴量を、一つのデータに格納する。すなわち、トップスから抽出したユーザ画像特徴量、ジャケットから抽出したユーザ画像特徴量、パンツから抽出したユーザ画像特徴量、スカートから抽出したユーザ画像特徴量、・・・、帽子から抽出したユーザ画像特徴量のような、服飾種類ごとのユーザ画像特徴量を複数集めて、一つのデータとして格納する。当該データをコーディネート画像特徴量という。特徴抽出部１０３は、コーディネート画像特徴量を解析対象画像データに関連付けて、通信部１０１を介してユーザ情報データベース７００に記録する。
図１０は、第２の実施の形態におけるユーザ情報データベース７００の構成例を示す図である。図１０に示されるように、ユーザ情報データベース７００には、「ユーザＩＤ」、「画像ファイル名」、「コーディネート画像特徴量」が関連付けられて記録される。コーディネート画像特徴量は、上述のように服飾種類別にユーザ画像特徴量を複数含む。なお、第２の実施の形態では、異なる人物から抽出されたコーディネート画像特徴量であっても、同一のユーザＩＤ（解析対象画像データに関連付けられているユーザＩＤ）に関連付けられる。
ステップＳ２２０５は、図４のステップＳ１２０５と同様である。
図１１は、第２の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。
ステップＳ２４０１は、図８のステップＳ１４０１と同様である。
続いて、ユーザ嗜好推定部１０４は、通信部１０１を介してユーザ情報データベース７００から、送信要求情報に含まれているユーザＩＤに係るユーザのコーディネート画像特徴量を取得する（Ｓ２４０２）。
続いて、ユーザ嗜好推定部１０４は、ユーザ情報データベース７００から取得したコーディネート画像特徴量をクラスタ分析することによって得られる各クラスタの代表特徴量を算出する（Ｓ２４０３）。クラスタ分析に用いる方法は、図８のステップＳ１４０６と同様に、Ｋ−ｍｅａｎｓアルゴリズム、Ｋ−ｍｅａｎｓ＋＋アルゴリズム又はＸ−ｍｅａｎｓアルゴリズム等を用いてよい。代表特徴量は、各クラスタの中心のコーディネート画像特徴量でもよいし、各クラスタの中心に一番近い位置に存在するコーディネート画像特徴量でもよい。
図１２は、第２の実施の形態における各クラスタの代表特徴量の例を示す図である。代表特徴量は、コーディネート画像特徴量と同じ構成を有し、クラスタごとに生成される。
続いて、ユーザ嗜好推定部１０４は、各クラスタの要素数（各クラスタに属するコーディネート画像特徴量の数）をカウントし、当該要素数のヒストグラムを生成する（Ｓ２４０４）。
図１３は、第２の実施の形態におけるクラスタの要素数のヒストグラムの例を示す図である。図１３では、「ユーザＩＤ」ごとに、各クラスタを代表する代表特徴量に関連付けられて要素数が記録されている。なお、図１３では、複数のユーザＩＤについて、ヒストグラムが示されているが、送信要求情報に含まれているユーザＩＤに対してのみのヒストグラムが生成されてもよい。
続いて、ユーザ嗜好推定部１０４は、生成されたヒストグラムに基づいて、嗜好モデルを生成する（Ｓ２４０５）。第２の実施の形態において、ユーザ嗜好推定部１０４は、トピックモデルを用いて、嗜好モデルを生成する。トピックモデルとは、データに含まれるトピック（潜在意味）を抽出する手法であり、文書又は画像等様々な分野で応用されている。なお、トピックモデルについては、例えば、以下の文献に詳しい。
「"トピックモデル", 岩田具治（著）, 講談社(2015/4/8)」
「"トピックモデルによる統計的潜在意味解析", 佐藤一誠 (著), 奥村学 (監修), コロナ社; A5版 (2015/3/13)」
トピックモデルには、ＰＬＳＡ（Probabilistic Latent Semantic Analysis）、ＬＤＡ（Latent Dirichlet Allocation）等の手法があるが、第２の実施の形態では、トピックモデルの具体的な手法については限定しない。第２の実施の形態では、いずれの手法が用いられてもよい。
第２の実施の形態では、ユーザが好みのコーディネートを選択する過程を、ユーザが好むトピックが複数存在し、あるトピックが確率的に選択され、更に当該トピックから出現しやすいコーディネートが選択される、とモデル化する。
図１４は、第２の実施の形態におけるトピックモデルによるモデル化を示す図である。ここで、第２の実施の形態におけるトピックとは、例えば、「カジュアルなコーディネート」、「シンプルなコーディネート」、「ガーリーなコーディネート」、「フォーマルなコーディネート」等のファッションコーディネートの印象、雰囲気又はテイスト等を指す。図１４において、ユーザとトピックを結ぶ線の太さは、ユーザのトピックへの嗜好の強さを示し、トピックと代表特徴量を結ぶ線の太さは、代表特徴量がトピックから生成される確率の大きさを示す。ユーザと太い線で結ばれている代表特徴量は、当該ユーザが当該代表特徴量を選択する確率が高いこと、すなわち、代表特徴量への嗜好度が高いことを示す。
図１５は、第２の実施の形態におけるトピックモデルを記述したグラフィカルモデルの例を示す図である。ユーザがあるトピックを選択する確率をトピック比率θという。トピック比率θに従って、トピックＺが選択され、代表特徴量Ｃは、各トピックからの出現確率φに従って選択される。トピック比率θは、当該ユーザの好みを表している。
続いて、ユーザ嗜好推定部１０４は、ステップＳ２４０４で生成したヒストグラムを入力として、ＥＭアルゴリズム、変分ベイズ推定又はギブスサンプリング等を用いて嗜好モデルを生成し、トピック比率θと出現確率φを算出する（Ｓ２４０５）。
図１６は、第２の実施の形態におけるトピック比率の算出結果の一例を示す図である。図１６に示されるように、ユーザと複数のトピックとの組み合わせごとに、トピック比率θが算出される。トピック比率θが高い組み合わせは、当該ユーザから当該トピックへの生起確率が高いことを表す。すなわち、トピック比率θが高い組み合わせは、当該ユーザが当該トピックを選択する確率が高いことを示す。一方、トピック比率θが低い組み合わせは、当該ユーザから当該トピックへの生起確率が低いことを表す。すなわち、トピック比率θが低い組み合わせは、当該ユーザが当該トピックを選択する確率が低いことを示す。なお、図１６では、複数のユーザＩＤについてトピック比率が算出されている例が示されているが、送信要求情報に含まれているユーザＩＤに対してのみトピック比率が算出されてもよい。
また、図１７は、第２の実施の形態における出現確率の算出結果の一例を示す図である。図１７に示されるように、トピックと複数の代表特徴量（複数のクラスタ）との組み合わせごとに、出現確率φが算出される。出現確率φが高い組み合わせは、当該トピックから当該代表特徴量（当該クラスタ）の生起確率が高いことを示す。一方、出現確率φが低い組み合わせは、当該トピックから当該代表特徴量の生起確率が低いことを示す。
続いて、ユーザ嗜好推定部１０４は、ステップＳ２４０５で生成した嗜好モデルに基づいて、送信要求情報に含まれているユーザＩＤに係るユーザのユーザ嗜好特徴量を推定する（Ｓ２４０６）。当該ユーザのユーザ嗜好特徴量を推定する方法としては、類似度が高い代表特徴量を選択する方法、又は嗜好度の高い代表特徴量を選択する方法等がある。
例えば、類似度が高い代表特徴量を選択する方法では、ユーザ嗜好推定部１０４は、当該ユーザのトピック比率と各代表特徴量の出現確率との類似度を算出して、当該ユーザのトピック比率との類似度が高い代表特徴量をユーザ嗜好特徴量に選択する。類似度の算出方法の例としては、当該ユーザのトピック比率と代表特徴量の出現確率とのベクトル間の類似度を算出する方法、又は確率分布の類似度を算出する方法等がある。
図１８は、第２の実施の形態におけるユーザに対するトピック比率とトピックに対する代表特徴量の出現確率との類似度を算出する例を示す図である。図１８に示されるように、当該ユーザ（ユーザＩＤがＵ００１のユーザ）のトピック比率のベクトルと、各代表特徴量の出現確率のベクトルとの類似度が算出される。ベクトル間の類似度としては、図８のステップＳ１４０５と同様に、ユークリッド距離、マハラノビス距離、コサイン類似度又はピアソン相関係数を用いた方法等任意の類似度を用いることができる。確率分布の類似度としては、バタチャリヤ距離、ＫＬ−ダイバージェンス、Ｊｅｎｓｅｎ−Ｓｈａｎｎｏｎダイバージェンスを用いた方法等任意の類似度を用いることができる。ここで、当該ユーザのトピック比率と、各代表特徴量の出現確率とを確率分布として扱うために、それぞれの合計が１となるように正規化した後に類似度を算出するものとする。第２の実施の形態では、類似度を算出する方法は、上述したもの以外の方法を用いてもよい。ユーザ嗜好特徴量としては、類似度が最も高い代表特徴量が一つだけ選択されてもよいし、類似度が高い順にＮ個の代表特徴量が選択されてもよい。
一方、嗜好度の高い代表特徴量を選択する方法では、ユーザ嗜好推定部１０４は、当該ユーザの代表特徴量の嗜好度を算出し、当該ユーザの嗜好度が高い代表特徴量をユーザ嗜好特徴量として選択する。
以下、嗜好度の算出方法について説明する。ユーザｕが、トピックＺを嗜好する確率ｐ（Ｚ｜ｕ）は、トピック比率θに従う。代表特徴量ｃが或るトピックＺから出現する確率ｐ（ｃ｜Ｚ）は、出現確率φに従う。ｐ（Ｚ｜ｕ）とｐ（ｃ｜Ｚ）とから、ユーザｕの代表特徴量ｃに対する嗜好度ｐ（ｃ｜ｕ）は、数１に基づいて求めることができる。
Figure 2018120527
 嗜好度ｐ（ｃ｜ｕ）を全ての代表特徴量において算出し、ユーザｕの嗜好度が最も高い代表特徴量が一つだけ選択されてもよいし、嗜好度が高い順にＮ個の代表特徴量が選択してもよい。
なお、ユーザ嗜好特徴量は、第１の実施の形態のようにユーザ画像特徴量の平均値、中央値又は最頻値を用いて算出されてもよい。
続いて、類似度算出部１０５は、商品データベース８００から商品画像特徴量を取得する（Ｓ２４０７）。
続いて、類似度算出部１０５は、商品データベース８００から取得した商品画像特徴量ごとに、該ユーザのユーザ嗜好特徴量のうち、当該商品画像特徴量に対応する部分との類似度を算出する（Ｓ２４０８）。「対応する」とは、服飾種類が同じであることを意味する。例えば、商品データベース８００から取得した商品画像特徴量に対応する商品がトップスである場合、当該商品画像特徴量と、ユーザ嗜好特徴量のうちトップスに対応する部分との類似度が算出され、商品データベース８００から取得した商品画像特徴量に対応する商品がジャケットである場合、当該商品画像特徴量と、ユーザ嗜好特徴量のうちジャケットに対応する部分との類似度が算出される。図８のステップＳ１４０５同様に、ベクトル間の類似度の算出方法としては、ユークリッド距離、マハラノビス距離、コサイン類似度又はピアソン相関係数を用いた方法等任意の方法を用いることができる。第２の実施の形態では、上述したもの以外の方法を用いてもよく、これらに限定されない。類似度算出部１０５は、ユーザ嗜好特徴量に対応する全ての商品画像特徴量に対して類似度の算出を行う。
ステップＳ２４０９において、コーディネート決定部１０６は、類似度算出部１０５が算出した類似度に基づいて、当該ユーザへ推薦するコーディネートを決定する。ユーザ嗜好特徴量に含まれる服飾種類ごとに、類似度に基づいて１個又はＮ個の商品が選択される。ステップＳ２４０６においてユーザ嗜好特徴量として複数の代表特徴量が選択された場合、各々の代表特徴量に対して、当該代表特徴量に含まれる服飾種類ごとに、類似度に基づいて１個又はＮ個の商品が選択される。図８のステップＳ１４０６と同様に、コーディネートの決定方法としては、類似度が高いものから順に選択する方法、類似度の高い上位Ｎ個の商品を選択しｎ番目（ｎは１からＮ）の商品を組み合わせる方法、類似度の高い上位Ｎ個の商品を選択し全ての商品を組み合わせる方法、類似度の高い上位Ｎ個の商品をクラスタ分析によりクラスタリングを行いクラスタの中心に最も近い商品を組み合わせる方法等がある。
ステップＳ２４１０とステップＳ２４１１は、図８のステップＳ１４０７とステップＳ１４０８と同様である。
上述したように、第２の実施の形態によれば、画像処理装置１００は、ユーザ所有画像データを解析して、ユーザの嗜好をトピックモデルによるモデル化を行って推定し、商品画像データを解析して当該ユーザの嗜好を反映した商品を選択してコーディネートを決定することができる。その結果、画像処理装置１００は、ユーザの嗜好に基づいて適切な商品又はコーディネートを推薦することができる。
次に、第３の実施の形態について説明する。第３の実施の形態では第２の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第２の実施の形態と同様でもよい。
図１９は、第３の実施の形態における画像処理装置３００の機能構成例を示す図である。図１９に示される画像処理装置３００は、通信部３０１、領域特定部３０２、特徴抽出部３０３、ユーザ嗜好推定部３０４、類似度算出部３０５、コーディネート決定部３０６及びコーディネート送信部３０７等を有する。通信部３０１は通信部１０１、領域特定部３０２は領域特定部１０２、特徴抽出部３０３は特徴抽出部１０３、ユーザ嗜好推定部３０４はユーザ嗜好推定部１０４、類似度算出部３０５は類似度算出部１０５、コーディネート決定部３０６はコーディネート決定部１０６、コーディネート送信部３０７はコーディネート送信部１０７と同様の機能を有する。更に、ユーザ嗜好推定部３０４及び類似度算出部３０５は、通信部３０１を介して、図１に示されるユーザ嗜好データベース９００と接続して処理を行う。更に、類似度算出部３０５は、通信部３０１を介して、ユーザから送信要求情報を取得する。
図２０は、第３の実施の形態におけるユーザ嗜好特徴量を抽出する手順の一例を説明するためのフローチャートである。第３の実施の形態では、図９の代わりに図２０の手順が実行される。
ステップＳ３２０１からステップＳ３２０４は、図９のステップＳ２２０１からステップＳ２２０４と同様である。
ステップＳ３２０５において、ユーザ情報データベース７００に保存されたユーザ所有画像データが全て解析された場合（Ｓ３２０５でＹｅｓ）、ステップＳ３２０６へ進み、全て解析されていない場合（Ｓ３２０５でＮｏ）、ステップＳ３２０１へ進み処理を継続する。
ステップＳ３２０６からステップＳ３２０８は、図１１のステップＳ２４０３からＳ２４０５と同様である。但し、ステップＳ３２０７において、ヒストグラムは、複数のユーザＩＤのそれぞれについて生成される。また、ステップＳ３２０８において、嗜好モデルは、複数のユーザＩＤのそれぞれについて生成される。
ステップＳ３２０９において、複数のユーザＩＤのそれぞれについて、図１１のステップＳ２４０６と同様の方法でユーザ嗜好特徴量が算出される。算出されたユーザ嗜好特徴量は、対応するユーザＩＤに関連付けられてユーザ嗜好データベース９００に記録される。
図２１は、第３の実施の形態におけるユーザ嗜好データベースの構成例を示す図である。図２１に示されるように、ユーザ嗜好データベース９００には、「ユーザＩＤ」と「ユーザ嗜好特徴量」が関連付けられて記録される。なお、ユーザ嗜好特徴量は、第２の実施の形態のようにトピックモデルを用いて算出されてもよいし、第１の実施の形態のようにユーザ画像特徴量の平均値、中央値又は最頻値を用いて算出されてもよい。
図２２は、第３の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。
ステップＳ３４０１において、類似度算出部３０５は、通信部３０１を介して送信要求情報を取得する。
続いて、類似度算出部３０５は、通信部３０１を介して、当該送信要求情報に含まれているユーザＩＤに関連付けられてユーザ嗜好データベース９００に記憶されているユーザ嗜好特徴量を取得する（Ｓ３４０２）。
ステップＳ３４０３からステップＳ３４０７は、図１１のステップＳ２４０７からステップＳ２４１１と同様である。
上述したように、第３の実施の形態によれば、画像処理装置３００は、ユーザ所有画像データを解析してユーザの嗜好を推定し、嗜好を示す情報をデータベースに記録する。当該データベースに記録された当該ユーザの嗜好を示す情報と商品画像データを解析した結果との類似度を算出することにより、ユーザの嗜好を反映した商品を選択してコーディネートを決定することができる。その結果、画像処理装置３００は、ユーザの嗜好に基づいて適切な商品又はコーディネートを推薦することができる。
次に、第４の実施の形態について説明する。第４の実施の形態では第２の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第２の実施の形態と同様でもよい。
図２３は、第４の実施の形態における画像処理装置４００の機能構成例を示す図である。図２３に示される画像処理装置４００は、通信部４０１、顔属性識別部４０２、領域特定部４０３、特徴抽出部４０４、ユーザ嗜好推定部４０５、類似度算出部４０６、コーディネート決定部４０７及びコーディネート送信部４０８等を有する。通信部４０１は通信部１０１、領域特定部４０３は領域特定部１０２、特徴抽出部４０４は特徴抽出部１０３、ユーザ嗜好推定部４０５はユーザ嗜好推定部１０４、類似度算出部４０６は類似度算出部１０５、コーディネート決定部４０７はコーディネート決定部１０６、コーディネート送信部４０８はコーディネート送信部１０７と同様の機能を有する。
顔属性識別部４０２は、ユーザの画像に撮影されている人物の性別、年齢及び顔等識別を行い、顔識別情報を生成する。なお、第４の実施の形態において、ユーザ情報データベース７００には、ユーザ所有画像として、ユーザ本人だけではなく、家族等の他の人物も撮影されている画像が記録されている状況が想定される。
図２４は、第４の実施の形態におけるユーザ画像特徴量を抽出する手順の一例を説明するためのフローチャートである。第４の実施の形態では、図９の代わりに図２４の手順が実行される。
ステップＳ４２０１は、図４のステップＳ１２０１と同様である。
続いて、解析対象画像データがまだ解析されていなければ（Ｓ４２０２でＹｅｓ）、ステップＳ４２０３へ進み、解析対象画像データが既に解析済であれば（Ｓ４２０２でＮｏ）、ステップＳ４２０６へ進む。
ステップＳ４２０３において、顔属性識別部４０２は、解析対象画像データを解析し、撮影されている人物の性別、年齢、顔等を識別する（Ｓ４２０３）。顔属性識別の方法は、既存の画像認識技術を用いる。例えば、統計的機械学習による手法により、画像中の局所的な組み合わせによって認識及び推定する方法等が知られている。
顔属性識別の結果は、解析対象画像データに関連付けられてユーザ情報データベース７００に記録される。
図２５は、第４の実施の形態におけるユーザ情報データベース７００の構成例を示す図である。図２５に示されるように、ユーザ情報データベース７００には、「ユーザＩＤ」、「画像ファイル名」、「顔ＩＤ」、「推定性別」、「推定年齢」、各コーディネート画像特徴量が関連付けられて記録される。「顔ＩＤ」は、同一人物であるか否かを示す識別情報である。「推定性別」は、当該顔ＩＤで識別される人物について推定された性別である。「推定年齢」は、当該顔ＩＤで識別される人物について推定された年齢である。なお、コーディネート画像特徴量は、後述のステップＳ４２０５で生成される。
ステップＳ４２０４は、図４のステップＳ１２０４と同様である。
ステップＳ４２０５において、図４のステップＳ１２０５と同様に、特徴抽出部４０４は、コーディネート画像特徴量を抽出する。特徴抽出部４０４は、抽出されたコーディネート画像特徴量と対応する顔ＩＤを関連付けて、通信部４０１を介して、ユーザ情報データベース７００に記録する。
図２６は、第４の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。
ステップＳ４４０１からステップＳ４４０３は、図１１のステップＳ２４０１からステップＳ２４０３と同様である。
ステップＳ４４０４において、図１１のステップＳ２４０４と同様に、ユーザ嗜好推定部４０５は、代表特徴量（クラスタ）ごとのコーディネート画像特徴量のヒストグラムを生成する。ユーザ嗜好推定部４０５は、顔ＩＤごとに、分類されたクラスタに属するコーディネート画像特徴量の要素数を、当該クラスタが対応する代表特徴量に対応付けたヒストグラムを生成する。
図２７は、第４の実施の形態におけるクラスタの要素数のヒストグラムの例を示す図である。図２７に示されるように、「顔ＩＤ」ごとに、複数の代表特徴量（クラスタ）に関してそれぞれの要素数が記録される。
ステップＳ４４０５において、図１１のステップＳ２４０５と同様に、ユーザ嗜好推定部４０５は、生成された代表特徴量のヒストグラムに基づいて、嗜好モデルを生成する。ユーザ嗜好推定部４０５は、顔ＩＤごとに、トピックモデルを用いて嗜好モデルを生成する。
図２８は、第４の実施の形態におけるトピックモデルによるモデル化を示す図である。図２８において、顔ＩＤとトピックを結ぶ線の太さは、顔ＩＤにより識別される人物のトピックへの嗜好の強さを示し、トピックと代表特徴量を結ぶ線の太さは、代表特徴量がトピックから生成される確率の大きさを示す。顔ＩＤと太い線で結ばれている代表特徴量は、当該顔ＩＤにより識別される人物が当該代表特徴量を選択する確率が高いこと、すなわち、代表特徴量への嗜好度が高いことを示す。
図２９は、第４の実施の形態におけるトピックモデルを記述したグラフィカルモデルの例を示す図である。顔ＩＤにより識別される人物があるトピックを選択する確率をトピック比率θという。トピック比率θに従って、トピックＺが選択され、代表特徴量Ｃは、各トピックからの出現確率φに従って選択される。トピック比率θは、当該顔ＩＤにより識別される人物の好みを表している。
図３０は、第４の実施の形態におけるトピック比率の算出結果の一例を示す図である。図３０に示されるように、顔ＩＤと複数のトピックとの組み合わせごとに、トピック比率θが算出される。顔ＩＤとトピックの関係性は、図１６におけるユーザとトピックの関係性と同様である。
ステップＳ４４０６において、ユーザ嗜好推定部４０５は、図１１のステップＳ２４０６と同様に、ステップＳ４４０５で生成した嗜好モデルに基づいて、当該顔ＩＤにより識別される人物が嗜好する代表特徴量をユーザ嗜好特徴量として推定する。当該顔ＩＤにより識別される人物のユーザ嗜好特徴量を推定する方法としては、類似度が高い代表特徴量を選択する方法、又は嗜好度の高い代表特徴量を選択する方法等がある。
例えば、類似度が高い代表特徴量を選択する方法では、ユーザ嗜好推定部４０５は、当該顔ＩＤにより識別される人物のトピック比率と代表特徴量の出現確率との類似度を算出して、当該顔ＩＤにより識別される人物のトピック比率との類似度が高い代表特徴量をユーザ嗜好特徴量に選択する。類似度の算出方法の例としては、当該顔ＩＤにより識別される人物のトピック比率と代表特徴量の出現確率とのベクトル間の類似度を算出する方法、又は確率分布の類似度を算出する方法等がある。
図３１は、第４の実施の形態における顔ＩＤに対するトピック比率とトピックに対する代表特徴量の出現確率との類似度を算出する例を示す図である。図３１に示されるように、顔ＩＤ：Ｆ１０１により識別される人物に対するトピック比率のベクトルと、各代表特徴量の出現確率のベクトルとの類似度が算出される。ベクトル間の類似度については第２の実施の形態において説明した通りである。ユーザ嗜好特徴量としては、類似度が最も高い代表特徴量が一つだけ選択されてもよいし、類似度が高い順にＮ個の代表特徴量が選択されてもよい。
また、例えば、嗜好度の高い代表特徴量を選択する方法では、ユーザ嗜好推定部４０５は、当該顔ＩＤにより識別される人物の代表特徴量の嗜好度を算出し、当該顔ＩＤにより識別される人物の嗜好度が高い代表特徴量をユーザ嗜好特徴量に選択する。
以下、嗜好度の算出方法について説明する。ユーザ：ｕ、顔ＩＤ：ｆにより識別される人物が、トピックＺを嗜好する確率ｐ（Ｚ｜ｕｆ）は、トピック比率θに従う。代表特徴量ｃが或るトピックＺから出現する確率ｐ（ｃ｜Ｚ）は、出現確率φに従う。ｐ（Ｚ｜ｕｆ）とｐ（ｃ｜Ｚ）とから、ユーザ：ｕ、顔ＩＤ：ｆにより識別される人物の代表特徴量ｃに対する嗜好度ｐ（ｃ｜ｕｆ）は、数２に基づいて求めることができる。
Figure 2018120527
 嗜好度ｐ（ｃ｜ｕｆ）を全ての代表特徴量において算出し、ユーザ：ｕ、顔ＩＤ：ｆにより識別される人物の嗜好度が最も高い代表特徴量が一つだけ選択されてもよいし、嗜好度が高い順にＮ個の代表特徴量が選択されてもよい。
なお、ユーザ嗜好特徴量は、第１の実施の形態のようにユーザ画像特徴量の平均値、中央値又は最頻値を用いて算出されてもよい。
続くステップＳ４４０７及びステップＳ４４０８は、図１１のステップＳ２４０７及びステップＳ２４０８と同様である。
ステップＳ４４０９において、コーディネート決定部４０７は、類似度算出部４０６が算出した類似度に基づいて、当該ユーザへ推薦する顔ＩＤごとのコーディネートを決定する。当該顔ＩＤのユーザ嗜好特徴量に含まれる服飾種類ごとに、顔属性識別による情報（推定性別、推定年齢等）と商品情報（サイズカテゴリ等）とから当該顔ＩＤにより識別される人物に適合する商品を絞り込んだ後、類似度に基づいて１個又はＮ個の商品が選択される。ステップＳ４４０６においてユーザ嗜好特徴量として複数の代表特徴量が選択された場合、各々の代表特徴量に対して、当該代表特徴量に含まれる服飾種類ごとに、類似度に基づいて１個又はＮ個の商品が選択される。コーディネートの決定方法は、図１１のステップＳ２４０６と同様でよい。
ステップＳ４４１０とステップＳ４４１１は、図８のステップＳ１４０７とステップＳ１４０８と同様である。
上述したように、第４の実施の形態によれば、画像処理装置４００は、ユーザ所有画像データを解析して顔属性識別を行い、識別された顔に対応する人物の嗜好をトピックモデルによるモデル化を行って推定し、商品画像データを解析して当該人物の嗜好及び顔属性識別による情報（推定性別、推定年齢等）を反映した商品を選択してコーディネートを決定することができる。その結果、画像処理装置４００は、ユーザの嗜好に基づいて適切な商品又はコーディネートを推薦することができる。
次に、第５の実施の形態について説明する。第５の実施の形態では第４の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第４の実施の形態と同様でもよい。
図３２は、第５の実施の形態における画像処理装置５００の機能構成例を示す図である。図３２に示される画像処理装置５００は、通信部５０１、顔属性識別部５０２、領域特定部５０３、特徴抽出部５０４、ユーザ嗜好推定部５０５、類似度算出部５０６、コーディネート決定部５０７、コーディネート送信部５０８、広告作成部５０９、広告送信部５１０、フォトブック作成部５１１、フォトブック送信部５１２及び印刷部５１３等を有する。通信部５０１は通信部４０１、顔属性識別部５０２は顔属性識別部４０２、領域特定部５０３は領域特定部４０３、特徴抽出部５０４は特徴抽出部４０４、ユーザ嗜好推定部５０５はユーザ嗜好推定部４０５、類似度算出部５０６は類似度算出部４０６、コーディネート決定部５０７はコーディネート決定部４０７、コーディネート送信部５０８はコーディネート送信部４０８と同様の機能を有する。
広告作成部５０９は、コーディネート用商品データをレイアウトし、広告原稿データを作成する。
広告送信部５１０は、広告原稿データを印刷部５１３へ送信する。
フォトブック作成部５１１は、通信部５０１を介してユーザから送信要求情報を取得して、ユーザ情報データベース７００から取得した顔属性識別結果に基づいて、フォトブック原稿データを作成する。
フォトブック送信部５１２は、フォトブック原稿データを印刷部５１３へ送信する。
印刷部５１３は、広告送信部５１０から取得した広告原稿データ及びフォトブック送信部５１２から取得したフォトブック原稿データを印刷又は通信部５０１を介してユーザへ送信する。
なお、第４の実施の形態と同様、ユーザ情報データベース７００には、ユーザ所有画像として、ユーザ本人だけではなく、家族等他の人物も撮影されている画像が記録されている状況が想定される。
図３３は、第５の実施の形態におけるコーディネートを推薦する手順の一例を説明するためのフローチャートである。
ステップＳ５４０１が実行される以前に、ユーザ画像特徴量又はコーディネート画像特徴量は、第４の実施の形態と同様に算出されてユーザ情報データベース７００に記録されているものとする。また、商品画像特徴量は、第４の実施の形態と同様に算出されて商品データベース８００に記録されているものとする。
ステップＳ５４０１からステップＳ５４１１は、図２６のステップＳ４４０１からステップＳ４４１１と同様である。なお、ステップＳ５４０６において算出されるユーザ嗜好特徴量は、第１の実施の形態のようにユーザ画像特徴量の平均値、中央値又は最頻値を用いて算出されてもよい。また、第３の実施の形態のように、予めユーザ嗜好特徴量がユーザ情報データベース７００に記録されており、ユーザ嗜好推定部５０５は、当該ユーザ嗜好特徴量をユーザ情報データベース７００から通信部５０１を介して取得してもよい。
ステップＳ５４１２において、広告作成部５０９は、コーディネート送信部５０８から取得したコーディネート用商品データに基づいて原稿のレイアウトを行い、広告原稿データを作成する。或る商品に関する広告原稿データのレイアウト方法は、ステップＳ５４０８でユーザ嗜好特徴量に対して算出した類似度が高い順に当該商品を大きくレイアウトする方法であってもよいし、当該商品を含むコーディネート用商品データに使用する商品の合計価格が高い順又は安い順に大きくレイアウトする方法であってもよい。
続いて、広告送信部５１０は、作成された広告原稿データを印刷部５１３へ送信する（Ｓ５４１３）。
図３４は、第５の実施の形態におけるフォトブック作成手順の一例を説明するためのフローチャートである。
ステップＳ５５０１において、フォトブック作成部５１１は、通信部５０１を介してユーザから送信要求情報を取得する。
続いて、フォトブック作成部５１１は、通信部５０１を介してユーザ情報データベース７００から、送信要求情報に含まれているユーザＩＤに対応する顔属性識別結果及びユーザ所有画像データを取得する（Ｓ５５０２）。
ステップＳ５５０３において、フォトブック作成部５１１は、当該顔属性識別結果に基づいて、フォトブック原稿データの各ページで使用するユーザ所有画像データを選定する。フォトブック原稿データの作成にあたり、予めサイズ、ページ数及びレイアウトテンプレート等の条件が与えられる。予め与えられる条件により、選定する画像数の上限等が決定される。フォトブック原稿データの各ページで使用するユーザ所有画像データの選定は、取得した各ユーザ所有画像データの顔属性識別結果（顔ＩＤ、推定性別、推定年齢等）に基づいてなされる。各ページで使用するユーザ所有画像データの選定方法としては、例えば、ページごとに同一の顔ＩＤにより識別される人物が撮影されている画像を選定する方法（或るページはＡさん中心に選定され、他のページはＢさん中心に選定される、等）であってもよい。当該方法によれば、ページごとに同一人物が撮影されているフォトブックが作成されることから、統一感のあるフォトブック原稿データを作成することが可能である。また、他のユーザ所有画像データの選定方法としては、顔が認識された回数が多い画像、すなわち多くの顔ＩＤが識別された画像を中心に選定する方法であってもよい。当該方法によれば、大勢の人が集まった集合写真又は記念写真が中心のフォトブック原稿データを作成することが可能である。また、ユーザ所有画像データを選定する方法は、顔属性識別結果のみに基づく方法に限定されるものではなく、例えば、ユーザ所有画像データのメタデータ（撮影日時、撮影場所等）を利用し、ユーザ所有画像データの撮影日ごと又は撮影場所ごとに各ページの画像が選定されてもよい。なお、フォトブック原稿データの各ページで使用するユーザ所有画像データは、ユーザが選定してもよいし、フォトブック作成部５１１により選定された後ユーザに再度選定させてもよいし、ユーザが選定したユーザ所有画像データのみからフォトブック作成部５１１が選定してもよい。
続いて、フォトブック作成部５１１は、選定されたユーザ所有画像データを予め与えられたレイアウトテンプレートに割り当て、フォトブック原稿データを作成してフォトブック送信部へ出力する（Ｓ５５０４）。選定されたユーザ所有画像データを各ページにレイアウトする方法として、認識された顔の大きさが大きい順に、画像を大きくレイアウトする方法がある。また、他の方法として、年齢が小さい順に配置する方法（赤ちゃん及び子供中心のレイアウト）、認識された顔の数が多い順に画像を大きくレイアウトする方法、ランダムにレイアウトする方法等がある。また、ステップＳ５５０４でフォトブック作成部５１１が各ページに使用する画像をレイアウトした後に、ユーザにレイアウトを変更させてもよいし、最初からユーザがレイアウトしてもよい。
続いて、フォトブック送信部５１２は、当該フォトブック原稿データを印刷部５１３へ送信する。
続いて、印刷部５１３は、ステップＳ５４１３で送信された広告原稿データ及びステップＳ５５０５で送信されたフォトブック原稿データを受信して、印刷する。また、印刷部５１３は、通信部５０１を介してユーザへ広告原稿データ及びフォトブック原稿データを送信してもよい。
上述したように、第５の実施の形態によれば、画像処理装置５００は、ユーザの嗜好を反映した商品を選択してコーディネートを決定した後、当該コーディネートに応じた広告を作成し、顔属性識別結果を利用して使用するユーザの画像を選定したフォトブックを作成することができる。その結果、画像処理装置５００は、ユーザの嗜好に基づいて適切な商品又はコーディネートを推薦することができる。また、画像処理装置５００は、フォトブックの印刷に合わせて、ユーザの特性及び嗜好に合わせた商品又はコーディネートを推薦することで、ユーザにフォトブックの印刷に要する費用を還元することができる。また、商品販売主は、対象者（ユーザ）の特性及び嗜好に合わせた商品又はコーディネートを推薦することが広告の印刷によって可能となり、購買率を向上することが可能となる。
なお、各実施の形態において、画像処理装置１００、３００、４００及び５００は、複数の装置から構成されてもよい。例えば、画像処理装置１００、３００、４００及び５００は、複数のコンピュータを含む画像処理システムであってもよい。
なお、第１から第５の実施の形態において、ユーザ所有画像データは、ユーザ画像データの一例である。服飾の種類（トップス、ジャケット、パンツ、スカート、ワンピース、シューズ、バッグ、ベルト、帽子等）は、服飾品の種類の一例である。服飾が表示されている画像領域（領域の幅、高さ及び領域の始点の座標等で示される）は、服飾品の画像領域の一例である。特徴抽出部１０３は、抽出部及び取得部の一例である。ユーザ画像特徴量は、第１の特徴量の一例である。商品画像特徴量は、第２の特徴量の一例である。ユーザ嗜好特徴量は、第３の特徴量の一例である。ユーザ嗜好推定部１０４は、特定部の一例である。類似度の算出は、比較の一例である。類似度算出部１０５、コーディネート決定部１０６及びコーディネート送信部１０７は、出力部の一例である。コーディネート特徴量は、第４の特徴量の一例である。代表特徴量は、代表値の一例である。トピック比率θは、トピックがユーザによって選択される比率の一例である。出現確率φは、クラスタのトピックごとの出現比率の一例である。顔ＩＤは、同一人物であるか否かを示す情報の一例である。広告作成部５０９は、第１の生成部の一例である。広告原稿データは、広告データの一例である。フォトブック作成部５１１は、第２の生成部の一例である。フォトブック原稿データは、データの一例である。レイアウトテンプレートは、所定のレイアウトの一例である。レイアウトは、配列の一例である。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００ 画像処理装置
１０１ 通信部
１０２ 領域特定部
１０３ 特徴抽出部
１０４ ユーザ嗜好推定部
１０５ 類似度算出部
１０６ コーディネート決定部
１０７ コーディネート送信部
３００ 画像処理装置
３０１ 通信部
３０２ 領域特定部
３０３ 特徴抽出部
３０４ ユーザ嗜好推定部
３０５ 類似度算出部
３０６ コーディネート決定部
３０７ コーディネート送信部
４００ 画像処理装置
４０１ 通信部
４０２ 顔属性識別部
４０３ 領域特定部
４０４ 特徴抽出部
４０５ ユーザ嗜好推定部
４０６ 類似度算出部
４０７ コーディネート決定部
４０８ コーディネート送信部
５００ 画像処理装置
５０１ 通信部
５０２ 顔属性識別部
５０３ 領域特定部
５０４ 特徴抽出部
５０５ ユーザ嗜好推定部
５０６ 類似度算出部
５０７ コーディネート決定部
５０８ コーディネート送信部
５０９ 広告作成部
５１０ 広告送信部
５１１ フォトブック作成部
５１２ フォトブック送信部
５１３ 印刷部
６００ ネットワーク
７００ ユーザ情報データベース
８００ 商品データベース
９００ ユーザ嗜好データベース
Ｂ バス
１００１ ＣＰＵ
１００２ ネットワークインタフェース
１００３ 入出力インタフェース
１００４ 補助記憶装置
１００５ メモリ装置
特開２０１２−０１４５４４号公報

Claims (10)

  1. ユーザを被写体として含む１以上のユーザ画像データのそれぞれから、前記ユーザが着用している各服飾品の種類及び各服飾品の画像領域の第１の特徴量を抽出する抽出部と、
    商品としての服飾品を含む１以上の商品画像データのそれぞれに関して、各商品に係る服飾品の種類及び各商品の画像領域の第２の特徴量を取得する取得部と、
    前記種類ごとに、当該種類に係る前記第１の特徴量に基づいて、前記ユーザの嗜好を示す第３の特徴量を特定する特定部と、
    前記種類ごとに、当該種類に係る前記第２の特徴量と、当該種類に係る前記第３の特徴量との比較に基づいて推薦する商品を特定し、特定された商品の組み合わせに関する情報を出力する出力部と、
    を有することを特徴とする画像処理装置。
  2. 前記特定部は、前記種類ごとに、当該種類に係る前記第１の特徴量の平均値、中央値、又は最頻値に基づいて前記第３の特徴量を特定する、
    ことを特徴とする請求項１記載の画像処理装置。
  3. 前記特定部は、前記ユーザ画像データごとに、当該ユーザ画像データから抽出された前記種類ごとの特徴量の集合である第４の特徴量を生成し、
    前記第４の特徴量を複数のクラスタに分類し、
    各クラスタに分類された前記第４の特徴量の数に基づいて、トピックモデルを用いて、各トピックが前記ユーザによって選択される比率と、前記各クラスタのトピックごとの出現比率とを算出し、
    前記各トピックの比率と、前記各クラスタのトピックごとの出現比率とに基づいて、前記クラスタごとの前記第４の特徴量に関する代表値の中から前記第３の特徴量を特定する、
    ことを特徴とする請求項１記載の画像処理装置。
  4. 前記特定部は、前記各クラスタのトピックごとの出現比率のうち、前記各トピックの比率に最も類似するトピックごとの出現比率に係るクラスタに分類された前記第４の特徴量に関する代表値を前記第３の特徴量として特定する、
    ことを特徴とする請求項３記載の画像処理装置。
  5. 前記特定部は、前記各クラスタについて、トピックごとの、当該トピックの比率と、当該クラスタの当該トピックの出現比率との積の総和を算出し、前記総和が最大のクラスタに分類された前記第４の特徴量に関する代表値の中から前記第３の特徴量を特定する、
    ことを特徴とする請求項３記載の画像処理装置。
  6. 前記抽出部は、同一人物ごとに、当該人物が着用している各服飾品の種類及び各服飾品の画像領域の前記第１の特徴量を抽出し、
    前記特定部は、同一人物ごと、かつ、前記種類ごとに、当該人物及び当該種類に係る前記第１の特徴量に基づいて、前記人物の嗜好を示す第３の特徴量を特定し、
    前記出力部は、同一人物ごと、かつ、前記種類ごとに、当該人物及び当該種類に係る前記第２の特徴量と、当該人物及び当該種類に係る前記第３の特徴量との比較に基づいて、当該人物に推薦する商品を特定し、特定された商品の組み合わせに関する情報を出力する、
    ことを特徴とする請求項１乃至５いずれか一項記載の画像処理装置。
  7. 前記推薦する商品に関する広告データを生成する第１の生成部、
    を有することを特徴とする請求項１乃至６いずれか一項記載の画像処理装置。
  8. 前記同一人物ごとに、当該同一人物を被写体として含むユーザ画像データが所定のレイアウトで配列されたデータを生成する第２の生成部、
    を有することを特徴とする請求項６記載の画像処理装置。
  9. ユーザを被写体として含む１以上のユーザ画像データのそれぞれから、前記ユーザが着用している各服飾品の種類及び各服飾品の画像領域の第１の特徴量を抽出する抽出手順と、
    商品としての服飾品を含む１以上の商品画像データのそれぞれに関して、各商品に係る服飾品の種類及び各商品の画像領域の第２の特徴量を取得する取得手順と、
    前記種類ごとに、当該種類に係る前記第１の特徴量に基づいて、前記ユーザの嗜好を示す第３の特徴量を特定する特定手順と、
    前記種類ごとに、当該種類に係る前記第２の特徴量と、当該種類に係る前記第３の特徴量との比較に基づいて推薦する商品を特定し、特定された商品の組み合わせに関する情報を出力する出力手順と、
    を実行することを特徴とする画像処理方法。
  10. ユーザを被写体として含む１以上のユーザ画像データのそれぞれから、前記ユーザが着用している各服飾品の種類及び各服飾品の画像領域の第１の特徴量を抽出する抽出部と、
    商品としての服飾品を含む１以上の商品画像データのそれぞれに関して、各商品に係る服飾品の種類及び各商品の画像領域の第２の特徴量を取得する取得部と、
    前記種類ごとに、当該種類に係る前記第１の特徴量に基づいて、前記ユーザの嗜好を示す第３の特徴量を特定する特定部と、
    前記種類ごとに、当該種類に係る前記第２の特徴量と、当該種類に係る前記第３の特徴量との比較に基づいて推薦する商品を特定し、特定された商品の組み合わせに関する情報を出力する出力部と、
    を有することを特徴とする画像処理システム。
JP2017013193A 2017-01-27 2017-01-27 画像処理装置、画像処理方法及び画像処理システム Pending JP2018120527A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017013193A JP2018120527A (ja) 2017-01-27 2017-01-27 画像処理装置、画像処理方法及び画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017013193A JP2018120527A (ja) 2017-01-27 2017-01-27 画像処理装置、画像処理方法及び画像処理システム

Publications (1)

Publication Number Publication Date
JP2018120527A true JP2018120527A (ja) 2018-08-02

Family

ID=63043945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017013193A Pending JP2018120527A (ja) 2017-01-27 2017-01-27 画像処理装置、画像処理方法及び画像処理システム

Country Status (1)

Country Link
JP (1) JP2018120527A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6472925B1 (ja) * 2018-11-02 2019-02-20 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
JP6511204B1 (ja) * 2018-10-31 2019-05-15 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
JP2020071852A (ja) * 2018-11-02 2020-05-07 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
JP2020071859A (ja) * 2019-04-05 2020-05-07 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
JP2020107084A (ja) * 2018-12-27 2020-07-09 日本電気株式会社 服装提案装置、服装提案方法、およびプログラム
CN111415185A (zh) * 2019-01-08 2020-07-14 腾讯科技（深圳）有限公司 业务处理方法、装置、终端及存储介质
JP2020149469A (ja) * 2019-03-14 2020-09-17 三田 ヒロ子 内装材特定装置
JP2021009427A (ja) * 2019-06-28 2021-01-28 富士フイルム株式会社 情報処理装置及び方法並びにプログラム
JP2021012436A (ja) * 2019-07-03 2021-02-04 富士フイルム株式会社 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
KR20210074533A (ko) * 2019-12-12 2021-06-22 웰니스인텔리전스(주) 사용자 정보를 기반으로 육아 서비스 추천이 가능한 육아 정보 플랫폼 서버 및 그 동작 방법
JP2021530047A (ja) * 2019-03-25 2021-11-04 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 画像処理方法及び装置、電子機器、並びに記憶媒体
JP2022501726A (ja) * 2018-10-23 2022-01-06 オ−ディーディー コンセプツ インク． スタイル推薦方法、装置及びコンピュータプログラム
JP2022526381A (ja) * 2019-08-22 2022-05-24 シェンチェン センスタイム テクノロジー カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
US11551378B2 (en) 2018-10-31 2023-01-10 Neural Pocket Inc. Information processing system, information processing device, server device, program, and method to identify a position in a figure
JP7248858B1 (ja) 2022-11-08 2023-03-29 株式会社博報堂 情報処理システム、コンピュータプログラム、及び情報処理方法
CN116823361A (zh) * 2023-08-31 2023-09-29 博洛尼智能科技（青岛）有限公司 基于人工智能的首饰搭配检测及推送方法
JP7469450B1 (ja) 2022-12-22 2024-04-16 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096194A (ja) * 2009-11-02 2011-05-12 Dainippon Printing Co Ltd 可変データ生成方法、可変データ作成装置、バリアブル印刷システム
JP2012014544A (ja) * 2010-07-02 2012-01-19 Nippon Telegr & Teleph Corp <Ntt> コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
JP2014078100A (ja) * 2012-10-10 2014-05-01 Nippon Telegr & Teleph Corp <Ntt> 配信装置及びコンピュータプログラム
JP2014229129A (ja) * 2013-05-23 2014-12-08 日本電信電話株式会社 組み合わせ提示装置及びコンピュータプログラム
US20150302505A1 (en) * 2014-04-17 2015-10-22 Wei Di Fashion preference analysis
JP2016009416A (ja) * 2014-06-26 2016-01-18 株式会社リコー 販売促進システム、販売促進管理装置および販売促進管理プログラム
JP2016118918A (ja) * 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096194A (ja) * 2009-11-02 2011-05-12 Dainippon Printing Co Ltd 可変データ生成方法、可変データ作成装置、バリアブル印刷システム
JP2012014544A (ja) * 2010-07-02 2012-01-19 Nippon Telegr & Teleph Corp <Ntt> コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
JP2014078100A (ja) * 2012-10-10 2014-05-01 Nippon Telegr & Teleph Corp <Ntt> 配信装置及びコンピュータプログラム
JP2014229129A (ja) * 2013-05-23 2014-12-08 日本電信電話株式会社 組み合わせ提示装置及びコンピュータプログラム
US20150302505A1 (en) * 2014-04-17 2015-10-22 Wei Di Fashion preference analysis
JP2016009416A (ja) * 2014-06-26 2016-01-18 株式会社リコー 販売促進システム、販売促進管理装置および販売促進管理プログラム
JP2016118918A (ja) * 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501726A (ja) * 2018-10-23 2022-01-06 オ−ディーディー コンセプツ インク． スタイル推薦方法、装置及びコンピュータプログラム
JP6511204B1 (ja) * 2018-10-31 2019-05-15 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
WO2020090054A1 (ja) * 2018-10-31 2020-05-07 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
US11551378B2 (en) 2018-10-31 2023-01-10 Neural Pocket Inc. Information processing system, information processing device, server device, program, and method to identify a position in a figure
JP2020071852A (ja) * 2018-11-02 2020-05-07 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
WO2020090117A1 (ja) * 2018-11-02 2020-05-07 悠樹 北原 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
JP7450241B2 (ja) 2018-11-02 2024-03-15 深和パテントサービス株式会社 情報処理装置、情報処理システム、および学習装置
JP2020071811A (ja) * 2018-11-02 2020-05-07 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
JP6472925B1 (ja) * 2018-11-02 2019-02-20 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
JP7279361B2 (ja) 2018-12-27 2023-05-23 日本電気株式会社 服装提案装置、服装提案方法、およびプログラム
JP2020107084A (ja) * 2018-12-27 2020-07-09 日本電気株式会社 服装提案装置、服装提案方法、およびプログラム
CN111415185A (zh) * 2019-01-08 2020-07-14 腾讯科技（深圳）有限公司 业务处理方法、装置、终端及存储介质
CN111415185B (zh) * 2019-01-08 2024-05-28 腾讯科技（深圳）有限公司 业务处理方法、装置、终端及存储介质
JP2020149469A (ja) * 2019-03-14 2020-09-17 三田 ヒロ子 内装材特定装置
JP2021530047A (ja) * 2019-03-25 2021-11-04 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 画像処理方法及び装置、電子機器、並びに記憶媒体
JP7098763B2 (ja) 2019-03-25 2022-07-11 上▲海▼商▲湯▼智能科技有限公司 画像処理方法及び装置、電子機器、並びに記憶媒体
JP2020071859A (ja) * 2019-04-05 2020-05-07 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
JP2021009427A (ja) * 2019-06-28 2021-01-28 富士フイルム株式会社 情報処理装置及び方法並びにプログラム
JP7098579B2 (ja) 2019-06-28 2022-07-11 富士フイルム株式会社 情報処理装置及び方法並びにプログラム
JP7420495B2 (ja) 2019-07-03 2024-01-23 富士フイルム株式会社 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
JP2021012436A (ja) * 2019-07-03 2021-02-04 富士フイルム株式会社 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
JP2022526381A (ja) * 2019-08-22 2022-05-24 シェンチェン センスタイム テクノロジー カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
US11830591B2 (en) 2019-12-12 2023-11-28 WellnessIntelligence Inc. Child care information platform server for recommending information regarding child care based on user information and the operating method thereof
KR102296822B1 (ko) * 2019-12-12 2021-09-01 웰니스인텔리전스(주) 사용자 정보를 기반으로 육아 서비스 추천이 가능한 육아 정보 플랫폼 서버 및 그 동작 방법
KR20210074533A (ko) * 2019-12-12 2021-06-22 웰니스인텔리전스(주) 사용자 정보를 기반으로 육아 서비스 추천이 가능한 육아 정보 플랫폼 서버 및 그 동작 방법
JP7248858B1 (ja) 2022-11-08 2023-03-29 株式会社博報堂 情報処理システム、コンピュータプログラム、及び情報処理方法
JP2024068560A (ja) * 2022-11-08 2024-05-20 株式会社博報堂 情報処理システム、コンピュータプログラム、及び情報処理方法
JP7469450B1 (ja) 2022-12-22 2024-04-16 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
CN116823361A (zh) * 2023-08-31 2023-09-29 博洛尼智能科技（青岛）有限公司 基于人工智能的首饰搭配检测及推送方法
CN116823361B (zh) * 2023-08-31 2023-12-12 博洛尼智能科技（青岛）有限公司 基于人工智能的首饰搭配检测及推送方法

Similar Documents

Publication Publication Date Title
JP2018120527A (ja) 画像処理装置、画像処理方法及び画像処理システム
US10025950B1 (en) Systems and methods for image recognition
US10824942B1 (en) Visual similarity and attribute manipulation using deep neural networks
JP5829662B2 (ja) 処理方法、コンピュータプログラム及び処理装置
WO2021068610A1 (zh) 资源推荐的方法、装置、电子设备及存储介质
EP3028184B1 (en) Method and system for searching images
US8416997B2 (en) Method of person identification using social connections
JP5509753B2 (ja) 認識結果を生成するためのシステム及び方法
US10410108B2 (en) Systems, methods, and computer program products for searching and sorting images by aesthetic quality personalized to users or segments
US9892342B2 (en) Automatic image product creation for user accounts comprising large number of images
Hu et al. Style in the long tail: Discovering unique interests with latent variable models in large scale social e-commerce
JP6569183B2 (ja) 情報処理装置、方法及びプログラム
US10489444B2 (en) Using image recognition to locate resources
JP7242848B2 (ja) 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法
KR102117667B1 (ko) 소셜미디어 및 사용자 로그를 이용한 큐레이션 기반 데일리 코디 서비스 제공 방법
Kairanbay et al. Beauty is in the eye of the beholder: Demographically oriented analysis of aesthetics in photographs
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
US9516089B1 (en) Identifying and processing a number of features identified in a document to determine a type of the document
JP2014229129A (ja) 組み合わせ提示装置及びコンピュータプログラム
US9594946B2 (en) Image product creation based on face images grouped using image product statistics
US9792535B2 (en) Automatic image product creation for user accounts comprising large number of images
US20230385903A1 (en) System and method for intelligent context-based personalized beauty product recommendation and matching at retail environments
US9495617B2 (en) Image product creation based on face images grouped using image product statistics
WO2021019311A1 (en) Hybrid recommender system equipped with facial expression recognition and machine learning
KR20210112258A (ko) 오프라인 구매를 위한 개인화된 추천 서비스 제공 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005