JP2017220019A - 画像検索装置、方法、及びプログラム - Google Patents

Abstract

【課題】少ないユーザ負荷で嗜好に応じた衣服画像を検索する画像検索装置、画像検索方法及びプログラムを提供する。
【解決手段】画像検索装置２００は、クエリ衣服画像及びクエリ衣服画像の注目領域の指定の入力を繰り返し受け付ける。クエリ間類似度算出部２４が、現在及び過去のクエリ衣服画像を参照し、注目領域、注目領域の各属性、及び注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、各属性の属性重視度、及び各画像特徴量の特徴重視度を推定する。クエリ画像間類似度算出部２５が、商品データ記憶部１２に記憶された、現在のクエリ衣服画と各衣服画像との属性類似度及び特徴類似度と、推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度とに基づいて、予め登録された衣服画像の各々について、クエリ衣服画像と衣服画像との類似度を算出し、クエリ衣服画像と類似する衣服画像を出力する。
【選択図】図３

Description

本発明は、画像検索装置、方法、及びプログラムに係り、特に、クエリ衣服画像に類似する衣服画像を検索するための画像検索装置、方法、及びプログラムに関する。

ＥＣ（electronic commerce）サイトの一般化に伴い、従来実店舗での購入が主流であった服飾についても、オンライン上での購入がユーザに浸透しつつある。実店舗では、店員と相談することで自分の趣向にあった商品を探すことは容易であるが、ＥＣサイトにおいてはその膨大な商品数により、ユーザが自身の趣向にあった衣服を探すことは困難を極める。多くのＥＣサイトではファセット検索を採用しており、ユーザは限られたタグから絞り込み検索を行い、提示された膨大な結果をブラウジングすることで所望の衣服を探すことになる。

一方このようなユーザの手間を省き効率的な検索を実現するために、入力画像に類似した画像を自動で発見する類似画像検索技術がある。非特許文献１では、ユーザに衣服画像において注目している注目領域を手動で指定させることで、ユーザの趣向を検索結果に反映している。非特許文献２では、衣服をトップスとボトムスといった衣服を構成する領域に分割し、分割された領域ごとに類似画像を出力することで、ユーザが衣服のどこを重視しているかに依存せずユーザの要求を満たす検索結果を出力している。

Mizuochi, M., Kanezaki, A., & Harada, T. (2014, November). Clothing Retrieval Based on Local Similarity with Multiple Images. In Proceedings of the ACM International Conference on Multimedia (pp. 1165-1168). ACM. Liu, Si, et al. "Street-to-shop: Cross-scenario clothing retrieval via parts alignment and auxiliary set." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.

しかしながら非特許文献１は検索する度にユーザへ領域の指定を強いるため、検索結果の画像を新たなクエリとして再帰的検索する際のユーザ負荷が高い。また指定された領域にのみ着目した検索を行うため、当該領域に強く依存した結果しか得られず、検索精度はユーザのシステム習熟度に依存する。非特許文献２では予めシステム上に規定された複数の領域に基づき検索するためにユーザ負荷は低いが、一方でユーザの興味がない領域も同時に検索結果に表示されるため、ユーザの利便性は低い。

また両非特許文献とも、ユーザの重視する衣服の領域ごとに検索することは可能であるが、その領域に含まれる衣服のどの属性や特徴をユーザが重視しているかは考慮していない。例えば、トップスの色は固定し、柄だけ変化させた衣服を見たい、といった要求には答えることはできない。

本発明は、上記問題点を解決するために成されたものであり、少ないユーザ負荷で嗜好に応じた衣服画像を検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像検索装置は、クエリ衣服画像及び前記クエリ衣服画像の注目領域の指定の入力を繰り返し受け付けて前記クエリ衣服画像に対応する衣服画像を検索する画像検索装置であって、受け付けた前記クエリ衣服画像の各々において指定された注目領域、前記注目領域の各属性、及び前記注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、前記衣服の各領域についての前記領域の各属性の属性重視度、及び前記衣服の各領域についての前記領域の各画像特徴量の特徴重視度を推定するクエリ間類似度算出部と、前記クエリ衣服画像の各領域の各属性及び各領域の各画像特徴量と、予め登録された前記衣服画像の各々についての各領域の各属性及び各領域の各画像特徴量と、前記クエリ間類似度算出部によって推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度とに基づいて、予め登録された前記衣服画像の各々について、前記クエリ衣服画像と前記衣服画像との類似度を算出し、前記算出された類似度に基づいて、前記クエリ衣服画像と類似する前記衣服画像を出力するクエリ画像間類似度算出部と、を含んで構成されている。

また、第１の発明に係る画像検索装置において、前記クエリ衣服画像を、前記クエリ画像間類似度算出部によって出力された前記衣服画像から選択されたものとし、前記選択された前記衣服画像の領域が、前記注目領域として指定されるようにしてもよい。

また、第１の発明に係る画像検索装置において、前記領域の属性は、前記領域の装飾、前記領域の形、前記領域の生地、前記領域の種類、及び前記領域の色の少なくとも一つを含むようにしてもよい。

第２の発明に係る画像検索方法は、クエリ衣服画像及び前記クエリ衣服画像の注目領域の指定の入力を繰り返し受け付けて前記クエリ衣服画像に対応する衣服画像を検索する画像検索装置における画像検索方法であって、クエリ間類似度算出部が、受け付けた前記クエリ衣服画像の各々において指定された注目領域、前記注目領域の各属性、及び前記注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、前記衣服の各領域についての前記領域の各属性の属性重視度、及び前記衣服の各領域についての前記領域の各画像特徴量の特徴重視度を推定するステップと、クエリ画像間類似度算出部が、前記クエリ衣服画像の各領域の各属性及び各領域の各画像特徴量と、予め登録された前記衣服画像の各々についての各領域の各属性及び各領域の各画像特徴量と、前記クエリ間類似度算出部によって推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度とに基づいて、予め登録された前記衣服画像の各々について、前記クエリ衣服画像と前記衣服画像との類似度を算出し、前記算出された類似度に基づいて、前記クエリ衣服画像と類似する前記衣服画像を出力するステップと、を含んで実行することを特徴とする。

また、第２の発明に係る画像検索方法において、前記クエリ衣服画像を、前記クエリ画像間類似度算出部が出力するステップによって出力された前記衣服画像から選択されたものとし、前記選択された前記衣服画像の領域が、前記注目領域として指定されるようにしてもよい。

また、第２の発明に係る画像検索方法において、前記領域の属性は、前記領域の装飾、前記領域の形、前記領域の生地、前記領域の種類、及び前記領域の色の少なくとも一つを含むようにしてもよい。

また、第３の発明に係るプログラムは、コンピュータを、第１の発明に係る画像検索装置の各部として機能させるためのプログラムである。

本発明の画像検索装置、方法、及びプログラムによれば、クエリ衣服画像及びクエリ衣服画像の注目領域の指定の入力を繰り返し受け付けて、クエリ衣服画像の各々において指定された注目領域、注目領域の各属性、及び注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、衣服の各領域についての領域の各属性の属性重視度、及び衣服の各領域についての領域の各画像特徴量の特徴重視度を推定し、推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度に基づいて、予め登録された衣服画像の各々について、クエリ衣服画像と衣服画像との類似度を算出し、類似度に基づいて、クエリ衣服画像と類似する衣服画像を出力することにより、少ないユーザ負荷で嗜好に応じた衣服画像を検索することができる、という効果が得られる。

本発明の実施の形態に係る画像検索システムの構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像検索装置及びユーザ端末の構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る画像検索装置における画像検索処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る画像検索システムの構成＞

まず、本発明の実施の形態に係る画像検索システムの構成について説明する。図１に示すように、本発明の実施の形態に係る画像検索システム１は、画像処理装置１００と、商品データ記憶部１２と、画像検索装置２００と、ネットワーク１５０と、ユーザ端末３００とを含んで構成されている。

画像処理装置１００及び画像検索装置２００は、それぞれ、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチン及び画像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

ユーザ端末３００は例えば、ウェブ接続機能やディスプレイなどの表示機能などを有する一般的なＰＣやスマートフォン・タブレットなどのモバイル端末によって実現可能である。ユーザ端末３００と画像検索装置２００とは、例えばウェブなどのネットワーク１５０を介して相互に通信可能に接続されている。なお、ユーザ端末３００と画像処理装置１００と画像検索装置２００とは同一端末上に構成してもよい。

＜本発明の実施形態に係る画像処理装置の構成＞

次に、本発明の実施形態に係る画像処理装置の構成について説明する。

図２に示すように、本発明の実施の形態に係る画像処理装置１００は、画像入力部１１と、領域検出部１３と、特徴抽出部１４と、属性検出部１５と、画像間類似度算出部１６と、領域検出器記憶部１７と、属性検出器記憶部１８とを備えている。

画像入力部１１は、例えばＥＣサイトの商品データの衣服画像（登録画像）群を受け付けて領域検出部１３に出力する。また、衣服画像群を商品データ記憶部１２に登録する。

領域検出部１３は、画像入力部１１から受け付けた衣服画像の各々について、領域検出器記憶部１７に記憶されている領域検出器に基づいて、当該衣服画像に含まれるトップスやボトムスといった衣服の各領域の座標を取得して各領域を検出し、特徴抽出部１４及び商品データ記憶部１２に出力する。衣服の領域は例えば矩形やポリゴンで表現すればよい。領域検出器は、例えば非特許文献３などの手段を用いて予め学習した領域検出器を使えばよい。

［非特許文献３］：Malisiewicz, T., Gupta, A., & Efros, A. A. (2011, November). Ensemble of exemplar-svms for object detection and beyond. In Computer Vision (ICCV), 2011 IEEE International Conference on (pp. 89-96). IEEE.

特徴抽出部１４は、画像入力部１１から受け付けた衣服画像の各々について、領域検出部１３で検出した領域ごとの各画像特徴量を抽出し、属性検出部１５及び商品データ記憶部１２に出力する。各画像特徴量としては、例えばＨＯＧや色ヒストグラムなどを使えばよい。

属性検出部１５は、特徴抽出部１４で抽出された衣服画像の各々の領域ごとの各画像特徴量に基づいて、属性検出器記憶部１８に記憶されている属性検出器に基づいて、当該領域に含まれる各属性を検出し、画像間類似度算出部１６及び商品データ記憶部１２に出力する。各属性としては、衣服の領域のアイテムに付加された特徴的な装飾（ベルト、リボン、ファー、ビジューなど）や、衣服の領域の形（襟、袖、スカートの形、スカート丈、パンツの形、パンツの丈など）や、衣服の領域の生地（柄、色、素材、編地の模様など）や衣服の領域の種類そのもの（ワンピース、スーツ、ジーンズなど）、衣服の領域の色などがある。属性検出器にはＳＶＭなどを用いればよい。

画像間類似度算出部１６は、領域検出部１３で検出された衣服画像の各々の各領域と、特徴抽出部１４で抽出された衣服画像の各々の領域ごとの各画像特徴量と、属性検出部１５で検出された衣服画像の各々の領域ごとの各属性とに基づいて、衣服画像の各々について、衣服画像間の属性類似度及び特徴類似度を算出し、商品データ記憶部１２に出力する。

衣服画像間の類似度は、衣服画像の各々について、領域ごとに特徴量、及び属性のそれぞれについて、例えば下記のように算出すればよい。

属性についての類似度は、ある二つの衣服画像間で一致する属性の個数を用いればよい。画像番号をｎ（＝１，２,…,Ｎ)とする。領域のインデックスをｐ（＝１，２,…,Ｐ）とする。例えばｐ＝１はトップス、ｐ＝２はボトムスの領域を示す。属性のインデックスをａ（＝１，２,…,Ａ）とする。例えばａ＝１は襟の形、ａ＝２は柄、ａ＝３は色の属性を示す。画像ｎの領域ｐにおける属性ａの検出結果をσ（ｎ,ｐ,ａ）とする。このとき画像ＮとＭにおける領域ｐの属性ａの類似度Ｈ_ａ ^ｐ（Ｍ,Ｎ）は以下（１）式のように求められる。

例えば、画像Ｎについて、σ（Ｎ，１，１）＝１（トップスの襟の形：“Ｖネック”）、σ（Ｎ，１，２）＝１（トップスの柄：“ボーダー”）、σ（Ｎ，１，３）＝１（トップスの色：“ピンク”）、画像Ｍについて、σ（Ｍ，１，１）＝２（トップスの襟の形：“ラウンドネック”）、σ（Ｍ，１，２）＝２（トップスの柄：“花柄”）、σ（Ｍ，１，３）＝１（トップスの色：“ピンク”）という属性が検出された場合、Ｈ_１ ^１（Ｍ，Ｎ）＝０、Ｈ_２ ^１（Ｍ，Ｎ）＝０、Ｈ_３ ^１（Ｍ，Ｎ）＝１となる。

画像特徴量についての類似度は、ある二つの衣服画像間の画像特徴量の距離を用いればよい。画像番号をＭ、Ｎとし、領域のインデックスをｐ、画像特徴量をφ、画像特徴量の種類をｆ（＝１,…,Ｆ）としたとき、画像特徴量についての類似度Ｅは以下（２）式のように求められる。

ここで、｜ ｜は、画像間の画像特徴量の距離を表し、例えばコサイン類似度やユークリッド距離の逆数などで求めればよい。以上のようにして衣服画像の各々の領域ごとに求めた属性類似度及び特徴類似度を、商品データ記憶部１２に格納する。

商品データ記憶部１２は、領域検出部１３、特徴抽出部１４、属性検出部１５、及び画像間類似度算出部１６の各処理部の出力結果が、入力された衣服画像と紐づけて保存されているデータベースである。

＜本発明の実施形態に係る画像検索装置及びユーザ端末の構成＞

次に、本発明の実施形態に係る画像検索装置及びユーザ端末の構成について説明する。本実施の形態の画像検索装置は、クエリ衣服画像の入力及びクエリ衣服画像の注目領域の指定を繰り返し受け付けて、クエリ衣服画像に類似する衣服画像を、商品データ記憶部１２から検索して、ユーザ端末３００に出力する。

図３に示すように、本発明の実施の形態に係る画像検索装置２００は、通信部４２と、演算部２０とを備えている。演算部２０は、画像出力部２１と、ユーザログ記憶部２３と、クエリ間類似度算出部２４と、クエリ画像間類似度算出部２５とを備えている。

ユーザ端末３００は、通信部４３と、演算部３０とを備えている。演算部３０は、画像表示部３１と、画像領域指定部３２とを備えている。

まずユーザ端末３００の各部について説明する。

画像表示部３１は、画像検索装置２００の画像出力部２１から出力された衣服画像の各々及び当該衣服画像の各領域の検出結果を、通信部４３を介して受け付け、ユーザ端末３００のディスプレイを介して表示させる。

画像領域指定部３２は、画像表示部３１で表示された衣服画像から、ユーザにクエリ衣服画像を選択させる。そして、当該クエリ衣服画像の領域から注目領域を指定させて、通信部４３を介して、クエリ衣服画像及び注目領域の指定を、画像検索装置２００に出力する。クエリ衣服画像の選択、及び当該クエリ衣服画像の注目領域の指定は、ユーザ端末３００の態様に応じて、例えばスマートフォンであれば、画面をタップするＵＩや、ＰＣであれば、ディスプレイをマウスでクリックするＵＩなどで行えばよい。

次に画像検索装置２００の各部について説明する。

画像出力部２１は、商品データ記憶部１２からユーザに提示する衣服画像及び当該衣服画像の各領域の検出結果の各々を取得し、通信部４２を介してユーザ端末３００に出力する。出力する衣服画像は任意でよく、予め定めた衣服画像を一律に提示したり、ユーザに対して推薦する衣服画像を定めておいて提示してもよい。また、出力する衣服画像の数は複数であってよい。

ユーザログ記憶部２３には、通信部４３を介して受け付けた、ユーザが選択したクエリ衣服画像と、当該クエリ衣服画像について指定された注目領域とを紐づけて時系列順に保存するデータベースである。

クエリ間類似度算出部２４は、以下に詳細に説明するように、ユーザログ記憶部２３に格納されている、現在及び過去にクエリ衣服画像となった衣服画像を参照して、クエリ衣服画像の各々において指定された注目領域、注目領域の各属性、及び注目領域の各画像特徴量とに基づいて、衣服の各領域の領域重視度ｗ_ｐ ^＊、衣服の各領域ｐについての各属性ａの属性重視度ｗ_ａ ^＊、及び衣服の各領域ｐについての各画像特徴量ｆの特徴重視度ｗ_ｆ ^＊を推定し、クエリ画像間類似度算出部２５に出力する。

クエリ画像間類似度算出部２５は、以下に詳細に説明するように、商品データ記憶部１２に記憶された、現在のクエリ衣服画と各衣服画像との属性類似度及び特徴類似度と、クエリ間類似度算出部２４によって推定された各領域の領域重視度ｗ_ｐ ^＊、各領域の各属性の属性重視度ｗ_ａ ^＊、及び各領域の各画像特徴量の特徴重視度ｗ_ｆ ^＊とに基づいて、予め商品データ記憶部１２に登録された衣服画像の各々について、現在のクエリ衣服画像と当該衣服画像との類似度Ｓを算出する。

クエリ画像間類似度算出部２５は、算出された類似度Ｓに基づいて、商品データ記憶部１２からクエリ衣服画像と類似する衣服画像を取得し、取得した衣服画像を類似度の順にソートして、通信部４２を介してユーザ端末３００に出力する。

［クエリ画像間類似度算出部２５の処理詳細］

まず、クエリ画像間類似度算出部２５におけるクエリ衣服画像と衣服画像との類似度Ｓの推定手法を詳述する。

衣服画像のインデックスをｎ（＝１，２，…Ｎ）、領域のインデックスをｐ（＝１，２，…，Ｐ）、属性のインデックスをａ（＝１，２，…，Ａ）、特徴量のインデックスをｆ（＝１，…Ｆ）とする。ｔ（＝０，…，Ｔ）回目に選択されたクエリ衣服画像をｑ^ｔ、クエリ衣服画像及び衣服画像間の類似度をＳ_ｎとし、ｔ回目に検索する際の領域重視度をｗ_ｐ ^ｔとする。また、ある領域ｐにおける特徴重視度をｗ_ｆ ^ｔ、属性重視度をｗ_ａ ^ｔとする。このときクエリ衣服画像ｑ^ｔと衣服画像ｎとの類似度Ｓ_ｎは、商品データ記憶部１２に記憶された、クエリ衣服画像ｑ^ｔと衣服画像ｎとの各領域の属性類似度及び特徴類似度を用いて、下記（３）式によって算出される。

各重視度は以下（４）〜（６）式に示すように、過去のユーザの選択を反映するために、指数平滑法などで時系列重みを与えればよい。各αは平滑化定数であり０から１の実数値である。

以上をクエリ画像間類似度算出部２５で実施し、クエリ衣服画像に対する各衣服画像ｎの類似度Ｓ_ｎを算出する。

なお、各重視度の初期値は任意に与えればよく、ｔ＝０とすればよい。例えば下記（７）式のようにインデックスの総数で割った値を与えればよい。

［クエリ間類似度算出部２４の処理詳細］

次にクエリ間類似度算出部２４における領域重視度ｗ_ｐ ^＊、並びに、ある領域ｐにおける特徴重視度ｗ_ｆ ^＊及び属性重視度ｗ_ａ ^＊の算出法を述べる。ｔ回目に選択したクエリ衣服画像をｑ^ｔ、指定された注目領域をｐ^ｔ、指定された注目領域の画像特徴量をｆ^ｔ、指定された注目領域に含まれる属性をａ^ｔとしたとき、各重視度は、上記の画像間類似度算出部１６で用いた上記（１）式及び（２）式を利用し、下記（８）〜（１０）式により算出される。

上記（８）〜（１０）式のように算出することで、過去のクエリ衣服画像と一致する衣服の特徴、すなわちユーザが重視する衣服の特徴に関わる領域、属性、及び画像特徴量の重み（重視度）が増加し、それ以外の過去のクエリ衣服画像における衣服の特徴と一致しない重み（重視度）は減少する。このような重み（重視度）を導入することで、例えばユーザが黄色のトップスを再帰的に選択していくなかで、トップスの色についてはバリエーションが少なくなり、それ以外の衣服の特徴（襟の形や柄）はバリエーションに富んだ検索結果が得られ、ユーザの利便性が向上する。

＜本発明の実施の形態に係る画像処理装置の作用＞

次に、本発明の実施の形態に係る画像処理装置１００の作用について説明する。画像入力部１１において衣服画像（登録画像）群を受け付け商品データ記憶部１２に登録すると、画像処理装置１００は、図４に示す画像処理ルーチンを実行する。

まず、ステップＳ１００では、領域検出部１３は、画像入力部１１から受け付けた衣服画像群から衣服画像を選択し、領域検出器記憶部１７に記憶されている領域検出器に基づいて、当該衣服画像に含まれるトップスやボトムスといった衣服の各領域の座標を取得して各領域を検出し、特徴抽出部１４及び商品データ記憶部１２に出力する。

次に、ステップＳ１０２では、特徴抽出部１４は、ステップＳ１００で検出した領域ごとの各画像特徴量を抽出して、属性検出部１５及び商品データ記憶部１２に出力する。

ステップＳ１０４では、属性検出部１５は、ステップＳ１０２で抽出された衣服画像の領域ごとの各画像特徴量に基づいて、各領域について、属性検出器記憶部１８に記憶されている属性検出器に基づいて、当該領域に含まれる各属性を検出して、画像間類似度算出部１６及び商品データ記憶部１２に出力する。

ステップＳ１０６では、全ての衣服画像についてステップＳ１００〜Ｓ１０４の処理を終了したかを判定し、終了したと判定された場合にはステップＳ１０８へ移行し、終了していないと判定された場合には、ステップＳ１００に戻って次の衣服画像を選択して処理を繰り返す。

ステップＳ１０８では、画像間類似度算出部１６は、ステップＳ１００で検出された衣服画像の各々の各領域と、ステップＳ１０２で抽出された衣服画像の各々の領域ごとの各画像特徴量と、ステップＳ１０４で検出された衣服画像の各々の領域ごとの各属性とに基づいて、衣服画像のペアの各々について、衣服画像間の各領域の属性類似度及び特徴類似度を算出し、商品データ記憶部１２に出力して画像処理ルーチンを終了する。

＜本発明の実施の形態に係る画像検索装置の作用＞

次に、本発明の実施の形態に係る画像検索装置２００の作用について説明する。画像検索装置２００は、図５に示す画像検索処理ルーチンを実行する。

まず、ステップＳ２００では、画像出力部２１は、商品データ記憶部１２からユーザに提示する衣服画像及び当該衣服画像の各領域の検出結果の各々を取得し、通信部４２を介してユーザ端末３００に出力する。そして、ユーザは、画像領域指定部３２により、ユーザ端末３００の画像表示部３１により表示された衣服画像から、クエリ衣服画像を選択し、当該クエリ衣服画像の領域から注目領域を指定する。

次に、ステップＳ２０２では、ユーザ端末３００から、ユーザの選択したクエリ衣服画像と、当該クエリ衣服画像について指定された注目領域とを通信部４２を介して受け付けたかを判定し、受け付けたと判定された場合にはステップＳ２０４へ移行し、受け付けていないと判定された場合にはステップＳ２０２を繰り返す。

ステップＳ２０４では、受け付けたユーザの指定したクエリ衣服画像と、当該クエリ衣服画像について指定された注目領域とをユーザログ記憶部２３に格納する。

ステップＳ２０６では、クエリ間類似度算出部２４は、上記（７）式に従って、衣服の各領域の領域重視度ｗ_ｐ ^＊、衣服の各領域ｐについての領域の各属性の属性重視度ｗ_ａ ^＊、及び衣服の各領域ｐについての領域の各画像特徴量の特徴重視度ｗ_ｆ ^＊の初期値を設定する。

ステップＳ２０８では、クエリ間類似度算出部２４は、ユーザログ記憶部２３に格納されている、現在及び過去にクエリ衣服画像となった衣服画像を参照して、クエリ衣服画像の各々において指定された注目領域、注目領域の各属性、及び注目領域の各画像特徴量とに基づいて、上記（８）〜（１０）式に従って、衣服の各領域の領域重視度ｗ_ｐ ^＊、衣服の各領域ｐについての各属性ａの属性重視度ｗ_ａ ^＊、及び衣服の各領域ｐについての各画像特徴量ｆの特徴重視度ｗ_ｆ ^＊を推定する。

ステップＳ２１０では、クエリ画像間類似度算出部２５は、商品データ記憶部１２に記憶された、現在のクエリ衣服画と各衣服画像との属性類似度及び特徴類似度と、ステップＳ２０８で推定された各領域の領域重視度ｗ_ｐ ^＊、各領域の各属性の属性重視度ｗ_ａ ^＊、及び各領域の各画像特徴量の特徴重視度ｗ_ｆ ^＊とに基づいて、上記（３）〜（６）式に従って、予め商品データ記憶部１２に登録された衣服画像の各々について、現在のクエリ衣服画像と当該衣服画像との類似度Ｓを算出する。

ステップＳ２１２では、クエリ画像間類似度算出部２５は、ステップＳ２１０でクエリ衣服画像と衣服画像との組み合わせの各々について算出された類似度Ｓに基づいて、商品データ記憶部１２からクエリ衣服画像と類似する衣服画像を取得し、取得した衣服画像を類似度の順にソートして、通信部４２を介してユーザ端末３００に出力する。ユーザは、出力された衣類画像の中に所望の衣類画像を見つけた場合には、終了を指示し、出力された衣類画像の中に所望の衣類画像がなく、検索を継続する場合には、画像領域指定部３２により、ユーザ端末３００の画像表示部３１により表示された衣服画像から、クエリ衣服画像を選択し、当該クエリ衣服画像の領域から注目領域を指定する。

ステップＳ２１３では、ユーザ端末３００から、衣服画像の検索を終了することを通信部４２を介して受け付けたかを判定し、終了を受け付けたと判定された場合には画像検索処理ルーチンを終了し、終了を受け付けていないと判定された場合にはステップＳ２１４へ移行する。

ステップＳ２１４では、ユーザ端末３００から、ユーザの指定したクエリ衣服画像と、当該クエリ衣服画像について指定された注目領域とを通信部４２を介して受け付けたかを判定し、受け付けたと判定された場合にはステップＳ２１６へ移行し、受け付けていないと判定された場合にはステップＳ２１４を繰り返す。

ステップＳ２１６では、ユーザの指定したクエリ衣服画像と、当該クエリ衣服画像について指定された注目領域とをユーザログ記憶部２３に格納して、ステップＳ２０８に戻って処理を繰り返す。

以上説明したように、本発明の実施の形態に係る画像検索装置によれば、クエリ衣服画像及びクエリ衣服画像の注目領域の指定の入力を繰り返し受け付けて、クエリ衣服画像の各々において指定された注目領域、注目領域の各属性、及び注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、衣服の各領域についての領域の各属性の属性重視度、及び衣服の各領域についての領域の各画像特徴量の特徴重視度を推定し、推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度に基づいて、予め登録された衣服画像の各々について、クエリ衣服画像と衣服画像との類似度を算出し、類似度に基づいて、クエリ衣服画像と類似する衣服画像を出力することにより、嗜好に応じた衣服画像を検索することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、領域重視度ｗ_ｐ ^ｔ、特徴重視度ｗ_ｆ ^ｔ、及び属性重視度ｗ_ａ ^ｔをある１人のユーザに限定して推定していたが、これに限定されるものではなく、複数のユーザから得られた各重視度を統合（例えばユーザごとに算出平均を計算）することで、特定のユーザ層に最適な重視度を得ることが可能である。またユーザを限定せず、季節で区切って重視度を収集し統合することで、季節ごとに最適な重視度を得ることも可能である。

また、上述した実施の形態では、商品データ記憶部１２に格納された衣服画像の各々と当該衣服画像の各領域の検出結果とをユーザ端末３００に出力して、ユーザ端末３００では受け付けた衣服画像及び衣服画像の各領域から、クエリ衣服画像及び当該クエリ衣服画像の注目領域を指定して画像検索装置２００に出力する場合について説明したが、これに限定されるものではなく、ユーザ端末３００において、端末のカメラ等によって衣服画像を取得して、クエリ衣類画像とし、リアルタイムに領域検出、画像特徴量抽出、及び属性検出を行って、クエリ衣服画像の注目領域を指定して画像検索装置２００に出力するようにしてもよい。

１ 画像検索システム
１１ 画像入力部
１２ 商品データ記憶部
１３ 領域検出部
１４ 特徴抽出部
１５ 属性検出部
１６ 画像間類似度算出部
１７ 領域検出器記憶部
１８ 属性検出器記憶部
２０、３０ 演算部
２１ 画像出力部
２３ ユーザログ記憶部
２４ クエリ間類似度算出部
２５ クエリ画像間類似度算出部
３１ 画像表示部
３２ 画像領域指定部
４２、４３ 通信部
１００ 画像処理装置
１５０ ネットワーク
２００ 画像処理装置
２００ 画像検索装置
３００ ユーザ端末

Claims (7)

1. クエリ衣服画像及び前記クエリ衣服画像の注目領域の指定の入力を繰り返し受け付けて前記クエリ衣服画像に対応する衣服画像を検索する画像検索装置であって、
   受け付けた前記クエリ衣服画像の各々において指定された注目領域、前記注目領域の各属性、及び前記注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、前記衣服の各領域についての前記領域の各属性の属性重視度、及び前記衣服の各領域についての前記領域の各画像特徴量の特徴重視度を推定するクエリ間類似度算出部と、
   前記クエリ衣服画像の各領域の各属性及び各領域の各画像特徴量と、予め登録された前記衣服画像の各々についての各領域の各属性及び各領域の各画像特徴量と、前記クエリ間類似度算出部によって推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度とに基づいて、予め登録された前記衣服画像の各々について、前記クエリ衣服画像と前記衣服画像との類似度を算出し、前記算出された類似度に基づいて、前記クエリ衣服画像と類似する前記衣服画像を出力するクエリ画像間類似度算出部と、
   を含む画像検索装置。
2. 前記クエリ衣服画像を、前記クエリ画像間類似度算出部によって出力された前記衣服画像から選択されたものとし、
   前記選択された前記衣服画像の領域が、前記注目領域として指定される請求項１記載の画像検索装置。
3. 前記領域の属性は、前記領域の装飾、前記領域の形、前記領域の生地、前記領域の種類、及び前記領域の色の少なくとも一つを含む請求項１又は２記載の画像検索装置。
4. クエリ衣服画像及び前記クエリ衣服画像の注目領域の指定の入力を繰り返し受け付けて前記クエリ衣服画像に対応する衣服画像を検索する画像検索装置における画像検索方法であって、
   クエリ間類似度算出部が、受け付けた前記クエリ衣服画像の各々において指定された注目領域、前記注目領域の各属性、及び前記注目領域の各画像特徴量に基づいて、衣服の各領域の領域重視度、前記衣服の各領域についての前記領域の各属性の属性重視度、及び前記衣服の各領域についての前記領域の各画像特徴量の特徴重視度を推定するステップと、
   クエリ画像間類似度算出部が、前記クエリ衣服画像の各領域の各属性及び各領域の各画像特徴量と、予め登録された前記衣服画像の各々についての各領域の各属性及び各領域の各画像特徴量と、前記クエリ間類似度算出部によって推定された各領域の領域重視度、各領域の各属性の属性重視度、及び各領域の各画像特徴量の特徴重視度とに基づいて、予め登録された前記衣服画像の各々について、前記クエリ衣服画像と前記衣服画像との類似度を算出し、前記算出された類似度に基づいて、前記クエリ衣服画像と類似する前記衣服画像を出力するステップと、
   を含む画像検索方法。
5. 前記クエリ衣服画像を、前記クエリ画像間類似度算出部が出力するステップによって出力された前記衣服画像から選択されたものとし、
   前記選択された前記衣服画像の領域が、前記注目領域として指定される請求項４記載の画像検索方法。
6. 前記領域の属性は、前記領域の装飾、前記領域の形、前記領域の生地、前記領域の種類、及び前記領域の色の少なくとも一つを含む請求項４又は５記載の画像検索方法。
7. コンピュータを、請求項１〜請求項３のいずれか１項に記載の画像検索装置の各部として機能させるためのプログラム。