JP2015162193A - 商品検索装置及び方法、商品検索システム - Google Patents

商品検索装置及び方法、商品検索システム Download PDF

Info

Publication number
JP2015162193A
JP2015162193A JP2014038522A JP2014038522A JP2015162193A JP 2015162193 A JP2015162193 A JP 2015162193A JP 2014038522 A JP2014038522 A JP 2014038522A JP 2014038522 A JP2014038522 A JP 2014038522A JP 2015162193 A JP2015162193 A JP 2015162193A
Authority
JP
Japan
Prior art keywords
block
product
sensitivity
category
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014038522A
Other languages
English (en)
Other versions
JP2015162193A5 (ja
JP6163440B2 (ja
Inventor
野口 幸典
Yukinori Noguchi
幸典 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014038522A priority Critical patent/JP6163440B2/ja
Priority to EP15754715.9A priority patent/EP3113045A4/en
Priority to PCT/JP2015/051242 priority patent/WO2015129331A1/ja
Priority to CN201580007680.2A priority patent/CN105981012A/zh
Publication of JP2015162193A publication Critical patent/JP2015162193A/ja
Priority to US15/205,403 priority patent/US10229177B2/en
Publication of JP2015162193A5 publication Critical patent/JP2015162193A5/ja
Application granted granted Critical
Publication of JP6163440B2 publication Critical patent/JP6163440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】消費者が複数商品の購入の決断を円滑に行うことが可能になる商品検索装置及び方法、商品検索システムを提供する。【解決手段】商品データベース102から特定商品の画像の物理量を取得する物理量取得部116と、特定商品の画像の物理量を、感性空間のブロックを示す情報に変換する第1の変換部118と、感性空間のブロックを示す情報を画像の物理量の範囲を示す情報に変換する第2の変換部122と、検索対象カテゴリを選択するカテゴリ選択部123と、検索対象カテゴリ及び第2の変換部122で得られた物理量の範囲を示す情報に基づいて、商品データベース102から、検索対象カテゴリ及び注目ブロックに対応するに対応する画像を検索する検索部124を備える。【選択図】 図2

Description

本発明は、消費者が複数商品の購入の決断を円滑に行うことが可能になる商品検索装置及び方法、商品検索システムに関する。
従来、ユーザにより例示画メニューから特定の画像が選択されると、その特定の画像と比較して人の感じる印象がほぼ等しい類似画像をデータベースから検索する技術が知られている。
特許文献1は、デザイナーが任意の画像から感じる印象を特定するのに用いる感性特徴量と、画像処理結果から演算で抽出される物理特徴量との相関関係を、統計的手法で予め求めておき、デザイン時の画像検索では、入力画像の感性特徴量と登録画像の感性特徴量との空間的距離(ユークリッド距離)を求めて画像検索を行う構成を開示している。具体的には、感性特徴量の座標軸(例えば、ハード/ソフト軸、及びウォーム/クール軸)からなる座標空間において、ユーザにより例示画メニューから指定された特定の類似指定画像の座標位置及び特定の非類似指定画像の座標位置によって定まる線分に基づいて画像検索の中心点を求め、この中心点からの空間的距離が近いn個の登録画像を最も近い登録画像から順にデータベースから検索する。これにより、検索を希望する画像とぴったり合致する画像が例示画メニューにない場合や、例示画に対して着色変更、模様変更等の軽微なバリエーションを加えた場合でも、ユーザにより指定された特定の画像と比べて人の感じる印象がほぼ等しい画像を、精度よく検索して表示できる。
特許文献2は、図柄見本として複数の登録画像を物理特徴量とともにデータベースに予め記憶させておき、デザイン時の画像検索では、物理特徴量の座標軸(例えば、線の太さ軸、左右対称度軸、及び空間の密度軸)からなる座標空間において、基準座標位置のシフトルールを定める感性語(例えば「もう少しシャープな」)がユーザにより指示入力されると、特定の画像の物理特徴量に対応する基準座標位置から、入力された感性語に対応したシフト(例えば線の太さの値がより小さい座標位置へのシフト)を行い、シフトされた基準座標位置を中心として空間的距離の短い画像をデータベースから検索する構成を、開示している。これにより、ユーザにより指定された特定の画像と比べて人の感じる印象がほぼ等しい画像を、精度よく検索して表示できる。
特開平8-249353号公報 特開平9-114853号公報
消費者の端末装置(以下「クライアント装置」という)にネットワークを介して推奨商品の画像を表示させる場合、消費者が商品画像から感じる印象を考慮せずに、ランダムに複数の推奨商品の画像を表示すると、画像が無秩序に表示されて消費者が買いたい商品を絞りきれないという問題や、お気に入りの商品が見つかるまでに消費者が疲れてしまうという問題がある。つまり、単にランダムに推奨商品の画像を表示するだけでは、消費者が購入決断し難いという問題がある。特に、服とズボンなど複数のカテゴリにわたって異なる複数の商品を購入する場合、消費者はコーディネイトに戸惑ってしまい、ネットショッピングの購入決断を行わない確率が高くなる。また、消費者がひとつのカテゴリで異なる複数商品の購入を希望する場合にも、消費者がコーディネイトに戸惑ってしまう場合がある。
また、特許文献1、2に開示されているようなデザイナー向けの公知の画像検索技術を一般消費者向けの商品推奨用の画像検索に適用することも考えられる。しかしながら、上記の特許文献1、2に記載された従来技術は、デザイナー向けの画像検索技術であって、既に創り出されたデザインから類似デザインを次々と創り出そうとするデザイナーにとっては確かに効率よいかもしれないが、複数商品を同時に購入することを希望する消費者に適した商品推奨用の画像検索技術が提供されていない。
本発明はこのような事情に鑑みてなされたもので、消費者が複数商品の購入の決断を円滑に行うことが可能になる商品検索装置及び方法、商品検索システムを提供することを目的とする。
上記の目的を達成するために、本発明は、複数の商品にそれぞれ対応する複数の画像と、商品の画像の物理量と、商品のカテゴリとを関連付けて記憶する商品データベースを用いる商品検索装置であって、商品データベースから特定商品の画像の物理量を取得する物理量取得部と、取得された特定商品の画像の物理量を、人の感性を表わす複数の感性語が配置された感性空間の複数のブロックのうちで特定商品の画像に対応するブロックである特定商品感性ブロックを示す情報に変換する第1の変換部と、第1の変換部で得られた特定商品感性ブロックを示す情報に基づいて感性空間の複数のブロックのうちから選択された注目ブロックを示す情報を、注目ブロックに対応する画像の物理量の範囲を示す情報に変換する第2の変換部と、商品データベースから取得される特定商品のカテゴリに基づいて、商品データベースに記憶されている複数のカテゴリのうちから検索対象カテゴリを選択するカテゴリ選択部と、カテゴリ選択部で選択された検索対象カテゴリ及び第2の変換部で得られた物理量の範囲を示す情報に基づいて、商品データベースから、検索対象カテゴリ及び注目ブロックに対応する画像を検索する検索部と、を備える商品検索装置を提供する。
本発明により、感性空間を介して物理量の検索範囲が選択される一方で、特定商品のカテゴリに基づいてカテゴリの検索範囲が選択されるので、消費者がひとつのカテゴリで異なる複数商品の購入を希望する場合でも、あるいは消費者が異なる複数のカテゴリにわたって複数商品の購入を希望する場合でも、特定商品を基にしつつ人の感性に応じた商品推奨が可能になり、消費者が複数商品の購入の決断を円滑に行うことが可能になる。
本発明の一態様では、カテゴリ選択部は、特定商品と同じカテゴリを、検索対象カテゴリとして選択する。これにより、ひとつのカテゴリで複数商品を購入することを消費者が希望する場合に、消費者の購入決断を促すことが可能になる。
本発明の一態様では、カテゴリ選択部は、特定商品と比較して、身に着ける身体位置が同じである商品のカテゴリを、検索対象カテゴリとして選択する。これにより、複数のカテゴリにわたり複数商品を購入することを消費者が希望する場合に、消費者の購入決断を促すことが可能になる。
本発明の一態様では、カテゴリ選択部は、特定商品と比較して、身に着ける身体位置が隣接する商品のカテゴリ、近接する商品のカテゴリ、又は部分的に重なる商品のカテゴリを、検索対象カテゴリとして選択する。これにより、身に着ける位置が異なる複数のカテゴリにわたり複数商品を購入することを消費者が希望する場合に、消費者の購入決断を促すことが可能になる。
本発明の一態様では、商品データベースに記憶されている各カテゴリと人の身体位置との対応関係を示すカテゴリ対身体位置情報を記憶するカテゴリ対身体位置データベースを備え、カテゴリ選択部は、カテゴリ対身体位置情報に基づいて検索対象カテゴリを選択する。これにより、身に着ける位置が異なる複数のカテゴリにわたり複数商品を購入することを消費者が希望する場合に、消費者の購入決断を促すことが可能になる。
本発明の一態様では、感性空間において特定商品感性ブロックに隣接するブロック、近接するブロック、及び部分的に重なるブロックのうちの少なくともひとつを、注目ブロックとして選択する注目ブロック選択部を備える。これにより、特定商品とは人の感じる印象が少しだけ異なる非類似画像の商品をユーザが選択可能となるので、ユーザの選択範囲を適切な範囲とすることが可能になる。
本発明の一態様では、特定商品の画像に対応する感性語とは反対の意味の感性語を含むブロックである反対語感性ブロックを、注目ブロックとして選択する注目ブロック選択部を備える。これにより、特定商品とは感性的に全く異なる画像の商品をユーザに推奨可能となり、ユーザの購入意欲を促進させることができる。
本発明の一態様では、注目ブロック選択部は、感性空間において特定商品感性ブロックと反対語感性ブロックとの間に配置されているブロックも、注目ブロックとして選択する。これにより、反対語感性ブロックのみでなく、特定商品感性ブロックと反対語感性ブロックとの間に配置されているブロックも検索範囲となるので、ユーザの商品の選択範囲を適切な範囲に広げることが可能となる。
本発明の一態様では、ユーザの指定した感性語及びユーザの指定したブロックのうちの少なくとも一方を示す情報を受け付けるユーザ指定情報受付部と、ユーザの指定した感性語に対応する感性空間のブロック又はユーザの指定した感性空間のブロックであるユーザ指定感性ブロックを、注目ブロックとして選択する注目ブロック選択部を備える。これにより、ユーザ指定に応じて特定商品とは非類似画像の商品を推奨することが可能になる。
本発明の一態様では、注目ブロック選択部は、感性空間において特定商品感性ブロックとユーザ指定感性ブロックとの間に配置されているブロックも、注目ブロックとして選択する。これにより、ユーザ指定感性ブロックのみでなく、特定商品感性ブロックとユーザ指定感性ブロックとの間に配置されているブロックも検索範囲となるので、ユーザの商品の選択範囲を適切な範囲に広げることが可能となる。
本発明の一態様では、互いに反対の意味を持つ第1の感性語及び第2の感性語にそれぞれに対応するブロックである第1の感性語ブロック及び第2の感性語ブロックと特定商品感性ブロックの3つのブロックを結ぶ曲線上に配置されているブロックを、注目ブロックとして選択する注目ブロック選択部を備える。
本発明の一態様では、感性空間の各ブロックを示す情報と複数の商品の画像の物理量の範囲との対応関係を示す変換データを記憶する変換データベースを備え、第2の変換部は、変換データに基づいて変換を行う。
本発明の一態様では、物理量は、色特徴量、形特徴量、柄特徴量、及び質感特徴量のうちの少なくとも1つである。
本発明の一態様では、検索部で検索された画像を出力する出力部を備える。
また、本発明は、上記の商品検索装置を構成するサーバ装置と、サーバ装置にネットワークを介して接続されるクライアント装置とを備える商品検索システムにおいて、クライアント装置は、表示部と、特定商品を示す情報、又は特定商品の画像を示す情報の入力を受け付けるクライアント入力部と、クライアント入力部で受け付けた情報を、サーバ装置に送信する端末送信部と、ネットワークを介してサーバ装置から送信される検索された画像を受信する端末受信部と、端末受信部で受信した画像を、表示部に表示させる制御部と、を有し、サーバ装置の物理量取得部は、クライアント装置から送信される情報と、商品データベースに記憶された情報とに基づいて、特定商品の画像の物理量を取得し、サーバ装置は、検索された画像をクライアント装置に送信する、商品検索システムを提供する。
また、本発明は、複数の商品にそれぞれ対応する複数の画像と、商品の画像の物理量と、商品のカテゴリとを関連付けて記憶する商品データベースを用いる商品検索方法であって、商品データベースから特定商品の画像の物理量を取得する工程と、取得された特定商品の画像の物理量を、人の感性を表わす複数の感性語が配置された感性空間の複数のブロックのうちで特定商品の画像に対応するブロックである特定商品感性ブロックを示す情報に変換する第1の変換工程と、第1の変換工程で得られた特定商品感性ブロックを示す情報に基づいて感性空間の複数のブロックのうちから選択された注目ブロックを示す情報を、注目ブロックに対応する画像の物理量の範囲を示す情報に変換する第2の変換工程と、商品データベースから取得される特定商品のカテゴリに基づいて、商品データベースに記憶されている複数のカテゴリのうちから検索対象カテゴリを選択するカテゴリ選択工程と、カテゴリ選択工程で選択された検索対象カテゴリ及び第2の変換工程で得られた物理量の範囲を示す情報に基づいて、商品データベースから、検索対象カテゴリ及び注目ブロックに対応する画像を検索する工程と、を含む商品検索方法を提供する。
本発明によれば、消費者がひとつのカテゴリで異なる複数商品の購入を希望する場合あるいは消費者が異なる複数のカテゴリにわたって複数商品の購入を希望する場合でも、消費者が複数商品の購入の決断を円滑に行うことが可能になる商品検索装置及び方法、商品検索システムを提供することができる。
商品検索システムのシステム構成図 サーバ装置(商品検索装置)の要部構成例を示すブロック図 商品データベースの構成例を示す図 カテゴリ対身体位置データベースの構成例を示す図 感性空間の概念図(感性語をグループ化してブロックに区画した態様) 感性空間の概念図(感性語ごとのブロックに区画した態様) 感性空間の一例を示す図 感性空間の他の例を示す図 感性空間データベースの構成例を示す図 変換データベースの構成の一例を示す図 変換データベースの構成の他の例を示す図 要部処理の流れの説明に用いる第1の説明図 要部処理の流れの説明に用いる第2の説明図 身体位置の説明に用いる説明図 クライアント装置の構成例を示すブロック図 第1実施形態における注目ブロック選択の一例の説明に用いる説明図 第1実施形態における注目ブロック選択の他の例の説明に用いる説明図 第1実施形態における商品検索システム全体の処理の流れを示す図 第2実施形態における注目ブロック選択の一例の説明に用いる説明図 第3実施形態における商品検索システム全体の処理の流れを示す図 第3実施形態における注目ブロック選択の一例の説明に用いる説明図 第4実施形態における注目ブロック選択の一例の説明に用いる説明図 商品検索システムのバリエーションの説明に用いる第1のシステム構成図 商品検索システムのバリエーションの説明に用いる第2のシステム構成図
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
図1は、商品検索システムのシステム構成図である。
図1において、商品検索システム1は、本発明の商品検索装置の一形態に相当するサーバ装置10と、ユーザの端末であるクライアント装置11とが、インターネット等のネットワーク12を介して接続される構成である。
図2は、サーバ装置10の要部構成例を示すブロック図である。
本例のサーバ装置10は、商品データベース102から商品画像を検索する商品検索装置100を構成するサーバ装置であり、複数の商品にそれぞれ対応する複数の商品画像と商品画像の物理量と商品のカテゴリとを関連付けて記憶する商品データベース102と、人の感性を表わす複数の感性語が配置された感性空間における各種の情報(以下「感性空間情報」という)を互いに関連付けて記憶する感性空間データベース104と、商品データベース102に記憶されている商品画像の物理量と感性空間データベース104に記憶されている感性空間情報とを変換するためのデータを記憶する変換データベース106と、商品データベース102に記憶されている各カテゴリと人の身体位置との対応関係を示すカテゴリ対身体位置情報を記憶するカテゴリ対身体位置データベース108と、クライアント装置11から情報入力を行う入力部112a及びクライアント装置11に情報出力を行う出力部112bを有する外部入出力部112と、クライアント装置11に表示させる画面情報を生成する画面情報生成部114と、商品データベース102から特定商品の画像の物理量を取得する物理量取得部116と、変換データベース106を用いて、特定商品の画像の物理量を感性空間の複数のブロックのうちで特定商品の画像に対応するブロック(以下「特定商品感性ブロック」という)を示す情報に変換する第1の変換部118と、感性空間データベース104を用いて、特定商品感性ブロックを示す情報に基づいて感性空間の複数のブロックのうちから特定商品感性ブロックとは同じ又は異なるブロックを注目ブロックとして選択する注目ブロック選択部120と、変換データベース106を用いて、感性空間の注目ブロック示す情報を注目ブロックに対応する商品画像の物理量の範囲を示す情報に変換する第2の変換部122と、カテゴリ対身体位置データベース108を用い、特定商品のカテゴリに基づいて、商品データベース102に記憶されている複数のカテゴリのうちから検索対象カテゴリを選択するカテゴリ選択部123と、カテゴリ選択部123で選択された検索対象カテゴリ及び第2の変換部122で得られた物理量の範囲を示す情報に基づいて商品データベース102から検索対象カテゴリ及び注目ブロックに対応する商品画像を検索する検索部124と、を含んで構成される。検索部124で検索された商品画像は、出力部112bによりクライアント装置11に対して出力される。
<商品データベース>
図3は、商品データベース102の構成例を示す図である。商品データベース102は、複数の商品にそれぞれ対応する複数の商品画像132と、商品画像132の物理量134と、商品のカテゴリ136とを関連付けて記憶する。商品画像132の物理量134(「物理特徴量」ともいう)として、商品画像132の色特徴量、形特徴量、柄特徴量、及び質感特徴量が含まれる。
また、商品データベース102は、商品画像132の物理量134及び商品のカテゴリ136とは別に、商品の値段等、商品についての各種の属性情報を、商品画像132に関連付けて記憶するようにしてもよい。
色特徴量は、商品画像の色に関する特徴量である。例えば、商品画像の代表色又は配色(色の組み合わせ)を示す。本例では、商品画像を画像解析することにより計測された色特徴量が商品データベース102に記憶される。
形特徴量は、商品画像に表された商品の全部又は部分の形状に関する特徴量である。例えば、商品の幅の細さ/太さの程度、商品が衣服であれば、袖の長さ、襟の形状、大きさ及び/又は角度、首元の空き面積の大きさ、Vネックの角度、Uネックの曲率などを示す特徴量が例として挙げられる。形特徴量には、装飾品(例えばリボン)の形状、大きさなどを示す特徴量が含まれる。本例では、商品画像を画像解析することにより計測された形特徴量が商品データベース102に記憶される。
柄特徴量は、商品画像内の柄の種類(例えば花柄)、サイズ等を示す。本例では、商品画像を画像解析することにより計測された柄特徴量が商品データベース102に記憶される。
質感特徴量は、商品画像の光沢等の質感の程度を示す。本例では、商品画像を画像解析することにより計測された柄特徴量が商品データベース102に記憶される。
商品のカテゴリ136は、言い換えると商品の種類である。人の身体に身に着ける商品の場合、例えば、Tシャツ、セーター、コート、ジーンズ、スカートなどである。
<カテゴリ対身体位置データベース>
図4は、カテゴリ対身体位置データベース108の構成例を示す図である。図4のカテゴリ対身体位置データベース108は、人体に身に着ける商品に関するデータベースであって、商品データベース102に記憶されている各カテゴリと人の身体位置との対応関係を示すカテゴリ対身体位置情報を記憶する。
「身体位置」は、人の身体上の位置を示す情報であって、商品を装着可能な位置を示す。例えば、胴体、脚、頭などである。商品の形状に合わせて、身体位置を定義してもよい。例えば、Tシャツ、セーター、ジーンズ、スカートの4カテゴリのみであれば、上半身、下半身の2つの身体位置のみ定義してもよい。カテゴリに帽子を加えるのであれば頭部、カテゴリに手袋を加えるのであれば手、カテゴリに靴を加えるのであれば足、というように「身体位置」を追加していけばよい。
<感性空間及び感性空間データベース>
図5及び図6は、感性空間の概念図である。図5の感性空間と図6の感性空間とは、座標軸(第1の感性特徴量の軸及び第2の感性特徴量の軸)及び感性語(WORD1〜WORD28)が同じである。ただし、図5の感性空間は複数の感性語をグループ化してブロック(B1〜B13)を構成した態様であるのに対し、図6の感性空間は感性語ごとにブロックを構成した態様である点で異なる。ブロックをいずれの態様とするかは限定されない。また、図5のように複数の感性語をグループ化してブロックを構成した態様と図6のように感性語ごとにブロックを構成した態様とを併用してもよい。尚、図5及び図6は感性空間の概念を説明するために例示したものであり、座標軸の数(感性空間の次元数)、座標軸を構成する感性特徴量の種類、感性語の数及び種類、ブロックの数、形及びサイズなどは、特に限定されない。
本明細書の感性空間は、次の(特徴1)〜(特徴3)を有する。
(特徴1)感性空間は、複数の感性特徴量を軸とした複数次元座標空間である。図5及び図6に例示された感性空間は、第1の感性特徴量の軸(X軸)及び第2の感性特徴量の軸(Y軸)からなる二次元であるが、三次元以上でもよい。尚、感性特徴量は、画像を観察した人の印象の程度を示す。
(特徴2)複数の感性語が、感性空間の軸を構成する感性特徴量と関連付けられて、感性空間に配置されている。図5及び図6に例示された感性空間では、28個の感性語WORD1〜WORD28が配置されているが、感性語の数は特に限定されない。尚、感性語は、画像を観察した人の印象を表わす言葉である。
(特徴3)感性空間は、複数のブロック(以下「感性ブロック」ともいう)に区画されており、各ブロックに一語以上の感性語が属している。感性ブロックの数及び形状は、特に限定されない。
図7〜図8は、株式会社日本カラーデザイン研究所から開示されたイメージスケールを示す(小林重順著「カラーシステム」(講談社)、及びhttp://www.ncd-ri.co.jp/about/image_system.htmlを参照)。ここで「イメージスケール」は、「感性空間」の一形態に相当する。
図7に示されたイメージスケールは、第1の感性特徴量の軸に相当するWARM(暖かい)/COOL(冷たい)の程度を示す横軸、及び第2の感性特徴量の軸に相当するHARD(かたい)/SOFT(やわらかい)の程度を示す縦軸からなる。また、66個の感性語が配置され、16個のブロックに区画されている。
図8に示されたイメージスケールは、図7と同様の二軸(WARM/COOL軸、HARD/SOFT軸)からなり、色特徴量として単色が対応付けられている。尚、図8では図示の都合上グレースケールで単色が表されているが、実際はカラーで表される。例えば、「WARM」(図中の左端側)には赤やオレンジなどの暖色系の色、「COOL」(図中の右端側)には青や青緑系などの寒色系の色、「SOFT」(図中の上端側)にベリーペール、ペールなどの淡いトーンの色、「HARD」(図中の下端側)にダークグレッシュ、ディープなどの暗いトーンの色が、対応付けられている。図中で、位置の近い色同士は人の感じる印象が近く、位置の遠い色同士は人の感じる印象も遠いということになる。図の右下や左上には単色の配置されていない部分があるが、複数色配色(言い換えると「複数色の組み合わせ」)を配置可能である。
尚、図8では単色の色特徴量を対応付けた感性空間を例示したが、本発明で用いる感性空間は、このような場合に特に限定されない。株式会社日本カラーデザイン研究所から開示された文献に記載されているように、物理量で表される物理計測空間での色特徴量として複数色配色に着目し、複数色配色を感性空間に対応付けてもよい。このように複数色配色も色特徴量として用いることで、感性空間中で単色の配置が不可能又は適切でない部分にも、色特徴量を対応付けることが可能になる。また、形特徴量、柄特徴量、質感特徴量を感性空間に対応付けてもよい。
感性空間データベース104は、図5〜図8に例示した感性空間における情報である感性空間情報(例えば軸を構成する感性特徴量、感性語、ブロック等)を互いに関連付けて記憶する。
図9に例示する感性空間データベース104は、感性空間情報として、次の情報を記憶する。
・各ブロックのブロック識別情報
・各ブロックの感性空間における範囲情報(例えば、ブロックの各頂点の座標、あるいは輪郭情報など)
・各ブロック間の感性空間における遠近情報(例えば、ブロック間の近接/非近接、隣接/非隣接、重なり有/無など)
・各ブロックに属する感性語
・感性語間の意味上の対応関係情報(例えば、反対語の組み合わせ、類似語の組み合わせなど)
尚、図5に示した態様のように複数の感性語をグループ化したブロック(以下「大ブロック」という)と、図6に示した態様のように感性語ごとのブロック(以下「小ブロック」という)とを併用する場合には、大ブロックの感性空間情報(ブロック識別情報、範囲情報、距離情報、感性語)と、小ブロックの感性空間情報(ブロック識別情報、範囲情報、距離情報、感性語)とを、感性空間データベース104に記憶させる。
また、図6に示した小ブロックのみを用いる場合、ブロック識別情報を感性語で代用することが可能である。
<変換データベース>
図10及び図11は、変換データベース106の一例を示す。
図10の変換データベース106は、物理量の範囲とブロックを示す情報との対応関係を示す変換データテーブルT1を含んで構成されている。ブロックを示す情報としては、例えば、感性空間データベース104に記憶されている、ブロック識別情報、各ブロックの感性空間における範囲情報を用いることができる。
図11の変換データベース106は、物理量の範囲と感性語との対応関係を示す変換データテーブルT2を含んで構成されている。即ち、図10の変換データテーブルT1における「ブロックを示す情報」として感性語を用いたデータテーブルである。例えば、図5に示した大ブロックの態様において各ブロックを代表する感性語(代表感性語)を定めている場合や、図6に示した小ブロックの態様の場合に、図11の変換データベースを用いることができる。
<要部処理>
図12に示す要部処理は、人の受ける印象がほぼ同じ商品画像を検索する場合である。
図12において、本発明の商品検索装置100は、次のステップS1〜S6を行う。
ステップS1(物理量取得工程)では、物理量取得部116により、商品データベース102から、特定商品の画像の物理量を取得する。ここで、特定商品の画像とは、商品画像検索の基準となる商品画像であり、クライアント装置11でユーザにより指示入力される態様と、サーバ装置10で決定する態様とがある。いずれの態様とするかをユーザにより切り換え操作可能にしてもよい。尚、図12では、R,G,Bの三次元で表された色特徴量a、サイズ及び密度の二次元で表された柄特徴量b、透け度及び光沢度の二次元で表された質感特徴量cを例示したが、これらの特徴量には限定されない。例えば、形特徴量を物理特徴量として用いてもよい。
ステップS2(第1の変換工程)では、第1の変換部118により、変換データベース106を用いて、ステップS1で取得された特定商品の画像の物理量を、感性空間の複数のブロックのうちで特定商品の画像に対応する特定商品感性ブロックを示す情報に変換する。例えば、特定商品感性ブロックを示す情報として、特定商品感性ブロックのブロック識別情報、又は特定商品感性ブロックを代表する感性語に、変換する。
ステップS3(注目ブロック選択工程)では、注目ブロック選択部120により、特定商品感性ブロックを、検索のために注目する注目ブロックとして選択する。
ステップS4(第2の変換工程)では、第2の変換部122により、変換データベース106を用い、感性空間の注目ブロックを示す情報を、注目ブロックに対応する商品画像の物理量の範囲を示す情報に変換する。例えば、注目ブロックのブロック識別情報(あるいは感性語)を、物理量の範囲情報(例えば物理量の上限及び下限を示す情報)に変換する。各ブロックに代表感性語が定められている場合、あるいはブロックと感性語とが1対1である場合には、注目ブロックの感性語を物理量の範囲情報に変換する。
ステップS5(カテゴリ選択工程)では、カテゴリ選択部123により、特定商品のカテゴリに基づいて、商品データベース102に記憶されている複数のカテゴリのうちから検索対象カテゴリを選択する。
ステップS6(検索工程)では、検索部124により、ステップS5で選択された検索対象カテゴリ及びステップS4で得られた物理量の範囲を示す情報に基づいて、商品データベース102から、検索対象カテゴリ及び注目ブロックに対応する商品画像が検索される。
図13に示す要部処理は、人の受ける印象が異なる商品画像を検索する場合である。
ステップS11及びS12は、図12のステップS1及びS2と同様である。
ステップS13(注目ブロック選択工程)では、注目ブロック選択部120により、感性空間データベース104を用いて、ステップS2で得られた特定商品感性ブロックを示す情報に基づいて、感性空間の複数のブロックのうちから特定商品感性ブロックとは異なるブロックが選択される。つまり、感性空間上で、特定商品画像に対応するブロックである特定商品感性ブロックから、特定商品画像とは非類似の商品画像に対応するブロックであって且つユーザの注目する可能性が高いと予測されるブロックである注目ブロックに、移動する。
ステップS14〜S16は、図12のステップS4〜S6と同様である。
<カテゴリ選択>
カテゴリ選択部123によるカテゴリ選択の各種の態様について説明する。
第1の態様では、カテゴリ選択部123は、特定商品と同じカテゴリを、検索対象カテゴリとして選択する。例えば、特定商品のカテゴリが「セーター」である場合に、検索対象カテゴリに「セーター」を選択する。尚、第1の態様では、カテゴリ対身体位置データベース108を参照しなくても検索対象カテゴリを選択できる。
第2の態様では、カテゴリ選択部123は、特定商品と比較して、身に着ける身体位置が同じである商品のカテゴリを、検索対象カテゴリとして選択する。例えば、図14の人体70において、特定商品のカテゴリの身体位置が胴体部71であれば、検索対象カテゴリも胴体部71に身に着けられるカテゴリを選択する。同様に、特定商品のカテゴリの身体位置が脚部72、頭部73、手74、足75であれば、検索対象カテゴリとして、それぞれ脚部72、頭部73、手74、足75に身に着けられるカテゴリを選択する。第2の態様では、カテゴリ選択部123は、図4のカテゴリ対身体位置データベース108を用い、特定商品のカテゴリの身体位置に基づいて検索対象カテゴリを選択する。
第3の態様では、カテゴリ選択部123は、特定商品と比較して、身に着ける身体位置が隣接する商品のカテゴリ、近接する商品のカテゴリ、又は部分的に重なる商品のカテゴリを、検索対象カテゴリとして選択する。ここで、隣接とは、商品を身に着けたときに商品間で隣接することをいう。近接とは、商品を身に着けたときに商品間で近接することをいう。「近接」は、「隣接」以外に、商品間で接していない場合を含む。部分的に重なるとは、商品を身に着けたときに商品間で重なる部分があることをいう。第3の態様では、カテゴリ選択部123は、図4のカテゴリ対身体位置データベース108を用い、特定商品のカテゴリの身体位置に基づいて検索対象カテゴリを選択する。
カテゴリ対身体位置データベース108を用いるカテゴリ選択は、上記の第2及び第3の態様には特に限定されない。複数のカテゴリの組み合わせと、複数の身体位置の組み合わせとの対応関係情報をカテゴリ対身体位置データベースに予め記憶させておき、カテゴリ選択部123により参照することで、様々なカテゴリ及び身体位置の組み合わせに対応できる。
<クライアント装置>
図15は、クライアント装置11の構成例を示すブロック図である。本例のクライアント装置11は、サーバ装置10の出力部112bから送信された情報を受信入力する端末受信部52a及びサーバ装置10の入力部112aで受信される情報を送信出力する端末送信部52bを有する外部入出力部52と、画像を表示可能な表示部54と、ユーザ入力を受け付けるクライアント入力部56と、クライアント装置11の各部を制御する制御部58と、各種の情報を記憶する記憶部60とを含んで構成されている。
クライアント入力部56により、特定商品を示す情報、又は特定商品の画像を示す情報の入力を受け付ける。端末送信部52bにより、クライアント入力部56で受け付けた情報を、サーバ装置10に送信する。端末受信部52aにより、ネットワーク12を介してサーバ装置10から送信される検索結果としての商品画像を受信する。
尚、クライアント装置11は、図15に示した構成例に特に限定されない。クライアント装置11は、ネットワーク12に接続して通信を行う通信機能、画像を表示可能な表示機能、及びユーザ入力を受け付けるユーザ入力機能を有していればよい。例えば、携帯端末、パーソナルコンピュータ、タブレット端末等、各種のユーザ端末をクライアント装置11として用いることが可能である。
次に、第1実施形態から第3実施形態に分けて、注目ブロック選択の各種の態様を説明する。
<第1実施形態>
第1実施形態の注目ブロック選択部120は、感性空間において、特定商品感性ブロックに隣接するブロックである隣接感性ブロック、特定商品感性ブロックに近接するブロックである近接感性ブロック、及び特定商品感性ブロックに部分的に重なるブロックである重複感性ブロックのうち、少なくとも1種類の感性ブロックを、商品画像検索のために注目する注目ブロックとして選択する。
尚、隣接感性ブロックは、感性空間における複数の感性ブロックのうちで、特定商品感性ブロックに境界が接している感性ブロックである。近接感性ブロックは、感性空間の複数の感性ブロックのうちで、特定商品感性ブロックに近接している感性ブロックであって、隣接感性ブロック以外に、特定商品感性ブロックに境界が接していない感性ブロックを含む。
まず、近接感性ブロックを注目ブロックとして選択する場合について、説明する。尚、本例は、感性語をグループ化した大ブロックと感性語ごとの小ブロックとを併用した場合である。
図16において、符号220を付した座標位置が特定商品画像の物理量に対応する感性空間上の座標位置(以下「特定商品感性空間位置」という)である場合、この特定商品感性空間位置220からの感性特徴量の差が閾値以下である座標位置を含む感性ブロック(例えば符号202〜符号206を付した感性ブロック)を、注目ブロックとして選択する。ここで、特定商品感性空間位置として、特定商品画像の物理量に対応する感性語の座標位置を用いている。
各感性ブロックが近接感性ブロックであるか否かの判定について説明する。例えば、感性空間において特定商品感性空間位置220を中心点とした円221(ここで円は楕円を含む)を基準にして、その円221に重なる部分を有する感性ブロック及び円221の内側に存在する感性ブロックであって、特定商品感性ブロック201以外の感性ブロック202〜206を、近接感性ブロックと判定する。
上述のように特定商品感性ブロック201以外の注目ブロックとして、近接感性ブロックを商品画像の検索のために注目する注目ブロックとして選択した場合、画像検索結果の商品画像の数が不適切に多くなる場合がある。例えば、商品画像の総数が多い場合には、画像検索結果の商品画像の数も多くなり易い。即ち、クライアント装置11に検索結果としての商品画像を表示した場合に、ユーザに推奨する商品の数が不適切に多くなってしまう。そこで、商品画像数に応じて、注目ブロック選択部120により円221の径を切り換えることにより、感性空間における近接感性ブロックの範囲を変更するようにしてもよい。
次に、近接感性ブロックのうち隣接感性ブロックのみを注目ブロックとして選択する場合について、説明する。
例えば、図5の感性空間において、符号B7を付した感性ブロックが特定商品感性ブロックである場合、特定商品感性ブロックB7に境界が隣接する符号B3、符号B6、符号B8、及び符号B11を付した感性ブロックが隣接感性ブロックである。
また、図17において、符号220を付した座標位置が特定商品画像の物理量に対応する感性空間上の座標位置(以下「特定商品感性空間位置」という)である場合、特定商品感性空間位置を含む符号201を付した感性ブロックが特定商品感性ブロックであり、この特定商品感性ブロック201に境界が接している符号202〜204の感性ブロックが、隣接感性ブロックである。即ち、図17において、符号230を付した点線内のエリアに含まれる感性ブロックが注目ブロックとして選択される。このような選択により、特定商品感性ブロック201の例えば「女らしい」という感性語以外に、符号202の隣接感性ブロックの例えば「家庭的な」という感性語、及び、符号203の隣接感性ブロックの例えば「洗練された」、「スマートな」、「風流な」という感性語が、検索対象の商品画像に対応する感性語として特定されることになる。
上述のように特定商品感性ブロック201以外の注目ブロックとして、隣接感性ブロックのみを商品画像の検索のために注目する注目ブロックとして選択した場合、画像検索結果の商品画像の数が不適切に少なくなる場合がある。例えば、商品画像の総数が少ない場合には、画像検索結果の商品画像の数も少なくなり易い。即ち、クライアント装置11に検索結果としての商品画像を表示した場合に、ユーザに推奨する商品の数が不適切に少なくなってしまう。そこで、商品画像数に応じて、図16を用いて説明したように近接感性ブロックを注目ブロックとするか、図17を用いて説明したように隣接感性ブロックのみを注目ブロックとするかを、注目ブロック選択部120により切り換えるようにしてもよい。
尚、図5、図16及び図17に例示した感性空間は、感性ブロック同士が互いに重ならないように感性ブロックが区画されているが、感性ブロック同士が部分的に重なることを許容して、感性空間に複数の感性ブロックを区画している場合がある。このように感性ブロック同士の重なりを許容した区画の場合、注目ブロック選択部120が、隣接感性ブロック及び/又は近接感性ブロックに加えて、指定商品感性ブロックに部分的に重なる感性ブロック(「重複感性ブロック」という)を注目ブロックとして選択するようにしてもよい。
図18は、図1に示した商品検索システム1における商品検索処理の流れを示すフローチャートである。本例では、クライアント装置11でユーザにより特定された商品の画像を特定商品画像として、検索を行う。
まず、サーバ装置10の画面情報生成部114により代表商品一覧が画面情報として生成され、サーバ装置10の出力部112bにより、代表商品一覧がクライアント装置11に対して送信出力される(ステップS102)。代表商品一覧には、複数の代表商品の縮小画像が含まれている。また、代表商品一覧には、代表商品ごとの商品画像識別情報が付加されている。
クライアント装置11の端末受信部52aにより代表商品一覧が受信入力されると、クライアント装置11の制御部58の制御により、クライアント装置11の表示部54に代表商品一覧が表示出力される(ステップS104)。
クライアント装置11のクライアント入力部56により、ユーザから商品の特定を受け付け、クライアント装置11の端末送信部52bにより、ユーザの特定した商品 に対応する商品画像識別情報(または)が、サーバ装置10に対して送信出力される(ステップS106)。
サーバ装置10の入力部112aにより商品画像識別情報が受信入力されると(ステップS108)、サーバ装置10の物理量取得部116により、商品画像識別情報に基づいて、商品データベース102から特定商品の画像の物理量を取得する(ステップS110)。
次に、サーバ装置10の第1の変換部118は、取得された特定商品の画像の物理量を、特定商品の画像に対応するブロックである特定商品感性ブロックを示す情報に変換する(ステップS112)。本例の第1の変換部118は、画像の物理量に基づいて、変換データベース106から、特定商品感性ブロックに対応する感性空間情報(例えばブロック識別情報及び/又は感性語)を取得する。
次に、サーバ装置10の注目ブロック選択部120により、感性空間データベース104を用い、注目ブロックが選択される(ステップS122)。
例えば、図16に示す感性空間において、符号201の感性ブロックが特定商品感性ブロックであって、符号202〜符号206で示される感性ブロックが近接感性ブロックである場合、符号202〜符号206でそれぞれ示されるブロックが、注目ブロックとして選択される。尚、符号201の特定商品感性ブロックに対応する商品画像がクライアント装置11で未表示である場合、注目ブロック選択部120は、符号201の特定商品感性ブロックを注目ブロックに含めることも可能である。
次に、サーバ装置10の第2の変換部122は、注目ブロックを示す情報を、注目ブロックに対応する商品画像の物理量の範囲を示す情報(以下「物理量範囲情報」)に、変換する(ステップS124)。
注目ブロックを示す情報として、例えば、注目ブロックのブロック識別情報を用いる。図11の変換データテーブルを用いる場合には、注目ブロックに対応する感性語を用いる。
物理量範囲情報は、図3に示す商品データベース102の場合、検索対象の商品画像における、色特徴量の範囲(上限値と下限値)、形特徴量の範囲(上限値と下限値)、柄特徴量の範囲(上限値と下限値)、及び、質感特徴量の範囲(上限値と下限値)、のうちいずれかを含む。色特徴量、形特徴量、柄特徴量、及び質感特徴量のうちの2種類以上の特徴量の組み合わせでもよい。
次に、サーバ装置10のカテゴリ選択部123は、特定商品のカテゴリに基づいて、商品データベース102に登録されている複数のカテゴリのうちから検索対象カテゴリを選択する(ステップS125)。
次に、サーバ装置10の検索部124は、カテゴリ選択部123で選択された検索対象カテゴリ、及び第2の変換部122で得られた物理量範囲情報に基づいて、商品データベース102から、注目ブロックに対応する商品画像を検索する(ステップS126)。
次に、サーバ装置10の出力部112bは、検索部124の検索結果を、クライアント装置11に対して送信出力する(ステップS128)。
クライアント装置11の端末受信部52aにより検索結果が受信入力されると、クライアント装置11の制御部58の制御により、クライアント装置11の表示部54に検索結果が表示出力される(ステップS130)。検索結果には、注目ブロックに対応する商品画像が含まれる。
尚、検索結果は、クライアント装置11において全ての商品画像を一回で表示させる場合には、限定されない。複数の商品画像が検索された場合、まず、複数の商品画像それぞれの複数の縮小画像をクライアント装置11に対して送信出力してクライアント装置11に表示出力させ、ユーザがクライアント装置11で縮小画像の選択入力を行うと、そのユーザが選択入力した縮小画像に対応する商品画像の全体画像をクライアント装置11に対して送信出力し表示させてもよい。
<第2実施形態>
第2実施形態の注目ブロック選択部120は、特定商品の画像に対応する感性語である特定商品感性語とは反対の意味の感性語である反対感性語を含むブロックである反対語感性ブロックを、注目ブロックとして選択する。尚、特定商品感性語は、特定商品の画像を観察した人が画像から受ける印象を示す言葉である。
例えば、図5の感性空間において、符号B9を付した感性ブロックが特定商品感性ブロックであって、WORD19が特定商品感性語であるものとする。この特定商品感性語WORD19とは反対の意味を持つ反対感性語がWORD11及びWORD25の二語である場合、WORD11の属する符号B6の感性ブロックとWORD25の属する符号12の感性ブロックの二ブロックが、反対語感性ブロックである。
図19に示す感性空間において、符号301の感性ブロックが特定商品感性ブロックであって、「カジュアルな」が特定商品感性語である場合、注目ブロック選択部120は、感性空間データベース104に基づいて、その特定商品感性語である「カジュアルな」とは反対の意味を持つ反対感性語を、感性空間に配置されている感性語のうちから選択する。例えば、符号302の感性ブロックに属する「気品のある」、符号303の感性ブロックに属する「洗練された」、及び符号304の感性ブロックに属する「風格のある」の三語が「気品のある」の反対感性語として感性空間データベース104に記憶されていた場合、符号302、符号303及び符号304の感性ブロックが、注目ブロックとして選択される。
また、注目ブロック選択部120は、感性空間において特定商品感性ブロック301と反対語感性ブロック302〜304との間に配置されているブロック(例えば符号305〜307)も、注目ブロックとして選択するようにしてもよい。
以上、図7に示した感性空間を用いた場合を例に説明したが、このような場合に本発明は特に限定されない。図8に示した感性空間を用いてもよい。
<第3実施形態>
第3実施形態の外部入出力部112(ユーザ指定情報受付部の一形態に相当する)は、クライアント装置11でユーザの指定した感性語及びユーザの指定した感性ブロックのうちの少なくとも一方を示すユーザ指定情報を、クライアント装置11からネットワーク12経由で受信入力する。そして第3実施形態の注目ブロック選択部120は、ユーザの指定した感性語に対応する感性ブロック又はユーザの指定した感性ブロックであるユーザ指定感性ブロックを、画像検索のために注目する注目ブロックとして選択する。
図20は、第3実施形態における商品検索処理例の流れを示すフローチャートである。図20において、サーバ装置10は図2に示した構成であり、クライアント装置11は図15に示した構成である。
図20のステップS301〜S312は、図18に示したステップS102〜S112と同様であり、既に第1実施形態で説明したので、本実施形態では説明を省略する。
本実施形態において、サーバ装置10の出力部112bは、感性空間選択画面情報を、クライアント装置11に対して送信出力する(ステップS314)。感性空間選択画面情報は、感性空間中の複数のブロックのうちからクライアント装置11でユーザにひとつ又は複数のブロックを選択させるための画面情報である。
クライアント装置11の外部入出力部52により感性空間選択画面情報が受信入力されると、クライアント装置11の制御部58の制御により、クライアント装置11の表示部54に感性空間選択画面が表示出力される(ステップS316)。
クライアント装置11のクライアント入力部56により、ユーザから感性語又はブロックの選択を受け付け、クライアント装置11の端末送信部52bにより、ユーザの選択した感性語又はブロックを示すユーザ指定情報を、サーバ装置10に対して送信出力する(ステップS318)。
第1に、ユーザに感性語を指定させることで、ブロック指定させる態様がある。例えば、感性語の一覧をクライアント装置11の表示部54に表示させ、クライアント入力部56からユーザが感性語一覧のいずれの感性語を選択入力したのかを検出する。第2に、ユーザにブロックを指定させることでブロック指定させる態様がある。例えば、図6に示す感性空間をクライアント装置11の表示部54に表示させ、クライアント入力部56からユーザが感性空間のいずれの位置を指示入力したのかを検出する。
サーバ装置10の入力部112aによりユーザ指定情報が受信入力されると(ステップS320)、サーバ装置10の注目ブロック選択部120により、ユーザ指定情報に基づいて、ユーザの指定した感性語に対応するブロック又はユーザの指定したブロックであるユーザ指定感性ブロックを、注目ブロックとして選択する(ステップS322)。
本例の注目ブロック選択部120は、感性空間において特定商品感性ブロックとユーザ指定感性ブロックとの間に配置されているブロックも、注目ブロックとして選択する。
例えば図21に示す感性空間において、符号401で示される感性ブロックが特定商品感性ブロックであって、符号402で示される感性ブロックがユーザ指定感性ブロックである場合、特定商品感性ブロック401とユーザ指定感性ブロック402との間に配置されている、例えば符号403及び符号404でそれぞれ示されるブロックも、注目ブロックとして選択される。
特定商品感性ブロック401とユーザ指定感性ブロック402とを結ぶ軸の幅(図21のW)を、商品画像数(あるいは商品数)に応じて、変更してもよい。この軸の幅Wは、感性空間において特定商品感性ブロック401とユーザ指定感性ブロック402との間のブロックを注目ブロックとして選択する幅の広さを示す。具体的には、商品画像数が多いほど幅Wを狭くし、商品画像数が少ないほど幅Wを広くする。ここで、「商品画像数」は、感性空間全体の商品画像数とした場合でもよいし、幅Wが規定値である場合に選択されるブロックに対応する商品画像数でもよい。
図20のステップS324〜S330は、図18に示したステップS124〜S130と同様であり、既に第1実施形態で説明したので、本実施形態では説明を省略する。
よい。
以上図7に示す感性空間を用いた場合を例に説明したが、このような場合に本発明は特に限定されず、図8に示した感性空間を用いてもよい。
<第4実施形態>
第4実施形態の注目ブロック選択部120は、互いに反対の意味を持つ第1の感性語及び第2の感性語にそれぞれに対応するブロックである第1の感性語ブロック及び第2の感性語ブロックと特定商品感性ブロックの3つのブロックを結ぶ曲線上に配置されているブロックを、注目ブロックとして選択する。
図22は、図8の感性空間を用いた本実施形態の説明図である。図22において、符号501を付したブロックと符号502を付したブロックとが互いに反対の意味の感性語を持つ組であり、符号503を付したブロックが特定商品感性ブロックである。
本実施形態の注目ブロック選択部120は、符号501のブロック(第1の感性語ブロックに相当)と、特定商品感性ブロック503と、符号502のブロック(第2の感性語ブロックに相当)を結ぶ曲線上に配置されている符号501〜513のブロックを、注目ブロックとして選択する。
<サーバ装置の構成>
図23において、サーバ装置10は、画像解析サーバ14と、データベースサーバ15と、メールサーバ16と、WEBサーバ17と、を含んで構成される。
画像解析サーバ14は、商品の外観を撮像して得られた商品画像を画像処理で解析することにより、各商品画像の物理量を計測する。画像解析サーバ14によって計測された商品画像の物理量は、商品データベース102の一形態に相当するデータベースサーバ15に送信され記憶される。本例の画像解析サーバ14で計測される商品画像の物理計測量としては、色特徴量、形特徴量、柄特徴量、質感特徴量が挙げられる。
メールサーバ16は、ネットワーク12を介して、クライアント装置11との間で電子メールによる通信を行い、商品注文の受け付け及び確認を行う。
WEBサーバ17は、ネットワーク12を介して、クライアント装置11との間でインタラクティブな通信を行い、クライアント装置11から特定商品の指定を受信入力し、クライアント装置11に対して検索結果を送信出力する。
図2に示したサーバ装置10のうち、例えば、商品データベース102以外の各部(符号104〜124)は主としてWEBサーバ17によって構成することができる。
尚、符号14〜17のサーバを世界のいずれの国に配置するかについては、特に限定されない。例えば、図24に示すように、各サーバ14〜17をそれぞれA〜D国のそれぞれに配置してもよい。また、クライアント装置11はサーバ14〜17のいずれも配置されていないE国でネットワーク12に接続されてもよい。
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
10:サーバ装置、11:クライアント装置、12:ネットワーク、100:商品検索装置、102:商品データベース、104:感性空間データベース、106:変換データベース、108:カテゴリ対身体位置データベース、112:サーバ装置の外部入出力部、114:画面情報生成部、116:物理量取得部、118:第1の変換部、120:注目ブロック選択部、122:第2の変換部、123:カテゴリ選択部、124:検索部

Claims (16)

  1. 複数の商品にそれぞれ対応する複数の画像と、前記商品の画像の物理量と、前記商品のカテゴリとを関連付けて記憶する商品データベースを用いる商品検索装置であって、
    前記商品データベースから特定商品の画像の物理量を取得する物理量取得部と、
    前記取得された特定商品の画像の物理量を、人の感性を表わす複数の感性語が配置された感性空間の複数のブロックのうちで前記特定商品の画像に対応するブロックである特定商品感性ブロックを示す情報に変換する第1の変換部と、
    前記第1の変換部で得られた前記特定商品感性ブロックを示す情報に基づいて前記感性空間の前記複数のブロックのうちから選択された注目ブロックを示す情報を、前記注目ブロックに対応する画像の物理量の範囲を示す情報に変換する第2の変換部と、
    前記特定商品のカテゴリに基づいて、前記商品データベースに記憶されている複数のカテゴリのうちから検索対象カテゴリを選択するカテゴリ選択部と、
    前記カテゴリ選択部で選択された前記検索対象カテゴリ及び前記第2の変換部で得られた前記物理量の範囲を示す情報に基づいて、前記商品データベースから、前記検索対象カテゴリ及び前記注目ブロックに対応する画像を検索する検索部と、
    を備える商品検索装置。
  2. 前記カテゴリ選択部は、前記特定商品と同じカテゴリを、前記検索対象カテゴリとして選択する請求項1に記載の商品検索装置。
  3. 前記カテゴリ選択部は、前記特定商品と比較して、身に着ける身体位置が同じである商品のカテゴリを、前記検索対象カテゴリとして選択する請求項1に記載の商品検索装置。
  4. 前記カテゴリ選択部は、前記特定商品と比較して、身に着ける身体位置が隣接する商品のカテゴリ、近接する商品のカテゴリ、又は部分的に重なる商品のカテゴリを、前記検索対象カテゴリとして選択する請求項1に記載の商品検索装置。
  5. 前記商品データベースに記憶されている各カテゴリと人の身体位置との対応関係を示すカテゴリ対身体位置情報を記憶するカテゴリ対身体位置データベースを備え、
    前記カテゴリ選択部は、前記カテゴリ対身体位置情報に基づいて前記検索対象カテゴリを選択する請求項3又は4に記載の商品検索装置。
  6. 前記感性空間において前記特定商品感性ブロックに隣接するブロック、近接するブロック、及び部分的に重なるブロックのうちの少なくともひとつを、前記注目ブロックとして選択する注目ブロック選択部を備える請求項1から5のうちいずれか1項に記載の商品検索装置。
  7. 前記特定商品の画像に対応する感性語とは反対の意味の感性語を含むブロックである反対語感性ブロックを、前記注目ブロックとして選択する注目ブロック選択部を備える請求項1から5のうちいずれか1項に記載の商品検索装置。
  8. 前記注目ブロック選択部は、前記感性空間において前記特定商品感性ブロックと前記反対語感性ブロックとの間に配置されているブロックも、前記注目ブロックとして選択する請求項7に記載の商品検索装置。
  9. ユーザの指定した感性語及びユーザの指定したブロックのうちの少なくとも一方を示す情報を受け付けるユーザ指定情報受付部と、
    前記ユーザの指定した感性語に対応する感性空間のブロック又は前記ユーザの指定した感性空間のブロックであるユーザ指定感性ブロックを、前記注目ブロックとして選択する注目ブロック選択部を備える請求項1から5のうちいずれか1項に記載の商品検索装置。
  10. 前記注目ブロック選択部は、前記感性空間において前記特定商品感性ブロックと前記ユーザ指定感性ブロックとの間に配置されているブロックも、前記注目ブロックとして選択する請求項9に記載の商品検索装置。
  11. 互いに反対の意味を持つ第1の感性語及び第2の感性語にそれぞれに対応するブロックである第1の感性語ブロック及び第2の感性語ブロックと特定商品感性ブロックの3つのブロックを結ぶ曲線上に配置されているブロックを、注目ブロックとして選択する注目ブロック選択部を備える請求項1から5のうちいずれか1項に記載の商品検索装置。
  12. 前記感性空間の各ブロックを示す情報と前記複数の商品の画像の物理量の範囲との対応関係を示す変換データを記憶する変換データベースを備え、
    前記第2の変換部は、前記変換データに基づいて変換を行う請求項1から11のうちのいずれか1項に記載の商品検索装置。
  13. 前記物理量は、色特徴量、形特徴量、柄特徴量、及び質感特徴量のうちの少なくとも1つである請求項1から12のうちのいずれか1項に記載の商品検索装置。
  14. 前記検索部で検索された画像を出力する出力部を備える請求項1から13のうちのいずれか1項に記載の商品検索装置。
  15. 請求項1から14のうちのいずれか1項に記載の商品検索装置を構成するサーバ装置と、前記サーバ装置にネットワークを介して接続されるクライアント装置とを備える商品検索システムにおいて、
    前記クライアント装置は、
    表示部と、
    前記特定商品を示す情報、又は前記特定商品の画像を示す情報の入力を受け付けるクライアント入力部と、
    前記クライアント入力部で受け付けた情報を、前記サーバ装置に送信する端末送信部と、
    前記ネットワークを介して前記サーバ装置から送信される前記検索された画像を受信する端末受信部と、
    前記端末受信部で受信した前記画像を、前記表示部に表示させる制御部と、
    を有し、
    前記サーバ装置の前記物理量取得部は、前記クライアント装置から送信される情報と、前記商品データベースに記憶された情報とに基づいて、前記特定商品の画像の物理量を取得し、
    前記サーバ装置は、前記検索された画像を前記クライアント装置に送信する、
    商品検索システム。
  16. 複数の商品にそれぞれ対応する複数の画像と、前記商品の画像の物理量と、前記商品のカテゴリとを関連付けて記憶する商品データベースを用いる商品検索方法であって、
    前記商品データベースから特定商品の画像の物理量を取得する工程と、
    前記取得された特定商品の画像の物理量を、人の感性を表わす複数の感性語が配置された感性空間の複数のブロックのうちで前記特定商品の画像に対応するブロックである特定商品感性ブロックを示す情報に変換する第1の変換工程と、
    前記第1の変換工程で得られた前記特定商品感性ブロックを示す情報に基づいて前記感性空間の前記複数のブロックのうちから選択された注目ブロックを示す情報を、前記注目ブロックに対応する画像の物理量の範囲を示す情報に変換する第2の変換工程と、
    前記特定商品のカテゴリに基づいて、前記商品データベースに記憶されている複数のカテゴリのうちから検索対象カテゴリを選択するカテゴリ選択工程と、
    前記カテゴリ選択工程で選択された前記検索対象カテゴリ及び前記第2の変換工程で得られた前記物理量の範囲を示す情報に基づいて、前記商品データベースから、前記検索対象カテゴリ及び前記注目ブロックに対応する画像を検索する工程と、
    を含む商品検索方法。
JP2014038522A 2014-02-28 2014-02-28 商品検索装置及び方法、商品検索システム Active JP6163440B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014038522A JP6163440B2 (ja) 2014-02-28 2014-02-28 商品検索装置及び方法、商品検索システム
EP15754715.9A EP3113045A4 (en) 2014-02-28 2015-01-19 Product retrieval device, method, and system
PCT/JP2015/051242 WO2015129331A1 (ja) 2014-02-28 2015-01-19 商品検索装置、方法及びシステム
CN201580007680.2A CN105981012A (zh) 2014-02-28 2015-01-19 商品搜索装置、方法及系统
US15/205,403 US10229177B2 (en) 2014-02-28 2016-07-08 Product search apparatus, method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014038522A JP6163440B2 (ja) 2014-02-28 2014-02-28 商品検索装置及び方法、商品検索システム

Publications (3)

Publication Number Publication Date
JP2015162193A true JP2015162193A (ja) 2015-09-07
JP2015162193A5 JP2015162193A5 (ja) 2016-08-04
JP6163440B2 JP6163440B2 (ja) 2017-07-12

Family

ID=54008660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014038522A Active JP6163440B2 (ja) 2014-02-28 2014-02-28 商品検索装置及び方法、商品検索システム

Country Status (5)

Country Link
US (1) US10229177B2 (ja)
EP (1) EP3113045A4 (ja)
JP (1) JP6163440B2 (ja)
CN (1) CN105981012A (ja)
WO (1) WO2015129331A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135298A (ja) * 2019-02-18 2020-08-31 Insight Lab株式会社 情報処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085553A (zh) * 2019-06-12 2020-12-15 阿里巴巴集团控股有限公司 一种特定商品检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232288A (ja) * 1998-02-13 1999-08-27 Fuji Xerox Co Ltd 検索装置及び文書画像登録装置
JP2011070412A (ja) * 2009-09-25 2011-04-07 Seiko Epson Corp 画像検索装置および画像検索方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249353A (ja) 1995-03-15 1996-09-27 Omron Corp 画像検索方法及び装置
JPH09114853A (ja) 1995-10-20 1997-05-02 Omron Corp 画像検索方法および画像検索装置
US20120290601A1 (en) * 2007-11-15 2012-11-15 Master Wave International Co., Ltd. Image-based Data Management Method and System
CN102119387B (zh) * 2008-08-08 2014-12-03 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
US8229912B2 (en) * 2009-05-06 2012-07-24 Mentis Technology, Llc Enhanced search engine
US8370337B2 (en) * 2010-04-19 2013-02-05 Microsoft Corporation Ranking search results using click-based data
CN102375856B (zh) * 2010-08-23 2016-08-31 腾讯科技(深圳)有限公司 一种商品搜索方法和装置
US20120158686A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Image Tag Refinement
US8560517B2 (en) * 2011-07-05 2013-10-15 Microsoft Corporation Object retrieval using visual query context
CN102591972B (zh) * 2011-12-31 2017-09-29 北京百度网讯科技有限公司 提供商品搜索结果的方法及设备
US8676814B2 (en) * 2012-02-16 2014-03-18 Yahoo! Inc. Automatic face annotation of images contained in media content
US20140019431A1 (en) * 2012-07-13 2014-01-16 Deepmind Technologies Limited Method and Apparatus for Conducting a Search
JP5998807B2 (ja) * 2012-09-28 2016-09-28 株式会社メルコホールディングス 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
US9460518B2 (en) * 2013-04-17 2016-10-04 Yahoo! Inc. Visual clothing retrieval
US9712627B2 (en) * 2013-07-31 2017-07-18 Ebay Inc. User interface provisioning system
US20150142566A1 (en) * 2013-11-19 2015-05-21 Microsoft Corporation Surfacing Product Listing Ads for Fresh Items

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232288A (ja) * 1998-02-13 1999-08-27 Fuji Xerox Co Ltd 検索装置及び文書画像登録装置
JP2011070412A (ja) * 2009-09-25 2011-04-07 Seiko Epson Corp 画像検索装置および画像検索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宝珍 輝尚: "イメージメディアと感性検索", 電子情報通信学会技術研究報告, vol. 112, no. 234, JPN6017010784, 5 October 2012 (2012-10-05), JP, pages 1 - 6, ISSN: 0003525975 *
稲葉 隆: "色彩・質感・デザインによる感性表現の捉え方", 画像ラボ, vol. 第21巻 第1号, JPN6017010786, 10 January 2010 (2010-01-10), JP, pages 61 - 71, ISSN: 0003525976 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135298A (ja) * 2019-02-18 2020-08-31 Insight Lab株式会社 情報処理装置

Also Published As

Publication number Publication date
US20160321334A1 (en) 2016-11-03
CN105981012A (zh) 2016-09-28
WO2015129331A1 (ja) 2015-09-03
US10229177B2 (en) 2019-03-12
EP3113045A1 (en) 2017-01-04
EP3113045A4 (en) 2017-03-22
JP6163440B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
JP7196885B2 (ja) 検索システム、検索方法、及びプログラム
US10216818B2 (en) Product search apparatus, method, and system
KR101955649B1 (ko) 이미지 특징 데이터 추출 및 사용
JP6212013B2 (ja) 商品推奨装置及び商品推奨方法
US20160321732A1 (en) Product search apparatus, product search system, server system, and product search method
WO2016152277A1 (ja) リコメンド装置、リコメンドシステム、リコメンド方法、及びプログラム
JP6300677B2 (ja) コーディネート提案装置及び方法
JP6178487B1 (ja) コーディネートシステム、コーディネート装置、及びプログラム
JP6163440B2 (ja) 商品検索装置及び方法、商品検索システム
JP6195550B2 (ja) コーディネート提案装置及び方法
JP2016218578A (ja) 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
JP6182125B2 (ja) コーディネート提案装置及び方法
WO2018109699A1 (en) Systems and methods for matching garments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170619

R150 Certificate of patent or registration of utility model

Ref document number: 6163440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250