JP2010536087A - 画像データ内の人物が身に着けている製品に関する情報を獲得するための方法、端末機、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】画像データに現れる人物が着用している商品に関する情報を獲得するための方法及、端末機、及びコンピュータ読み取り可能な記録媒体を提供する。
【解決手段】画像データから人物の姿勢、即ち顔姿勢及び身体姿勢等を分析し、分析された姿勢に関する情報を参照することによって画像データ内で人物が身に着けている商品の位置を示す複数の候補領域のうちの少なくとも１つをユーザの端末機に表示し、ユーザが複数の候補領域の中から特定の候補領域を選択したときに、特定の候補領域に含まれる特定の商品と同じかまたは類似の商品に関する情報を端末機に提供し、それによって、多様な画像データに現れる所望の商品に関する情報をより容易に獲得するための方法及びその装置を提供する。
【選択図】図３

Description

本発明は、画像データに現れる人物が着用している商品の情報を獲得するための方法及び装置に関し、より詳細には、画像データから人物の姿勢、即ち人物の顔姿勢及び身体姿勢などを検出し、ユーザが複数の候補領域の中から特定の候補領域を選択すると、検出した人物の姿勢に関する情報を参照することによって、人物が着用している製品の位置を示す候補領域をユーザ端末の画面上に表示し、特定の候補領域に含まれる商品と同一または類似の商品に関する情報をユーザ端末に提供するための方法及び装置に関する。

一般的に、コマーシャルフィルム（ＣＦ）や活字広告等の直接的な宣伝は、マスメディアを通じて行われてきた。直接的な宣伝は、商品に関する情報を具体的に消費者に直接伝えることができるが、ユーザに快く受け入れられないこともある。

直接的な宣伝とは逆に、ドラマや映画などに商品を登場させることによって間接的に商品を宣伝するマーケティング手法が間接的な宣伝である。間接的な宣伝は、直接的な宣伝よりも逆効果にならずに大衆に商品について知らせるのに役立つが、商品に関する具体的な情報を提供することができない。従って、間接的な宣伝の望ましい結果は、ドラマや映画で商品を認識した消費者が積極的に具体的な情報を探す場合にのみ達成されることができる。

最近では、双方向テレビの登場及びインターネットの急速な普及によって可能になった通信及び放送技術の飛躍的な前進によって直接的宣伝と間接的宣伝との垣根が取り払われ、新たな形態の宣伝が生まれた。例えば、インターネット・プロトコル・テレビ（ＩＰＴＶ）は、テレビ画面に現れた出演者が着用している特定のブランドの服に関する詳細な情報を、視聴者がＩＰＴＶを見ている間にマウス、キーボード、キーパッドなどのポインティング・デバイスを用いてその特定のブランドの服を示すことによって、提供し得る。

これに関連して、特許文献１に従来の方法が開示されている。特許文献１には、ユーザが放送視聴中に特定の対象物を選択すると、放送に関する情報及びモニタを通して出力された、対象物がいつどこで放送されたかという時間及び領域に関する情報を受信し、モニタに出力された特定の対象物が出力された時間及び領域に関する情報を用いてその特定の対象物に関する詳細な情報を獲得するような端末が開示されている。

韓国登録特許第０７１５５９８号公報 韓国特許出願第１０−１９９５−００００５６６号公報 韓国特許出願第１０−２００２−００６７５１４号公報

Chang HUANG et al., "Vector Boosting for Rotation Invariant Multi-View Face Detection," presented in ICCV (International Conference on Computer Vision) 2005. Oren et al., "Pedestrian Detection using Wavelet Templates," presented in CVPR (Computer Vision and Pattern Recognition Conference) 1997. Predo F. Felzenszwalb et al., "Pictorial Structures for Object Recognition," published in International Journal of Computer Vision, January 2005. Michael J. Jones et al., "Statistical Color Models with Application to Skin Detection," published in International Journal of Computer Vision, January 2002. Yining Deng et al., "An Efficient Color Representation for Image Retrieval, " IEEE TRANSACTIONS ON IMAGE PROCESSING, January 2001 Jeremy S. De Bonet et al., "Texture Recognition Using a Non-Parametric Multi-Scale Statistical Model," presented in Conference on Computer Vision and Pattern Recognition in 1998. Serge Belongie et al., "Shape Matching and Object Recognitions Using Shape Contexts," IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, April 2002.

しかしながら、上記した従来の方法及びシステムでは、商品に関する情報の基になる基礎データが放送信号に制限されるため、デジタル形式で格納されている画像データや放送信号から生成されない動画ファイルに現れる商品に関する詳細な情報を獲得するための手段が提供されない。即ち、従来の方法及びシステムは、放送コンテンツの特定のシーンがその特定のシーンに現れる特定の商品に関する情報と予め結び付けられており、ユーザがポインティング・デバイスを操作してその特定の商品に関する情報を得るという限られた状況にしか適用することができない。

また、従来の方法及びシステムでは、放送コンテンツを送信するサービスサーバに商品が登録されていない場合には、たとえ放送コンテンツに商品の画像が含まれていても、商品に関する詳細な情報を得ることができない。

さらに、従来の方法及びシステムでは、放送コンテンツの特定のシーンに含まれる特定の商品の画像が広告主との契約により宣伝情報に結び付けられるように一時的に調整されている場合、特定の商品の画像に関する情報しか端末の画面にはっきりと表示されない。それは双方向でなく一方的な情報しか提供しないので、ユーザの興味を喚起し得ない。具体的には、特定の商品を除く他の商品に関する情報を提供する領域は、ユーザが如何に他の商品に関する情報に興味を持ったとしても、アクティブにはされない。

それゆえ、前述の短所を克服することによって、多様な形式の画像データに現れる多様な商品に関する情報をより容易に提供することができる新たな方法及び新たなシステムを開発する必要性が増大している。

従って、本発明の目的は、上記した従来の方法及びシステムとは違う技術的構成を採用することによって、画像データから人物の姿勢、即ち顔姿勢及び身体姿勢等を分析し、分析された姿勢に関する情報を参照することによって画像データ内で人物が身に着けている商品の位置を示す複数の候補領域のうちの少なくとも１つをユーザの端末機に表示し、ユーザがポインティング・デバイスによって複数の候補領域の中から特定の候補領域を選択したときに、特定の候補領域に含まれる特定の商品と同じかまたは類似の商品に関する情報を端末機に提供し、それによって、多様な画像データに現れる所望の商品に関する情報をより容易に獲得するための方法及びその装置を提供することである。

しかし、本発明の目的は、これのみに限定されるものではない。

本発明の上記の目的を達成するための本発明の構成は、以下の通りである。

本発明の一態様によれば、（ａ）画像データに含まれる人物の姿勢を予測するステップと、（ｂ）前記人物の前記予測された姿勢を参照することによって商品の画像が含まれる閾値を超える可能性がある複数の候補領域を決定し、該候補領域を端末機に表示するステップと、（ｃ）前記複数の候補領域の中から特定の候補領域が選択されたときに、前記特定の候補領域に含まれる商品に関する情報を要求するステップとを含む方法が提供される。

本発明の他の態様によれば、画像データに現れる商品に関する情報を提供する装置であって、画像データに含まれる人物の姿勢を、該人物の顔姿勢及び身体姿勢のうち少なくとも１つを分析することによって予測する姿勢予測部と、前記人物の前記予測された姿勢を参照することによって、前記顔姿勢及び前記身体姿勢に関する情報を用いて、前記商品が含まれる閾値を超える可能性がある前記人物の身体部分を複数の候補領域として決定し、その後該候補領域を端末機に表示する候補領域抽出部と、或る特定の候補領域が前記複数の候補領域の中から選択されるならば、前記特定の候補領域に含まれる特定の商品に関する情報を検索するように、ネットワークを介して検索サーバに要求する通信部とを含むことを特徴とする装置が提供される。

本発明によれば、画像データ内の広告情報に結び付けられるように予め調整された商品に関する情報を提供するだけの従来の方法とは異なり、ユーザがポインティング・デバイスによって多様な商品を選択すると、広告情報に結び付けられるように予め調整されていない様々な形態の画像データに現れる多様な商品と同じかまたは類似の商品に関する情報を獲得することができる。

本発明によれば、ユーザは、多様な画像データに現れる多様な商品に関する情報を、画像データから人物の姿勢、即ち顔姿勢及び身体姿勢などを分析することによって容易に獲得することができ、分析された姿勢に関する情報を参照することによって人物が身に着けている商品の位置が自動的にはっきりと表示されるので、ユーザは、商品の画像により興味を持つようになり、その商品と同じかまたは類似の商品の販売を促進することができる。

本発明に係る全体システムの全体構成を示す図面である。 本発明に係るユーザ端末機の構成部品を示す図面である。 画像データに含まれた人物が身に着けている商品に関する詳細情報を獲得する過程を示すフローチャートである。 本発明に係る商品認識部の構成部品を示す図面である。 顔姿勢情報に基づいて、候補領域が推奨された状態を示す図である。 身体姿勢情報に基づいて、候補領域が推奨された状態を示す図である。 画像データ上で顔の検出が不可能な場合に、候補領域が推奨された状態を示す図である。

以下の詳細な説明において、本発明を実施し得る特定の実施形態を示す添付図面を参照する。これらの実施形態は、当業者が本発明を十分に実施できるように詳細に説明する。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないと理解しなければならない。例えば、ここに記載されている特定形状、構造及び特性は一実施形態に関連して本発明の技術的思想及びその範囲から逸脱せずに他の実施形態として具現することができる。また、ここに開示したそれぞれの実施形態のうち、個別構成要素の位置または配置は、本発明の技術的思想及びその範囲から逸脱せずに変更できることを理解するべきである。したがって、後述する詳細な説明は限定的な意味で扱うものでなく、本発明の技術的範囲は、適切に説明されるならば、その請求項に記載された本発明と均等な全ての技術的範囲と共に添付した特許請求範囲によって定められる。図面においては、複数の図にわたって類似の符号が付されているものは、同じかまたは類似の機能を有する。

以下、添付図面を参照して本発明について詳細に説明する。

画像データ

本発明の画像データは、２次元または３次元画面上に再生または表示され得る視覚的情報を含むデジタルデータとして理解され得る。例えば、画像や動画などは画像データの一種であり得る。ここで、動画は、放送信号などのストリーミングサービスにより、あるいは、予め完全に端末機にダウンロードされた後に動画が再生されるダウンロードサービスにより、ユーザの端末機に提供され得る。しかし、本発明は、これら２つのサービスに加えて、任意のタイプの画像データを対象にし得る。

とはいえ、人物の形状が含まれている画像データは、より重要でるあると考えられ得る。一般的に、人は必ず衣類及び／またはアクセサリー、例えばイヤリング、帽子などを身に着けて画像データに現れるため、これらはマスメディアを通じてすぐに流行する傾向がある。さらに、変化の速い流行に乗り遅れたくないという消費者の欲求とともに、広告市場も急成長している。このような点に鑑みて、人物が含まれる画像データは、商品広告市場を高める非常に魅力的な手段であり得、より重要になってきている。

システム全体

図１は、本発明によるシステムの全体構成を示す図面である。

端末機２００は、双方向通信サービスを提供する最もありふれた端末として知られているセットトップボックス、パソコン、携帯電話、ＰＤＡ、携帯マルチメディアプレーヤー（ＰＭＰ）などの、ネットワークに接続可能な多様なデジタル機器を含み得る。

端末機２００は、放送システム９００から放送信号を受信し、端末機２００の表示画面に表示することができる。また他の方法として、端末機２００は、画像、動画のようなマルチメディアコンテンツを格納しているコンテンツサーバ８００から画像データをダウンロードし、ダウンロードした画像データを端末機２００の表示画面上に再生または表示することができる。端末機２００については、図２を参照しながら詳細に後述する。

図１に示すように、表示画面上に表示または再生される画像データに含まれる複数の商品の画像のうちの１つをユーザが選択すると、選択された商品に関する情報を検索サーバ３００に伝送することによって、選択された商品に関する詳細な情報が検索サーバ３００から獲得され得るか、あるいは、商品に関する情報をユーザに提供する権利が広告システム７００とリンクすることによって広告主に販売された後に、広告主から提供される複数の商品の中から選択された商品の画像と同じかまたは類似の画像を有する特定の商品に関する情報が端末機２００に提供され得る。

図１では、検索サーバ３００とコンテンツサーバ８００とが互いから離れて示されているが、検索サーバ３００とコンテンツサーバ８００は１つのシステムとして構成され得、あるいは、物理的に１つのサーバ内に含まれ得る。

端末機の構成

図２は、本発明による端末機２００の構成部品を示す図面である。

端末機２００は、インタフェース提供部２１０、画像データ格納部２２０、画像データ表示部２３０、商品認識部２４０、制御部２５０、通信部２６０を含むことができる。

図２では、インタフェース提供部、画像データ格納部、画像データ表示部、商品認識部、制御部及び通信部が全て端末機２００に含まれて例示されているが、本発明の一実施形態によれば、インタフェース提供部２１０、画像データ格納部２２０、画像データ表示部２３０、商品認識部２４０、制御部２５０及び通信部２６０のうちの少なくとも一部は、端末機２００に含まれるか端末機２００と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、アプリケーションプログラムモジュール及びその他のプログラムモジュールの形態で、ユーザ端末機に含まれ得るか、あるいは、当業者に公知の様々な記憶装置または端末機２００と通信できる遠隔記憶装置のいずれかに格納され得る。このようなプログラムモジュールは、特定の演算を行うためのルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造、または本発明によって記述されることになる特定の抽象データの一種を含み得るが、これらに制限されるものではない。

まず、画像データ格納部２２０は、通信部２６０を通じて受信した画像データに関する情報を、端末機２００のメモリ（図示せず）に記録し得る。

さらに、画像データ表示部２３０は、画像データを端末機２００の表示画面に表示することができる。

また、商品認識部２４０は、表示画面上に表示される画像データに現れる商品の画像を検出及び認識することができる。商品認識部２４０が行う過程については、図３及び図４を参照して詳細に後述する。

また、インタフェース提供部２１０は、商品認識部２４０により商品の画像を有する領域として認識された複数の候補領域と、複数の候補領域のうち少なくとも１つを選択できる機能とをユーザに提供し得る。また、インタフェース提供部２１０は、ユーザにより選択された商品の画像を検索サーバ３００及び広告システム７００等に伝送し、選択された商品に関連する詳細な情報が検索サーバ３００及び広告システム７００から提供されたら、詳細な情報をユーザに提供し得る。ここで、検索サーバ３００と広告システム７００とを結合することによって拡張検索サーバ３００’が実装され得る。この場合、拡張検索サーバ３００’による検索結果は、一般的な情報及び広告情報の両方を含むことができる。本発明の明細書では、特別な言及がなくても、検索サーバ３００は拡張検索サーバ３００’を含む場合がある。

制御部２５０は、インタフェース提供部２１０、画像データ格納部２２０、画像データ表示部２３０、商品認識部２４０及び通信部２６０の間のデータの流れをコントロールすることができる。

通信部２６０は、端末機２００と検索サーバ３００間、端末機２００とコンテンツサーバ８００間、及び端末機２００と放送システム９００間でデータの送受信を行うことができる。

画像データ上の商品位置検出

図３は、画像データに現れた商品の画像と同じかまたは類似の商品に関する情報を検索しかつ表示する過程を示すフローチャートである。

さらに、図４は、本発明に係る商品認識部の構成部品を示す図面である。

以下では、商品の画像が画像データに含まれる事例を先に説明し、商品の画像が動画データに含まれる事例を次に説明する。

ステップＳ３１０では、端末機２００の商品認識部２４０が、端末機２００の画面に表示された画像データに人物が含まれているか否かを判断する。

ステップＳ３１０は、画像データが端末機２００に表示される際に自動に実行され得るが、これに限定されるものではない。商品認識部２４０は、図４に示すように、画像データから人物を検出するための人物検出部２４１を含むことができる。

画像データに人物が含まれているか否かは、非特許文献１の論文を参照することにより、画像データから人の顔を検出することによって判定され得る。非特許文献１の３〜４ページによれば、足し算、引き算などの簡単な演算を用いて、複数の顔面サンプルから顔の特徴を学んだ結果を表すことによって、顔を迅速かつ正確に検出する方法が開示されている。

あるいは、画像データに人物が含まれているか否かは、非特許文献２の論文を参照することにより、画像データから人の身体を検出することによって判定され得る。非特許文献２の２〜５ページによれば、簡単なウェーブレット演算を用いて、複数の身体サンプルから身体の特徴を学んだ結果を表すことによって、人の身体を迅速かつ正確に検出する方法が開示されている。

画像データに人物が含まれているかを検出する方法は、上記の論文に記載の技術に限定されるものではなく、他の多様な技術を組み合わせて行ってもよい。

上記の多様な技術のうちの少なくとも１つに基づいて画像データに人物が含まれていると判断された場合、商品認識部２４０は、人物の姿勢、即ち顔姿勢及び身体姿勢を予測する（Ｓ３２０）。

具体的には、顔姿勢は、目、鼻、口、耳、髪の毛などを含む顔面の身体部分の位置姿勢、大きさ、方向を表す。身体姿勢は、上半身、下半身、腕、脚、手首、足首、手、足などを含む顔面以外の身体の身体部分の位置姿勢、大きさ、方向を意味する。

上記の身体部分には、メガネ、マスク、イヤリング、帽子、上衣、下衣、ブレスレット、靴などの装飾品が身に着けられている可能性が高い。それゆえ、後述するステップＳ３３０で、身体部分の位置姿勢（初期姿勢とも呼ばれる）が、内部に商品が位置する可能性の高い候補領域として決定され得る。

即ち、人物が着用している商品の位置姿勢は人物の顔及び身体姿勢に左右されるので、ステップＳ３２０で人物の姿勢を予測すべきである。商品認識部２４０は、図４に示すように、人物の姿勢を予測するための姿勢予測部２４２を含むことができる。

このように、人物の姿勢は、顔姿勢及び身体姿勢に分けて両者を予測することによって予測されることができる。まず、顔姿勢を予測する過程は、非特許文献１などを参照して実行され得る。具体的には、非特許文献１の論文１〜３ページに、顔姿勢を予測するためのパラレルカスケード構造、ピラミッド構造及びツリー構造を用いるＭＶＦＤ（Multi-View Face Detector）が開示されており、さらにＭＶＦＤの欠点を克服するＷＦＳ（Width First Search）ツリー構造が開示されている。さらに、顔姿勢を含む身体姿勢を予測する過程は、非特許文献３を参照して実行され得る。具体的には、非特許文献３の８〜３２ページに、身体姿勢を予測するために、ガボールフィルタ応答によって、腕、脚などの身体の各構成要素の特徴を学んだ結果を表し、最大の可能性に対応する身体姿勢を、可能性に基づいて身体の各構成要素の組合せを計算することによって獲得する方法が開示されている。

ステップ３２０で人物の姿勢を予測する過程は、画像データから人物を検出ステップ３１０が完了した後のみならず、ステップ３１０と同時にも実行され得る。

ステップ３３０では、ステップ３２０で人物の姿勢が予測された後、商品認識部２４０が１若しくは複数の候補領域を抽出する。

即ち、胴、首、耳、頭、及び目を含む身体部分がある初期姿勢が、姿勢を考慮することによって画像データから候補領域として抽出され得る。

候補領域として選択されることができる身体部分は、予め配置されるか、検索サーバ３００などの遠隔サーバからネットワークを介して周期的または非周期的にアップデートされ得る。候補領域を決定するために、商品認識部２４０は、候補領域を検出する候補領域検出部２４３を含むことができる。

一方、候補領域として選択されることができるそれぞれの身体部分及び各身体部分に配置されることができる商品の種類は、それぞれの身体部分を対応する商品とマッチングすることによってデータベース（図示せず）に記録され得る。

画像データから候補領域が抽出されると、ステップＳ３４０で、商品認識部２４０は、各候補領域に商品が存在するか否かを検査する。

例えば、候補領域が耳領域であれば、イヤリング検出器を用いて耳領域にイヤリングが存在するか否かが判定される。候補領域が首領域であれば、ネックレス検出器またはスカーフ検出器を用いて首領域にネックレスやスカーフが存在するか否かが判定される。対応する候補領域に商品が存在するか否かを検査するため、本発明の商品認識部２４０は商品検出部２４４を含むことができる。

本発明の一実施形態に従って、各候補領域内に存在する商品を検出する各検出部は、多様な技術、例えば、対応する候補領域内の皮膚領域を分析することによって対応する候補領域内に商品が存在するか否かを判定する技術を用いて具現されることができる。

例えば、（ｉ）或る候補領域、例えば、首領域または首領域が皮膚の色で満たされている場合、または（ｉｉ）候補領域が、かなりの部分を占める皮膚エリアを含むと同時に、候補領域内に金属物質が検出されない場合、または（ｉｉｉ）イヤリングやネックレスなどの商品の一般形状が候補領域から検出されない場合、候補領域内に対応する商品が存在しないと判定され得る。さもなければ、商品は存在すると判定され得る。

具体的には、イヤリングやネックレスなどの商品は、非特許文献４を参照することにより、候補領域内の皮膚の色の比率を計算することによって、候補領域から検出され得る。

他の例として、帽子、ヘアピンなどの商品が候補領域内に存在するか否かについても、候補領域内の毛髪の色の比率を計算することによって検出され得る。

本発明の別の実施形態に従って、各候補領域内に存在し得る商品を検出するための検出部を、形状認識技術（特許文献２を参照）を用いて実装することができる。形状認識技術は、人物の皮膚に身に着けられないハンドバッグなどの商品を検出するように、より適切に適合され得る。具体的には、商品認識部２４０は、人物がストラップ（紐）や取っ手などによって身に着けている商品の形状または商品の全体形状が画像データ内に存在するか否かを検査し、その後、ハンドバッグや傘などの商品が画像データ内に存在するか否かを判定し得る。

本発明のさらに別の実施形態に従って、各候補領域内に存在する商品を検出するための検出部を、皮膚領域検出技術と形状認識技術を組み合わせた方法を用いて実装することができる。この方法は、１つの候補領域に多様な種類の商品が存在する場合に適しているであろう。例えば、候補領域が手首領域である場合、手首における皮膚領域の比率を計算することによって商品が手首領域内に存在することが判定されるとしても、そのような商品には、ブレスレット、腕時計など様々な商品が含まれ得る。従って、本発明の方法では、皮膚領域検出技術と形状認識技術を組み合わせることによって商品の種類をより正確に判断することができる。

ただし、前述の検出技術を用いても候補領域内に商品が存在するか否かがはっきりしない場合、デフォルト値として候補領域内に商品が存在すると判定され得る。

一方、本発明において、ステップＳ３４０で述べたような候補領域内にどんな種類の商品が含まれているかの判定は必須ではない。即ち、手首領域内の商品がブレスレットなのか腕時計なのかは商品認識部２４０によって判定される必要がない。後述するように、検索サーバ３００は、選択された候補領域内に存在する商品の画像と同じかまたは類似の商品を検索し、検索した商品をユーザに提供することができるため、商品認識部２４０は、商品の種類を考慮せずに商品が含まれる候補領域を選択するだけでよい。

商品が含まれると判定された候補領域は、ステップＳ３５０で端末機２００の表示画面上に表示される。このとき、端末機２００の表示画面上に表示されるのは、商品が含まれると判定された候補領域のみであるとは限らない。即ち、場合によっては、商品が含まれない候補領域を表示することによって、検出器の不正確さを克服することができ、ユーザは（複数の候補領域間の相対的位置などの提供された情報を参照して）より正確な判定を行うことができる。表示画面を通して候補領域内に商品があるか否かを検査する必要なしに全ての候補領域を表示するためには、商品検出ステップ（Ｓ３４０）を省略し、代わりに、ステップＳ３３０で画像データから抽出された候補領域を端末機２００の表示画面に直接表示することが、より適している場合もある。候補領域内に商品が存在しない場合、ユーザは、表示された複数の候補領域の中から或る候補領域を選択しないことが当然なので、このことは理にかなっている。

図５は、端末機２００の表示画面に候補領域が推奨された状態を示す。

図５Ａは、顔姿勢などを検出して、商品が存在し得る候補領域が推奨されている様子を示している。ここでは、上衣、ネックレス、イヤリング、帽子などの商品が存在し得る人体の部分を示す候補領域が表示されている。詳細には、頭に帽子が検出されなかったとしても、頭部も候補領域の１つとして推奨される。

図５Ｂは、シャツ、ズボン、靴などの商品が存在し得る候補領域が、身体姿勢を予測することによって推奨されている。

図５Ａ及び図５Ｂを参照すると、各候補領域が端末機２００の表示画面上に表示されているとき、商品のカテゴリーも各候補領域の片側に表示されるようにすることができる。商品を検索するために商品のカテゴリーなどの情報を用いると、検索対象が特定の商品のカテゴリーに限定することができ、より迅速且つ正確な情報を検索することができる。

一方、ステップＳ３１０で画像データ内に人物が含まれていることが検出されたとしても、場合によっては人物の顔が検出されないことがある。例えば、図５Ｃのように人物が頭を下げている場合、表示画面上に示されている画像自体の並びを分析することによって候補領域が端末機２００に提供され得、複数の候補領域の中から特定の候補領域がユーザによって選択されると、ユーザがカテゴリーリストから１つのカテゴリーを選択できるように複数の商品カテゴリーを含むカテゴリーリストが選択された候補領域の片側に提供され得る。図５Ｃは、ユーザが頭領域を選択し、対応するカテゴリーとして「帽子」を選択する様子を示している。

さらに、インタフェース提供部２１０は、図５Ａ及び図５Ｂに示すように、商品が含まれ得る候補領域及び対応するカテゴリーを端末機２００に表示し、ユーザによって選択された所望の候補領域に関する情報を少なくとも１つの候補領域から受信する。このために、インタフェース提供部２１０は、例えば、マウス、キーパッド、キーボードなどのポインティング・デバイスによって候補領域を選択する機能をユーザに提供することができる。

ステップＳ３６０では、ユーザが特定の候補領域を選択すると、端末機２００は、候補領域に含まれる商品に関する情報、例えば商品の画像を、検索サーバ３００に伝送する。ステップＳ３７０では、検索サーバ３００は、ユーザに詳細な情報を提供できるように、受信した画像に対応する商品に関する詳細な情報を検索結果として端末機２００に送信する。即ち、端末機２００から受信した商品の画像と検索サーバ３００が獲得している商品の画像との類似性が比較されることができ、端末機２００から受信した商品の画像に対応する商品に関する情報が獲得され得る。画像間の類似性は、特許文献３に開示されている技術を含む多様な技術を参照して比較され得る。

具体的には、受信した商品画像の色、パターン、形状の類似性が検索サーバ３００によって考慮された後、受信した商品画像に対応する少なくとも１つの商品に関する情報が検索結果として端末機２００に提供されることができる。

ここで、色の類似性は、非特許文献５に開示されている技術を参照して判別され得る。

また、パターンの類似性は、非特許文献６に開示されている技術を参照して判別され得る。

さらに、形状の類似性は、非特許文献７に開示されている技術を参照して判別され得る。

しかし、上記の技術以外の技術を用いて、色、パターン、形状の類似性を判別し得ることに留意されたい。

色、パターン、形状の類似性を判別するために、検索サーバ３００は、商品の画像と商品に対応する詳細な情報とが格納されている商品データベース（図示せず）を含むことができる。詳細な情報は、検索サーバ３００によるインターネット上でのウェブ巡回によって集められることができる。ここで、検索サーバ３００は、前述のような広告システム７００などの拡張された概念を備えたシステムを含むので、検索サーバ３００は、商品広告に関する情報を提供することもできる。

検索サーバ３００は、端末機２００から受信した商品の画像と同じかまたは類似のものであると判定された少なくとも１つの商品に関する情報を、端末機２００に送信する。少なくとも１つの商品に関する情報には、商品の名称、値段、供給者、サイズ、商品を売っている場所などに関する情報が含まれることができる。別の例として、検索サーバ３００は、受信した画像と同じかまたは類似のものであると判定された１若しくは複数の商品のリストのみを端末機２００に送信し、その後、端末機２００のユーザが特定の商品を選択したら、その特定の商品に関するより詳細な情報を端末機２００に送信することもできる。

本明細書では、データが画像である事例に限定して説明したが、データが動画を含む事例にも適用されることができる。これを実現するために、動画に含まれるシーン（場面）をキャプチャ（捕捉）することによって、動画は画像データに変換され得る。例えば、ユーザが放送プログラムを視聴している間に、ユーザが興味を持った商品が含まれる特定のシーンが放送プログラムからキャプチャされ、上記したような（例えば図３に示した）画像データに適用された技術が、同じように放送プログラムからキャプチャされた画像データ、すなわち特定のシーンにも適用され得る。別の例として、スクリーンキャプチャが、ユーザからの要求と関係なく、端末機２００によって動画のシーンに周期的に行われ得る。

本発明の実施形態は、コンピュータ読み取り可能な媒体に記録可能な多様なコンピュータ手段により実行可能なプログラム命令の形式で実装され得る。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造を単独でまたは組み合わせて含むことができる。媒体に記録されたプログラム命令は、本発明のために特別に設計されたコンポーネントであり得るか、あるいはコンピュータソフトウェアの分野で当業者が使用できるものでもよい。コンピュータ読み取り可能な記録媒体は、プログラムを格納して実行するように特別に設計されたような、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープなどの磁気媒体と、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体と、フロップティカルディスクなどの磁気光媒体と、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリなどのハードウェア装置を含む。プログラム命令は、コンパイラによって作成される機械語コードだけでなく、コンピュータによって実行されるような、インタープリタが使用可能な高級言語コードが含まれる。前述したハードウェア装置は、本発明の動作を行うために２つ以上のソフトウェアモジュールとして作動することができ、逆の場合にも同じことができる。

以上のように、本発明では具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明したが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明は前述の実施形態に限定されるものではなく、本発明が属する分野で通常的な知識を持った者であれば、このような記載から多様な修正形態及び変形形態が可能であるはずである。

以上、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

２００ 端末機
２１０ インタフェース提供部
２２０ 画像データ格納部
２３０ 画像データ表示部
２４０ 商品認識部
２４１ 人物検出部
２４２ 姿勢予測部
２４３ 候補領域検出部
２４４ 商品検出部
２５０ 制御部
２６０ 通信部
３００ 検索サーバ
７００ 広告システム
８００ コンテンツサーバ
９００ 放送システム

Claims (34)

1. 商品に関する情報を提供する方法であって、
   （ａ）画像データに含まれる人物の姿勢を予測するステップと、
   （ｂ）前記人物の前記予測された姿勢を参照することによって商品の画像が含まれる閾値を超える可能性がある複数の候補領域を決定し、該候補領域を端末機に表示するステップと、
   （ｃ）前記複数の候補領域の中から特定の候補領域が選択されたときに、前記特定の候補領域に含まれる特定の商品に関する情報を要求するステップとを含むことを特徴とする方法。
2. 前記人物の姿勢は、前記人物の顔姿勢及び身体姿勢のうち少なくとも１つを含むことを特徴とする請求項１に記載の方法。
3. 前記ステップ（ｂ）が、前記顔姿勢及び前記身体姿勢に関する情報を用いて、前記商品をが身に着けることができる前記人物の身体部位を前記候補領域として決定するステップを含むことを特徴とする請求項２に記載の方法。
4. 前記ステップ（ｂ）が、前記複数の候補領域の中から前記商品の少なくとも１つの画像を含む候補領域のみを前記端末機に表示するステップを含むことを特徴とする請求項１に記載の方法。
5. 前記ステップ（ｂ）が、前記候補領域内における皮膚の色の比率を参照することによって、前記候補領域内に前記商品の前記画像が含まれるか否かを検出するステップを含むことを特徴とする請求項４に記載の方法。
6. 前記候補領域が、該候補領域に形状認識技術を適用して該候補領域内に前記商品の前記画像が含まれるか否かを検出することによって決定されることを特徴とする請求項４に記載の方法。
7. 前記画像データは、静止画像を含むことを特徴とする請求項１に記載の方法。
8. 前記画像データは、動画データから抽出されることを特徴とする請求項７に記載の方法。
9. 前記ステップ（ｃ）が、ポインティング・デバイスによって前記特定の候補領域を選択するステップを含むことを特徴とする請求項１に記載の方法。
10. 前記ステップ（ｃ）において、前記特定の商品の画像が前記端末機によって検索サーバに伝送されることを特徴とする請求項１に記載の方法。
11. 前記ステップ（ｃ）において、前記特定の商品に関連する検索結果が前記端末機によって前記検索サーバから受信されるステップを含むことを特徴とする請求項１０に記載の方法。
12. 前記検索結果は、前記特定の商品と同じかまたは類似のものであると判定された少なくとも１つの商品に関する情報を含むことを特徴とする請求項１１に記載の方法。
13. 前記検索結果は、前記特定の商品の画像と同じかまたは類似のものであると判定された前記商品に関する情報が画像マッチング技術を用いて前記検索サーバによって検索されるようにして獲得されることを特徴とする請求項１２に記載の方法。
14. 前記商品に関する情報は、前記商品の名称、値段、供給者、サイズ、前記商品を買える場所のうちの少なくとも１つを含むことを特徴とする請求項１３に記載の方法。
15. 前記商品に関する情報は、前記特定の商品と同じかまたは類似のものである複数の商品のリストであることを特徴とする請求項１３に記載の方法。
16. 前記ステップ（ｂ）が、前記候補領域に含まれている可能性がある商品のカテゴリーに関する情報を前記候補領域の片側に表示するステップを含み、前記候補領域が前記端末機を通じて表示されることを特徴とする請求項１に記載の方法。
17. 前記ステップ（ｃ）において、特定の候補領域がユーザにより選択されると、該特定の候補領域に含まれる前記特定の商品の画像及び該特定の商品のカテゴリーに関する情報が、検索サーバに伝送されることを特徴とする請求項１６に記載の方法。
18. 前記検索サーバは、前記特定の商品の前記カテゴリーと一致する或るカテゴリー内で商品検索を実行することを特徴とする請求項１７に記載の方法。
19. 前記ステップ（ｂ）において、たとえ前記人物の顔が検出されなくても、前記候補領域が表示されることを特徴とする請求項１に記載の方法。
20. 前記候補領域に含まれている可能性がある商品のカテゴリーリストが、前記候補領域の片側に表示されることを特徴とする請求項１９に記載の方法。
21. 或る特定のカテゴリーが、ユーザにより前記カテゴリーリストから選択されるならば、前記候補領域のカテゴリーとして決定されることを特徴とする請求項２０に記載の方法。
22. 画像データに現れる商品に関する情報を提供する装置であって、
    画像データに含まれる人物の姿勢を、該人物の顔姿勢及び身体姿勢のうち少なくとも１つを分析することによって予測する姿勢予測部と、
    前記人物の前記予測された姿勢を参照することによって、前記顔姿勢及び前記身体姿勢に関する情報を用いて、前記商品が含まれる閾値を超える可能性がある前記人物の身体部分を複数の候補領域として決定し、その後該候補領域を端末機に表示する候補領域抽出部と、
    或る特定の候補領域が前記複数の候補領域の中から選択されたら、前記特定の候補領域に含まれる特定の商品に関する情報を検索するように、ネットワークを介して検索サーバに要求する通信部とを含むことを特徴とする装置。
23. 前記候補領域抽出部は、前記複数の候補領域の中から前記商品の画像を含む候補領域のみを前記端末機に表示することを特徴とする請求項２２に記載の装置。
24. 前記通信部は、前記特定の商品の画像を前記検索サーバに伝送し、その後前記検索サーバから前記特定の商品と同じかまたは類似のものであると判定された商品に関する情報を受信することを特徴とする請求項２２に記載の装置。
25. 前記検索サーバは、画像マッチング技術を用いて前記特定の商品の前記画像と同じかまたは類似のものであると判定された前記商品に関する情報を検索することによって検索結果を獲得することを特徴とする請求項２４に記載の装置。
26. 前記候補領域抽出部は、前記候補領域が表示される間、前記候補領域に含まれている可能性がある商品のカテゴリーに関する情報を前記候補領域の片側に表示することを特徴とする請求項２２に記載の装置。
27. 前記特定の候補領域がユーザにより選択されると、前記検索サーバは、前記特定の商品の画像及び該特定の商品のカテゴリーに関する情報を受信し、その後前記特定の商品の前記カテゴリーと一致する或るカテゴリー内で前記特定の商品に関する情報を検索することを特徴とする請求項２６に記載の装置。
28. 前記候補領域に商品が含まれているか否かを検出する商品検出部をさらに含むことを特徴とする請求項２２に記載の装置。
29. 前記商品検出部は、前記候補領域内における皮膚の色の比率を参照することによって商品を検出することを特徴とする請求項２８に記載の装置。
30. 前記商品検出部は、形状認識技術を用いて前記候補領域が商品の形状を含むか否かを検出することを特徴とする請求項２８に記載の装置。
31. 前記検索サーバは、商品の画像及び該商品に対応する詳細な情報が格納されている商品データベースを含むことを特徴とする請求項２２に記載の装置。
32. 前記検索サーバは、インターネット上でのウェブ巡回によって、前記商品データベースに格納されている前記商品に関する情報を集めることを特徴とする請求項３１に記載の装置。
33. 前記検索サーバは、前記特定の商品に関する広告情報を検索し、その後該広告情報を前記画面に提供することを特徴とする請求項２２に記載の装置。
34. 請求項１ないし２１のいずれか１項に記載の方法を実行するためのコンピュータプログラムを記録したコンプュータ読み取り可能な記録媒体。

Images