JP2018522339A - 商品画像特徴に基づく個性化捜索装置および方法 - Google Patents

Abstract

本発明は、ニューラルネットモデルによって、画像の抽象語意特徴ベクトルを抽出する特徴抽出モジュールと、各次元の前記抽象語意特徴ベクトルに対して、当該次元における平均値及び分散をそれぞれ算出し、かつ次元毎に正規化処理を行う品類画像算出モジュールと、ユーザが閲覧した画像に対して、品類毎に相応正規化した前記抽象語意特徴ベクトルを抽出して加算し、当該ユーザの各品類における趣味重み付けベクトルを取得するユーザ閲覧行為重み付け算出モジュールと、各ユーザのある品類における前記趣味重み付けベクトルによって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し、各画像に対応する得点を取得し、当該得点に従ってソートし、得点が高い順に所定枚の画像を選択して入庫するソートモジュールと、ソート値の結果に従って、個性化捜索を行う捜索呼び出しモジュールと、を含む商品画像特徴に基づく個性化捜索装置を開示している。

Description

本発明は、電子商取引分野における商品画像特徴に基づく個性化捜索装置および方法に関する。

従来の個性化捜索は一般的に、まず、ユーザ、商品、シーンの語意（セマンティック）、統計、文字などの特徴の抽出を行い、そして、各捜索、ソートアルゴリズム（sort algorithm）に従って最後の結果を得る。従来の捜索では、ユーザの商品画像の閲覧という行為に基づいて個性化捜索を行うことが滅多にない。

本発明は、電子商取引分野の商品画像によって、ニューラルネットを利用し、商品画像の深層の抽象語意特徴ベクトルを抽出し、品類毎にユーザの閲覧行為を分類し、抽出した深層の抽象語意特徴ベクトルによって、ユーザの各品類における趣味重み付けを算出し、ユーザごとに、品類毎に趣味重み付けによってユーザの当該品類におけるソート値の結果を取得し、個性化捜索に用いることで、ユーザの多次元における体験値を向上させることができる商品画像特徴に基づく個性化捜索装置および方法を提供している。

本発明の商品画像特徴に基づく個性化捜索装置は、
ニューラルネットモデルによって、品類毎に画像の抽象語意特徴ベクトルを抽出する特徴抽出モジュールであって、画像からＨＯＧ（Histogram of Oriented Gradient）特徴を抽出し、画像を諧調化し、画像における各画素の勾配を算出し、画像を８×８個の小ブロックに分割し、小ブロック毎の勾配ヒストグラムを算出してこの画像ブロックのディスクリプタを形成し、２×２個の小ブロックを直列に接続して１６個の大ブロックを取得し、各大ブロックのディスクリプタが小ブロックのディスクリプタの直列接続であり、画像全体のＨＯＧ特徴が１６個の大ブロックのディスクリプタの直列接続であり、ＨＯＧ特徴をニューラルネットの入力信号とし、ニューラルネットの出力信号を画像の特徴ベクトルとする特徴抽出モジュールと、
前記特徴抽出モジュールから送られた画像の抽象語意特徴ベクトルを受信し、各次元の抽象語意特徴ベクトルに対して、当該次元における平均値及び分散をそれぞれ算出し、かつ次元毎に正規化処理を行う品類画像算出モジュールと、
ユーザが閲覧した全ての対応画像に対して、品類毎に相応正規化した前記抽象語意特徴ベクトルを抽出して加算し、当該ユーザの各品類における趣味重み付けベクトルを取得するユーザ閲覧行為重み付け算出モジュールと、
前記ユーザ閲覧行為重み付け算出モジュールから送られた各ユーザのある品類における前記趣味重み付けベクトルによって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し、ユーザの閲覧されなかった各画像に対応する得点を取得し、そして得られた得点に従ってソートし、得点が高い順に所定枚の画像を選択して入庫するソートモジュールと、
前記ソートモジュールによるソート値の結果に従って、個性化捜索を行う捜索呼び出しモジュールと、を含む。

本発明の商品画像特徴に基づく個性化捜索方法は、
ニューラルネットモデルによって、品類毎に画像の抽象語意特徴ベクトルを抽出する特徴抽出ステップと、
各次元の前記抽象語意特徴ベクトルに対して、当該次元における平均値及び分散をそれぞれ算出し、かつ次元毎に正規化処理を行う品類画像算出ステップと、
ユーザが閲覧した全ての対応画像に対して、品類毎に相応正規化した前記抽象語意特徴ベクトルを抽出して加算し、当該ユーザの各品類における趣味重み付けベクトルを取得するユーザ閲覧行為重み付け算出ステップと、
各ユーザのある品類における前記趣味重み付けベクトルによって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し、ユーザの閲覧されなかった各画像に対応する得点を取得し、そして得られた得点に従ってソートし、得点が高い順に所定枚の画像を選択して入庫するソートステップと、
前記ソートステップによるソート値の結果に従って、個性化捜索を行う捜索呼び出しステップと、を含む。

本発明は、電子商取引分野の商品画像に対して、画像の深層の語意特徴を組合せ、ユーザの閲覧行為によって、個性化捜索を行うことで、ユーザの多次元における体験値を向上させることができる。

図１は、本発明に係る商品画像特徴に基づく個性化捜索装置を示すブロック図である。 図２は、本発明に係る商品画像特徴に基づく個性化捜索方法を示すフローチャートである。

本発明の目的、技術案及び長所をより明らかにするために、以下、具体的な実施例に基づいて、添付図面を参照し、本発明をさらに詳細に説明する。

本発明は、主に、ニューラルネットによって画像の抽象語意特徴ベクトルの抽出を行い、品類における全ての画像の特徴ベクトルの各次元における平均値及び分散を算出し、各ユーザの閲覧画像に従って、各閲覧行為に対して、抽出した特徴ベクトルに従って正規化して加算し、当該ユーザの趣味重み付けを取得し、そして、この趣味重み付けによって、当該品類における各画像の特徴ベクトルを内積し、当該画像の得点を取得して、ソートした結果を個性化捜索に用いる。

図１は、本発明に係る商品画像特徴に基づく個性化捜索装置１を示すブロック図である。
本発明に係る商品画像特徴に基づく個性化捜索装置１は、主に特徴抽出モジュール２、品類画像算出モジュール３、ユーザ閲覧行為重み付け算出モジュール４、ソートモジュール５及び捜索呼び出しモジュール６を含む。

特徴抽出モジュール２は、ニューラルネットモデルを利用して、品類毎に画像の抽象語意特徴ベクトルを抽出し、当該抽象語意特徴ベクトルを品類画像算出モジュール３に送る。

画像から抽出された抽象語意特徴ベクトルが、多次元分布において不均一であるため、一部のズレ量の過大による影響を避けるために、多次元分布ごとに正規化処理を行う必要がある。このため、品類画像算出モジュール３は、特徴抽出モジュール２から送られた画像の抽象語意特徴ベクトルを受信し、次元毎の抽象語意特徴ベクトルに対して、当該次元における平均値μ_i及び分散σ_iをそれぞれ算出し、かつ、画像の抽象語意特徴ベクトルについて、各次元毎に正規化処理を行う：

ユーザ閲覧行為重み付け算出モジュール４においては、ユーザの誤りクリックによる影響を避けるように閲覧行為に対して重複除去処理（複数回の同じ閲覧を一回とする）を行う。なお、ユーザが閲覧した全ての対応画像に対して、品類毎に正規化した特徴ベクトルを抽出して加算し、ユーザの各品類における趣味重み付けベクトルを取得し、得られたユーザの各品類における趣味重み付けベクトルをソートモジュール５に送る。

ソートモジュール５は、ユーザ閲覧行為重み付け算出モジュール４から送られた各ユーザのある品類における趣味重み付けベクトル（ｗ₁，ｗ₂，…，ｗ_n，）によって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し（すなわち［数２］）、ユーザの閲覧されなかった各画像に対応する得点を取得し、そして、得られた得点に従ってソートし、Ｔｏｐ−Ｎを選択して入庫する。全ての品類に対して上記ステップを行う。

捜索呼び出しモジュール６において、以下の２つの方式を選択することができる：
（１）既存の捜索結果に応じて、各商品に対応する画像の得点を調べて、最後、捜索結果に対してソートして出力する；あるいは、
（２）捜索ワードの語意を分析した後、ある品類に対応させ、この品類のＴｏｐ−Ｎ画像に対応する商品を個性化捜索結果とする。

上記本発明の商品画像特徴に基づく個性化捜索装置１によれば、画像の深層の語意特徴を組み合わせることによって、ユーザの閲覧行為によって、個性化捜索を行うことで、ユーザの多次元における体験値を向上させることができる。

以下、図２によって本発明に係る商品画像特徴に基づく個性化捜索方法を説明する。
図２は、本発明に係る商品画像特徴に基づく個性化捜索方法を示すフローチャートである。

図２に示すように、まず、特徴抽出ステップＳ１において、以下の２つのサブステップを含む：
（１）ニューラルネットモデルを利用して、品類毎に画像の抽象語意特徴ベクトルを抽出する；
（２）抽出した画像の深層の特徴ベクトルを品類画像算出ステップに送る。

画像から抽出された抽象語意特徴ベクトルが、多次元分布において不均一であるため、一部のズレ量の過大による影響を避けるために、多次元分布ごとに正規化処理を行う必要がある。
このため、品類画像算出ステップＳ２において、以下の２つのサブステップを含む：
（１）次元の抽象語意特徴ベクトルに対して、当該次元における平均値μ_i及び分散σ_iをそれぞれ算出する；
（２）画像の抽象語意特徴ベクトルについて、各次元毎に正規化処理を行う：

そして、ユーザ閲覧行為重み付け算出ステップＳ３において、主に、以下の３つのサブステップを含む：
（１）ユーザの誤りクリックによる影響を避けるように閲覧行為に対して重複除去処理を行う；
（２）ユーザが閲覧した全ての対応画像に対して、品類毎に正規化の特徴ベクトルを抽出して加算し、ユーザの各品類における趣味重み付けベクトルを取得する；
（３）得られたユーザの各品類における趣味重み付けベクトルをソートステップに送る。

次に、ソートステップＳ４において、各ユーザのある品類における趣味重み付けベクトルによって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し、ユーザの閲覧されなかった各画像に対応する得点を取得し、そして、得られた得点に従ってソートし、Ｔｏｐ−Ｎを選択して入庫する。全ての品類に対して上記ステップを行う。

次に、捜索呼び出しステップＳ５において、２つの方式を選択することができる：
（１）既存の捜索結果に応じて、各商品に対応する画像の得点を調べて、最後、捜索結果に対してソートして出力する；あるいは、
（２）捜索ワードの語意を分析した後、ある品類に対応させ、この品類のＴｏｐ−Ｎ画像に対応する商品を個性化捜索結果とする。

上記本発明の商品画像特徴に基づく個性化捜索方法によれば、画像の深層の語意特徴を組み合わせることによって、ユーザの閲覧行為によって、個性化捜索を行い、ユーザの多次元における体験値を向上させることができる。

なお、趣味重み付けベクトルの算出方式の差異は、最後の結果に影響し、ユーザの閲覧周期の差異、商品に対するユーザの購入要望の差異も、最後の結果に影響する。

上記した発明を実施するための形態において、本発明の目的、技術案及び有益な効果をさらに詳細に説明した。これらの内容は、本発明を実施するための形態のみであり、本発明を制限するものではなく、本発明の主旨及び原則内における全ての補正、置換え、改良などは、いずれも本発明の保護範囲に含まれると理解すべきである。

Claims (10)

1. ニューラルネットモデルによって、品類毎に画像の抽象語意特徴ベクトルを抽出する特徴抽出モジュールであって、画像からＨＯＧ特徴を抽出し、画像を諧調化し、画像における各画素の勾配を算出し、画像を８×８個の小ブロックに分割し、小ブロック毎の勾配ヒストグラムを算出してこの画像ブロックのディスクリプタを形成し、２×２個の小ブロックを直列に接続して１６個の大ブロックを取得し、各大ブロックのディスクリプタが小ブロックのディスクリプタの直列接続であり、画像全体のＨＯＧ特徴が１６個の大ブロックのディスクリプタの直列接続であり、ＨＯＧ特徴をニューラルネットの入力信号とし、ニューラルネットの出力信号を画像の特徴ベクトルとする特徴抽出モジュールと、
   前記特徴抽出モジュールから送られた画像の抽象語意特徴ベクトルを受信し、各次元の抽象語意特徴ベクトルに対して、当該次元における平均値及び分散をそれぞれ算出し、かつ次元毎に正規化処理を行う品類画像算出モジュールと、
   ユーザが閲覧した全ての対応画像に対して、品類毎に相応正規化した前記抽象語意特徴ベクトルを抽出して加算し、当該ユーザの各品類における趣味重み付けベクトルを取得するユーザ閲覧行為重み付け算出モジュールと、
   前記ユーザ閲覧行為重み付け算出モジュールから送られた各ユーザのある品類における前記趣味重み付けベクトルによって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し、ユーザの閲覧されなかった各画像に対応する得点を取得し、そして得られた得点に従ってソートし、得点が高い順に所定枚の画像を選択して入庫するソートモジュールと、
   前記ソートモジュールによるソート値の結果に従って、個性化捜索を行う捜索呼び出しモジュールと、
   を含むことを特徴とする商品画像特徴に基づく個性化捜索装置。
2. 前記捜索呼び出しモジュールは、既存の捜索結果に応じて、各商品に対応する画像の得点を調べて、最後、捜索結果に対してソートして出力することを特徴とする請求項１に記載の商品画像特徴に基づく個性化捜索装置。
3. 前記捜索呼び出しモジュールは、ユーザの捜索ワードの語意を分析した後、ある品類に対応させ、この品類における得点が高い順に所定枚の画像を選択し、選択した画像に対応する商品を個性化捜索結果とすることを特徴とする請求項１に記載の商品画像特徴に基づく個性化捜索装置。
4. 前記平均値をμ_iとし、前記分散をσ_iとするとき、前記正規化処理の結果は、
   

   

   である
   ことを特徴とする請求項１〜３のいずれか１項に記載の商品画像特徴に基づく個性化捜索装置。
5. 前記ユーザ閲覧行為重み付け算出モジュールは、閲覧行為に対して重複除去処理を行うことを特徴とする請求項１〜３のいずれか１項に記載の商品画像特徴に基づく個性化捜索装置。
6. ニューラルネットモデルによって、品類毎に画像の抽象語意特徴ベクトルを抽出する特徴抽出ステップと、
   各次元の前記抽象語意特徴ベクトルに対して、当該次元における平均値及び分散をそれぞれ算出し、かつ次元毎に正規化処理を行う品類画像算出ステップと、
   ユーザが閲覧した全ての対応画像に対して、品類毎に相応正規化した前記抽象語意特徴ベクトルを抽出して加算し、当該ユーザの各品類における趣味重み付けベクトルを取得するユーザ閲覧行為重み付け算出ステップと、
   各ユーザのある品類における前記趣味重み付けベクトルによって、当該品類におけるユーザの閲覧されなかった画像に対応する特徴ベクトルを内積し、ユーザの閲覧されなかった各画像に対応する得点を取得し、そして得られた得点に従ってソートし、得点が高い順に所定枚の画像を選択して入庫するソートステップと、
   前記ソートステップによるソート値の結果に従って、個性化捜索を行う捜索呼び出しステップと、
   を含むことを特徴とする商品画像特徴に基づく個性化捜索方法。
7. 前記捜索呼び出しステップにおいて、既存の捜索結果に応じて、各商品に対応する画像の得点を調べて、最後、捜索結果に対してソートして出力することを特徴とする請求項６に記載の商品画像特徴に基づく個性化捜索装置。
8. 前記捜索呼び出しステップにおいて、ユーザの捜索ワードの語意を分析した後、ある品類に対応させ、この品類における得点が高い順に所定枚の画像を選択し、選択した画像に対応する商品を個性化捜索結果とすることを特徴とする請求項６に記載の商品画像特徴に基づく個性化捜索装置。
9. 前記平均値をμ_iとし、前記分散をσ_iとするとき、前記正規化処理の結果は、
   

   

   である
   ことを特徴とする請求項６〜８のいずれか１項に記載の商品画像特徴に基づく個性化捜索装置。
10. 前記ユーザ閲覧行為重み付け算出ステップにおいて、閲覧行為に対して重複除去処理を行うことを特徴とする請求項６〜８のいずれか１項に記載の商品画像特徴に基づく個性化捜索装置。

Images