JP2021099791A - 直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム - Google Patents

直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2021099791A
JP2021099791A JP2020189584A JP2020189584A JP2021099791A JP 2021099791 A JP2021099791 A JP 2021099791A JP 2020189584 A JP2020189584 A JP 2020189584A JP 2020189584 A JP2020189584 A JP 2020189584A JP 2021099791 A JP2021099791 A JP 2021099791A
Authority
JP
Japan
Prior art keywords
user
item
data
neural network
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020189584A
Other languages
English (en)
Other versions
JP7267985B2 (ja
Inventor
ラミン・ラジパーチコライ
Raziperchikolaei Ramin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Publication of JP2021099791A publication Critical patent/JP2021099791A/ja
Application granted granted Critical
Publication of JP7267985B2 publication Critical patent/JP7267985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2213/00—Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/054—Expert systems, e.g. neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ユーザデータ及びアイテムデータからアイテムに関して予測されるユーザのレイティングを、直接学習するニューラルネットワークアーキテクチャを用いて商品を推奨するシステム、方法及びコンピュータプログラムを提供する。【解決手段】方法は、符号化用ニューラルネットワークの組を、ユーザデータ及びアイテムデータの各入力ソースを低次元ベクトル空間に対応付ける。各符号化用ニューラルネットワークの低次元ベクトル出力を組み合わせて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現を作成する。予測用ニューラルネットワークは、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現に基づいて、アイテムに関するユーザのレイティングを予測できるようにトレーニングし、ユーザの、アイテムに関して予測されたレイティングに基づいて対象ユーザにアイテムを推奨する。【選択図】図３

Description

本発明は概して推奨システムに関し、より具体的には、推奨システムにとってより効率的なニューラルネットワーク構造に関する。
推奨システムの目標は、ユーザが、多くのアイテムの集まりの中からユーザ個人の好みに最も合うアイテムを特定するのを手助けすることにある。ハイブリッド型の推奨システムは、ユーザのプロファイル情報と、アイテムの情報と、過去のユーザのレイティングとを用いて推奨を行う。
推奨システムによっては、ニューラルネットワークを用いて、アイテムに関するユーザのレイティングを予測する。ニューラルネットワークは、アイテムのデータ及びユーザのデータを予測に関係のあるものに圧縮し、この圧縮されたデータを用いて予測を行う。言い換えると、ニューラルネットワークは、レイティングの予測につながるユーザの特性及びアイテムの特性を特定するものである。ニューラルネットワークは、当該ネットワークが所望の出力を得ることを助ける目的関数を最適化することによりトレーニングされる。
図１に、推奨システムの最も一般的なニューラルネットワークのアーキテクチャを示す。このアーキテクチャは、２つのオートエンコーダ（自己符号化器）（１１０、１２０）を利用し、一方はユーザデータの圧縮された表現（１３０）を生成するためのものであり、他方はアイテムデータの圧縮された表現（１３５）を生成するためのものである。この圧縮された表現の生成は、ニューラルネットワークのエンコーダ（１２０ａ、１２０ｂ、１２５ａ、１２５ｂ）とニューラルネットワークのデコーダ（１４０ａ、１４０ｂ、１４５ａ、１４５ｂ）との双方の利用を伴う。オートエンコーダにおいて、エンコーダは入力を低次元表現に対応付けて、デコーダはその表現を取り込んで入力を復元する。オートエンコーダをトレーニングすることで、低次元のユーザ表現あるいはアイテム表現が得られるが、アイテムに関するユーザのレイティングを予測することはできない。
この問題を解決するために、２つの行列が導入される。１つは、全てのユーザの低次元表現を有する行列（行列Ｕ）であり、もう１つは、全てのアイテムの低次元表現を有する行列（行列Ｖ）である。これらの２つの行列は、ユーザ表現及びアイテム表現のドット積がレイティングを近似するものとなるように学習される。オートエンコーダのトレーニングにおいて、エンコーダの出力は、これらの２つのユーザ及びアイテムの表現行列に近づくように制約される。オートエンコーダに基づく推奨システムは、行列の変数と、ハイパーパラメータと、エンコーダ及びデコーダの関数とを含む目的関数を用いてトレーニングされる。オートエンコーダに基づく推奨システムの目的関数は、以下のように記述することができる。
Figure 2021099791
 ただし、
Ｌ（）は復元に伴う損失であり、
ｇｕはユーザデータのエンコーダであり、
ｆｕはユーザデータのデコーダであり、
ｇｉはアイテムデータのエンコーダであり、
ｇｕはアイテムデータのデコーダであり、
Ｕは、全てのユーザの低次元表現を有する行列であり、
Ｖは、全てのアイテムの低次元表現を有する行列である。
Figure 2021099791
 は、利用可能な、ｍ人のユーザ及びｎ個のアイテムのレイティングを含む。ただし、Ｒｊｋは、ユーザｊの、アイテムｋに関するレイティングである。
θは、２つのオートエンコーダの全てのパラメータを含み、
λ１、λ２、及びλ３はハイパーパラメータである。
この構造を用いることには不利な点がいくつかある。第１に、最適化が難しく、多くの時間を要する。その理由は、ユーザ行列及びアイテム行列（すなわち、行列Ｕ及び行列Ｖ）が非常に大きく、行列とニューラルネットワークのパラメータとの間の交互の最適化が必要となるからである。第２に、これらの行列変数を用いるためには、目的関数に３つのハイパーパラメータ（すなわち、λ１、λ２、及びλ３）が必要となり、これらの設定が難しい可能性がある。第３に、オートエンコーダがエンコーダ及びデコーダの双方を有し各々が独自のパラメータを有するということは、効率的で正確な予測のために求められるものよりも多くの数のニューラルネットワークパラメータが存在することを意味する。
本開示は、ニューラルネットワークを用いて商品を推奨するシステム、方法、及びコンピュータプログラムに関する。この推奨システムは、ユーザに関係したデータの１つ以上のソースと、アイテムに関係したデータの１つ以上のソースとから、ユーザの、アイテムに関して予測されるレイティングを直接、学習するニューラルネットワークアーキテクチャを用いる。符号化用ニューラルネットワークの組は、入力されたユーザデータ及びアイテムデータの各ソースを低次元ベクトル空間へと対応付ける。符号化用ニューラルネットワークの個々の低次元ベクトルの出力が組み合わされて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現が作成される。予測用ニューラルネットワークは、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現に基づいて、ユーザの、アイテムに関するレイティングを予測できるようにトレーニングされる。このシステムは、ユーザの、アイテムに関して予測されたレイティングに基づいてアイテムをユーザに推奨する。
図１のニューラルネットワーク構造を用いる推奨システムとは異なり、本明細書に開示される方法は、ニューラルネットワーク構造にデコーダの使用を必要としない。その結果、開示される方法によれば、ネットワークパラメータの数がより少なくなる結果、収束はより速くなる。また、本明細書に開示される方法では、従来の方法におけるユーザの表現及びアイテムの表現を有する大きな行列（例えば、図１における行列Ｕ及びＶ）の計算及び最適化が必要とされない。これは、全ての変数のエンドツーエンドのトレーニングをもたらし、このトレーニングは、従来の処理における交互の最適化手法よりも高速かつ容易である。これにより、ニューラルネットワークをトレーニングする目的関数に含まれるハイパーパラメータの数をより少なくする（すなわち、従来技術の３つとは異なり、１つとする）こともできる。
１つの実施の形態において、直接型ニューラルネットワーク構造を用いてユーザに商品を推奨する方法は、
トレーニングフェーズに関して、
（ａ）アイテムに関する既知のレイティングを有するトレーニング用データセットにおけるトレーニング用ユーザについて、前記トレーニング用ユーザのユーザデータを有する１つ以上の入力ベクトルと、アイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
（ｂ）符号化用ニューラルネットワークの組を用いて、各入力ベクトルを低次元ベクトル空間へと対応付けて、ユーザデータの１つ以上の低次元ベクトルと、アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる符号化用ニューラルネットワークが用いられ、ユーザの低次元ベクトル及びアイテムの低次元ベクトルは、対応する入力ベクトルに比べて次元が低い、ステップと、
（ｃ）１つ以上のユーザの低次元ベクトル及び１つ以上のアイテムの低次元ベクトルに基づいて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現を作成するステップと、
（ｄ）予測用ニューラルネットワークを用いて、トレーニング用のユーザデータ及びアイテムデータの単一の多次元ベクトル表現に基づき、トレーニング用ユーザの、アイテムについて予測されるレイティングを計算するステップと、
（ｅ）トレーニング用ユーザの、アイテムについて予測されたレイティングと、トレーニング用ユーザの、アイテムについての既知のレイティングとの間の誤差値を計算するステップと、
（ｆ）トレーニング用データセットにおける複数のトレーニング用ユーザに対してステップ（ａ）〜（ｅ）を実行するステップと、
（ｇ）複数のトレーニング用ユーザの誤差値が最小となるように、符号化用ニューラルネットワーク及び予測用ニューラルネットワークのパラメータを更新するステップと、
（ｈ）複数回にわたりステップ（ａ）〜（ｇ）を繰り返して、符号化用ニューラルネットワーク及び予測用ニューラルネットワークをトレーニングするステップと
を実行するステップと、
予測及び推奨フェーズに関して、
（ｉ）テスト対象ユーザのユーザデータを有する１つ以上の入力ベクトルと、テスト対象ユーザによって評価されていないアイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
（ｊ）符号化用ニューラルネットワークの組を用いて、各入力ベクトルを低次元ベクトル空間へと対応付けて、ユーザデータの１つ以上の低次元ベクトルと、アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる符号化用ニューラルネットワークが用いられ、ユーザの低次元ベクトル及びアイテムの低次元ベクトルは、対応する入力ベクトルに比べて次元が低い、ステップと、
（ｋ）１つ以上のユーザの低次元ベクトル及び１つ以上のアイテムの低次元ベクトルに基づいて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現を作成するステップと、
（ｌ）予測用ニューラルネットワークを用いて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現に基づき、テスト対象ユーザによるアイテムについての予測されるレイティングを計算するステップと、
（ｍ）テスト対象ユーザと、テスト対象ユーザによって評価されていない複数のアイテムとに対してステップ（ｉ）〜（ｌ）を繰り返すステップと、
（ｎ）テスト対象ユーザの、複数のアイテムについて予測されたレイティングを用いて、１つ以上のアイテムをテスト対象ユーザに推奨するステップと
を実行するステップと
を含む。
従来の推奨システムにおいて用いられるニューラルネットワークのアーキテクチャを示す図である。 アイテムのユーザレイティングを予測できるようにニューラルネットワークシステムをトレーニングするための、１つの実施形態による方法を示すフローチャートである。 アイテムのユーザレイティングを予測できるようにニューラルネットワークシステムをトレーニングするための、１つの実施形態による方法を示すフローチャートである。 複数のアイテムに関するユーザのレイティングを予測し、これらのレイティングに基づいてユーザにアイテムを推奨するための、１つの実施形態による方法を示すフローチャートである。 推奨システムのための一例としての直接型ニューラルネットワークアーキテクチャのブロック図である。 一例としての推奨システムのブロック図である。
本開示は、ニューラルネットワークを用いて商品を推奨するためのシステム、方法、及びコンピュータプログラムに関する。本明細書に開示される方法は、コンピュータシステム（「本システム」）によって実行される。
以下でより詳細に説明するように、本システムは、ユーザ及びアイテムに関係したデータから、そのアイテムに関して予測されるユーザのレイティングを直接、学習するニューラルネットワークのアーキテクチャを用いる。このプロセスは、本システムが、表現をデコードする必要がなく、全てのユーザ及び全てのアイテムの表現を有する非常に大きな行列のドット積を計算することもなく、特定のユーザ及び特定のアイテムに関係したデータを符号化し、符号化されたデータから予測を出力するという点において、直接的である。図４に、ニューラルネットワークアーキテクチャの一例を示す。本システムは、予測されたレイティングを用いて、ユーザに商品を推奨する。
本方法は、トレーニングフェーズと予測及び推奨フェーズとを含む。トレーニングフェーズにおいて、本システムのニューラルネットワークは、ユーザデータ及びアイテムデータの符号化された表現に基づいて、アイテムに関するユーザのレイティングを予測できるようにトレーニングされる。予測及び推奨フェーズにおいては、トレーニングがなされたニューラルネットワークを用いてユーザのレイティングが予測され、本システムは、予測されたレイティングを用いて商品を推奨する。これらのフェーズは、種々のエンティティによって実行することができる（例えば、１つのエンティティは、ニューラルネットワークをトレーニングすることができ、別のエンティティは、トレーニングがなされたネットワークを用いて商品の推奨を行うことができる）。これらのフェーズの各々を以下に説明する。
１．トレーニングフェーズ
１．１ 入力
図２Ａ及び図２Ｂに、アイテムに関するユーザのレイティングを予測できるよう本システムをトレーニングする方法を示す。本方法を、図４のニューラルネットワークアーキテクチャに関して説明する。本システムは、アイテムに関する既知のトレーニング用のユーザのレイティングを含む、トレーニング用ユーザデータ及びトレーニング用アイテムデータを有するトレーニング用データセットを取得する（ステップ２０５）。トレーニング用データセットは、１つ以上のユーザデータソース及び１つ以上のアイテムデータソース（例えば、図４のデータソース４０５ａ〜４０５ｆを参照）を有することができる。本システムは、このトレーニング用データセットから、トレーニング用ユーザのユーザデータを有する１つ以上の入力ベクトルと、トレーニング用ユーザによる既知のレイティングを有するアイテムのアイテムデータを有する１つ以上の入力ベクトル（例えば、図４の入力ベクトル４１０ａ〜４１０ｆを参照）とを取得する（ステップ２１０ａ、２１０ｂ）。
１つの実施形態では、ユーザデータは、ユーザの、アイテムに関する過去のレイティングとユーザのプロファイル情報とを含み、アイテムデータは、他のユーザによる、アイテムの過去のレイティングとアイテムのプロファイルデータとを含む。ユーザのプロファイルデータは、ユーザの年齢と、ユーザの所在地と、ユーザの性別と、ユーザの職業と、ユーザの所得の範囲と、ユーザの民族性とのうちの１つ以上を含むことができる。ユーザデータは、ユーザが提供することができるか、本システムが機械学習により導き出すことができるか、あるいはその両方でもよい。アイテムのプロファイルデータは、アイテムの説明と、アイテムの価格と、アイテムのカテゴリと、アイテムの画像とのうちの１つ以上を含むことができる。図４に示すように、各データソースは、別々の入力ベクトルに対応するものとすることができる。
入力ソースの数は一般に、レイティングの予測の精度と、予測に関連した計算時間及び計算コストとに比例する。言い換えると、入力及びユーザデータソースが多いほど、レイティングの予測はより正確になる可能性が高い。他方、入力ソースが多いほど、予測の実行に関連する計算時間及びコストはより増加する。
ユーザのデータ及びアイテムのデータをベクトルとしてどのように表すことができるのかの例を以下に示す。
ユーザの性別
ユーザのプロファイル情報の１つのタイプを、性別とすることができる。この例では、ユーザ＃０は女性であり、ユーザ＃０の性別に対応する入力ベクトルは以下のとおりである。
Figure 2021099791
商品のカテゴリ
アイテムのプロファイルデータの１つのタイプは、アイテムのカテゴリとすることができる。この例では、全部でｎ個のカテゴリがあり（ただし、ｎはこの例では３よりも大きい整数である）、アイテム＃０はカテゴリ＿２に属する。アイテム＃０のカテゴリのプロファイル情報に対応する入力ベクトルは、以下のとおりである。
Figure 2021099791
ユーザの過去のレイティング
この例は、ユーザの過去のレイティングをベクトルとしてどのように表すことができるのかを示す。簡単にするために、この例では、５つのアイテムとしてアイテム＿１からアイテム＿５があるものとする。第ｉ番目のユーザの過去のレイティングは、以下のとおりである。
Figure 2021099791
アイテム＿２及びアイテム＿４に関するユーザｉのレイティングは、未知であることに留意されたい。ユーザｉの過去のレイティングに対応する入力ベクトルは、以下のように５次元のベクトルである。
Figure 2021099791
このベクトルは、５つのアイテムがあることから５次元である。このベクトルの第１のインデックスはアイテム＿１のレイティングを含み、第２のインデックスはアイテム＿２のレイティングを含み、以下、他のインデックスについても同様である。未知のレイティングを有するアイテムについては、当該インデックスに０が挿入される。
１．２ 入力の低次元空間への対応付け
本システムは、第１のニューラルネットワークのエンコーダの組を用いて、各入力ベクトルを低次元（入力ベクトル空間に比べて低い次元）のベクトル空間へと対応付けて、アイテムデータの１つ以上の低次元ベクトル及びユーザデータの１つ以上の低次元ベクトルを得る（例えば、図４におけるニューラルネットワークのエンコーダ４２０ａ〜４２０ｆ、低次元ユーザベクトル４３０ａ〜４３０ｃ、及び低次元アイテムベクトル４３０ｄ〜４３０ｆを参照）（ステップ２２０）。入力ベクトルごとに別々のニューラルネットワークエンコーダがある。
ニューラルネットワークエンコーダ４２０は、多次元入力ベクトルを受け付けることができるとともにベクトルの低次元表現を生成することのできる任意のニューラルネットワークとすることができる。例えば、ニューラルネットワークエンコーダは、多層パーセプトロン、長・短期ネットワーク（ＬＳＴＭ）、又は畳込みネットワークとすることができる。
１つ以上の低次元ユーザベクトル及び１つ以上の低次元アイテムベクトルが組み合わされて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現が作成される（ステップ２３０）。これを、図４の中間出力ベクトル４４０として示す。１つの実施形態では、中間出力ベクトルは、全ての低次元ユーザベクトル及び低次元アイテムベクトルを互いに連結することによって作られる。低次元ユーザベクトル及び低次元アイテムベクトルは、トレーニングフェーズ及び予測フェーズの双方において順序が同じであれば、任意の順序で連結することができる。他の実施形態では、低次元ユーザベクトル及び低次元アイテムベクトルは、連結とエントリごとの積との組み合わせ等の、より複雑な方法で組み合わされる。これにより、計算時間及び計算リソースが増加する場合があるものの、予測の精度を高めることができる。
１．３ ユーザのレイティングの予測
続いて、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現は、別のニューラルネットワーク（例えば、図４における予測用ニューラルネットワーク４５０を参照）に入力される（ステップ２４０）。このニューラルネットワークは、ユーザデータ及びアイテムデータの多次元ベクトル表現を、アイテムについて予測されるユーザのレイティングへと対応付けるものである。本明細書では、このニューラルネットワークを「予測用ニューラルネットワーク」と呼ぶ。予測用ニューラルネットワークは、アイテムに関して予測されるユーザのレイティングを出力する。
予測用ニューラルネットワーク４５０は、多次元ベクトル入力を受け付けることができるとともにユーザのレイティングの予測となるスカラ値を出力することができる任意のニューラルネットワーク（例えば、多層パーセプトロン）とすることができる。
１．４ ニューラルネットワークのパラメータの更新
本システムは、トレーニング用ユーザの、アイテムに関して予測されたレイティングと、トレーニング用ユーザの、同アイテムに関する既知のレイティングとの間の誤差値を計算する（ステップ２５０）。例えば、本システムは、以下のように、予測されたレイティングと実際のレイティングとの間の平均二乗誤差（mean square error）を計算することができる。
Figure 2021099791
 ただし、
ｍは、観測値（observation）の個数であり、
ｈ（ｘ）は、予測された応答であり、
ｙは、目標となる応答である。
誤差値の別の選択肢として、実際の応答と予測された応答との間の平均絶対誤差が挙げられる。
本システムは、トレーニング用データベース内のトレーニング用ユーザの全て又はその一部についてステップ２１０〜２５０を繰り返す（ステップ２６０）。本システムは、トレーニング用ユーザの集合あるいはその一部の誤差値が最小となるように符号化用ニューラルネットワーク及び予測用ニューラルネットワークのパラメータを更新する（ステップ２７０）。１つの実施形態では、ニューラルネットワークをトレーニングするために用いられる最適化関数は、以下のとおりである。
Figure 2021099791
 ただし、
θは、符号化用ニューラルネットワーク及び予測用ニューラルネットワークの全てのパラメータを含み、
Ｒｊｋは、ユーザｊの、アイテムｋに関するレイティングであり、
ｚｊｋは、ユーザデータ及びアイテムデータの単一の多次元表現（すなわち、符号化用ニューラルネットワークの出力を連結したもの）であり、
ｈ（）は、予測用ニューラルネットワークであり、
λ１はハイパーパラメータである。
本システムは、複数回にわたりステップ２１０〜２７０を繰り返す（ステップ２８０）。各反復につき、トレーニング用ユーザの同じ集合又は異なった部分集合を用いることができる。１つの実施形態では、これらのステップは、収束するまで繰り返される。別の実施形態では、これらのステップは、一定の反復回数（例えば、１０００回）にわたり繰り返される。
２．予測及び推奨
図３に、複数のアイテムに関してユーザのレイティングを予測し、これらのレイティングに基づいてアイテムをユーザに推奨する方法を示す。本方法は、前述のとおり、トレーニングがなされた符号化用ニューラルネットワーク及び予測用ニューラルネットワークを用いる。ステップ３１０〜３４０は、テスト対象ユーザ（すなわち、トレーニング用ユーザではないユーザ）と、このテスト対象ユーザによって評価されていないアイテムとに対して行われることを除いて、図２Ａにおけるステップ２１０〜２４０と同じである。具体的には、テスト対象ユーザのデータを有する１つ以上の入力ベクトルとアイテムデータを有する１つ以上のベクトルとが、符号化用ネットワーク内に入力され、テスト対象ユーザのデータに関する１つ以上の低次元ベクトルとアイテムデータに関する１つ以上の低次元ベクトルとが得られる（ステップ３１０及び３２０）。このフェーズでは、トレーニングフェーズと同じタイプのユーザデータ及びアイテムデータが用いられる。テスト対象ユーザ及びアイテムの低次元のベクトルを用いて、テスト対象ユーザのデータ及びアイテムデータの、単一の多次元ベクトル表現が作成される（ステップ３３０）。この単一の多次元ベクトルが予測用ニューラルネットワークに入力される。予測用ニューラルネットワークは、予測された、テスト対象ユーザによるアイテムのレイティングを出力する（ステップ３４０及び３５０）。
続いて、本システムは、テスト対象ユーザと、同テスト対象ユーザによって評価されていない複数のアイテムの各々とについて、上記ステップ（すなわち、ステップ３１０〜３５０）を繰り返す（ステップ３６０）。本システムは、予測されたレイティングを用いて、１つ以上のアイテムをテスト対象ユーザに推奨する（ステップ３７０）。例えば、本システムは、テスト対象ユーザについて予測された上位ｎ（例えば、ｎ＝５）個のレイティングを有するアイテムを推奨することができる。
３．利点
図１のニューラルネットワーク構造を用いる推奨システムとは異なり、図２〜図４を参照しながら開示された方法は、ニューラルネットワーク構造にデコーダを必要としない。そのため、開示された方法を用いれば、ネットワークパラメータの数が少なくなることから、収束がより速くなる。また、本明細書に開示された方法は、従来の方法における、ユーザの表現及びアイテムの表現を有する大きな行列（例えば、図１における行列Ｕ及びＶ）の計算及び最適化を必要としない。これは、全ての変数のエンドツーエンドのトレーニングをもたらし、このトレーニングは、従来の処理における交互の最適化手法よりも高速かつ容易である。これにより、ニューラルネットワークをトレーニングするための目的関数に含まれるハイパーパラメータの数をより少なくする（すなわち、従来技術の３つとは異なり、１つとする）こともできる。
４．推奨システムの例
図５に、一例として、推奨システムのソフトウェアアーキテクチャを示す。推奨システム５００は、複数のデータソース５１０、５２０からユーザデータ及びアイテムデータを受け付ける。予測モジュール５３０は、アイテムに関するユーザのレイティングを予測する。予測モジュールは、符号化用ニューラルネットワーク５５０と、ユーザデータ及びアイテムデータの単一の多次元ベクトル表現を作成する単一ベクトル作成ユニット５６０と、予測用ニューラルネットワーク５７０とを有する。トレーニングモジュール５８０は、図２Ａ及び図２Ｂの方法に従って予測モジュール５３０のトレーニングを行う。予測モジュール５３０は、図３の方法に基づいて予測を行う。推奨モジュール５４０は、予測されたユーザのレイティングを受け付け、その予測に基づいてユーザにアイテムを推奨する。例えば、推奨モジュールは、適用可能な任意のビジネスルールにおけるファクタリングの後に、予測された上位ｎ個のレイティングに関連する商品を選択することができる。当業者であれば、推奨システムが、本明細書における開示とは関係しない他のモジュールを有することができることを理解するであろう。
１つの実施形態では、符号化用ニューラルネットワーク及び予測用ネットワークの各々は、非線形な活性化関数を有する多層ネットワークである（すなわち、非線形関数がネットワークの各ニューロンの出力に適用され、これによって、ニューラルネットワークは入力の、複雑で非線形な関数となる）。別の実施形態では、符号化用ニューラルネットワーク及び予測用ニューラルネットワークの各々は、線形（恒等）活性化関数を有する単一の層を含む（すなわち、各ニューラルネットワークの出力は、入力を線形変換したものである）。線形な活性化関数を用いることにより、非線形な活性化関数を有するネットワークに比べて、精度は低くなるものの、予測に関連した計算時間及び計算コストが削減される。
５．一般的事項
図１〜図５に関して説明した方法は、ソフトウェアで具現化され、ソフトウェアを実行する（１つ以上の計算デバイスを備える）コンピュータシステムによって実行される。当業者であれば、コンピュータシステムが、ソフトウェア命令を記憶する１つ以上の物理メモリユニット、ディスク、又は他の物理的なコンピュータ可読記憶媒体と、これらのソフトウェア命令を実行する１つ以上のプロセッサとを有することを理解するであろう。当業者であれば、コンピュータシステムはスタンドアローンとすることもできるし、サーバとしてコンピュータネットワークに接続することもできることを理解するであろう。
本発明の趣旨又は不可欠な特徴から逸脱することなく、本発明が他の具体的な形態で具現化できることは当業者に理解されよう。したがって、上記の開示は、特許請求の範囲により定められる本発明の範囲の例示を目的としたものであり、限定するものではない。

Claims (20)

  1. ニューラルネットワークを用いて１つ以上のアイテムをユーザに自動的に推奨するための、コンピュータシステムによって実行される方法であって、
    トレーニングフェーズに関して、
    （ａ）アイテムに関する既知のレイティングを有するトレーニング用データセットにおけるトレーニング用ユーザについて、前記トレーニング用ユーザのユーザデータを有する１つ以上の入力ベクトルと、前記アイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
    （ｂ）符号化用ニューラルネットワークの組を用いて入力ベクトルの各々を低次元ベクトル空間に対応付けて、前記ユーザデータの１つ以上の低次元ベクトルと、前記アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる前記符号化用ニューラルネットワークが用いられ、前記ユーザの低次元ベクトル及び前記アイテムの低次元ベクトルは、対応する前記入力ベクトルに比べて次元が低い、ステップと、
    （ｃ）１つ以上の前記ユーザの低次元ベクトルと１つ以上の前記アイテムの低次元ベクトルとに基づいて、前記ユーザデータ及び前記アイテムデータの単一の多次元ベクトル表現を作成するステップと、
    （ｄ）予測用ニューラルネットワークを用いて、前記トレーニング用のユーザデータ及びアイテムデータの前記単一の多次元ベクトル表現から、前記トレーニング用ユーザによる、前記アイテムについての予測されるレイティングを計算するステップと、
    （ｅ）前記トレーニング用ユーザの、前記アイテムについて予測されたレイティングと、前記トレーニング用ユーザの、前記アイテムについての既知のレイティングとの間の誤差値を計算するステップと、
    （ｆ）前記トレーニング用データセットにおける複数のトレーニング用ユーザについて前記ステップ（ａ）〜（ｅ）を行うステップと、
    （ｇ）前記複数のトレーニング用ユーザの誤差値が最小となるように、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークのパラメータを更新するステップと、
    （ｈ）前記ステップ（ａ）〜（ｇ）を複数回にわたり繰り返して、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークをトレーニングするステップと
    を行うステップと、
    予測及び推奨フェーズに関して、
    （ｉ）テスト対象ユーザのユーザデータを有する１つ以上の入力ベクトルと、前記テスト対象ユーザによって評価されていないアイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
    （ｊ）前記符号化用ニューラルネットワークの組を用いて入力ベクトルの各々を低次元ベクトル空間に対応付けて、前記ユーザデータの１つ以上の低次元ベクトルと、前記アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる前記符号化用ニューラルネットワークが用いられ、前記ユーザの低次元ベクトル及び前記アイテムの低次元ベクトルは、対応する入力ベクトルに比べて次元が低い、ステップと、
    （ｋ）１つ以上の前記ユーザの低次元ベクトル及び１つ以上の前記アイテムの低次元ベクトルに基づいて、前記ユーザデータ及び前記アイテムデータの単一の多次元ベクトル表現を作成するステップと、
    （ｌ）前記予測用ニューラルネットワークを用いて、前記ユーザデータ及び前記アイテムデータの前記単一の多次元ベクトル表現から、前記テスト対象ユーザによる前記アイテムについての予測されるレイティングを計算するステップと、
    （ｍ）前記テスト対象ユーザと、前記テスト対象ユーザによって評価されていない複数のアイテムとに関して、前記ステップ（ｉ）〜（ｌ）を繰り返すステップと、
    （ｎ）前記テスト対象ユーザの、前記複数のアイテムについて予測されたレイティングを用いて、１つ以上のアイテムを前記テスト対象ユーザに推奨するステップと
    を行うステップと
    を含む方法。
  2. 前記ユーザデータは、ユーザの過去のレイティングと、ユーザのプロファイルデータとを含み、前記アイテムデータは、前記アイテムについて別のユーザから受け付けられた過去のレイティングと、アイテムのプロファイルデータとを含む、請求項１に記載の方法。
  3. 前記ユーザのプロファイルデータは、ユーザの年齢と、ユーザの所在地と、ユーザの性別と、ユーザの職業と、ユーザの所得の範囲とのうちの１つ以上を含む、請求項２に記載の方法。
  4. 前記アイテムのプロファイルデータは、アイテムの説明と、アイテムの価格と、アイテムのカテゴリと、アイテムの画像とのうちの１つ以上を含む、請求項２に記載の方法。
  5. 前記誤差値は、前記トレーニング用ユーザの予測されたレイティングと前記トレーニング用ユーザの既知のレイティングとの平均二乗誤差であり、
    前記ステップ（ｇ）において、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークのパラメータは、前記複数のトレーニング用ユーザについての前記平均二乗誤差が最小となるように調整される、請求項１に記載の方法。
  6. 前記予測用ニューラルネットワークが多層パーセプトロンであり、
    前記符号化用ニューラルネットワークの組が、多層パーセプトロンと、長・短期記憶ネットワークと、畳込みニューラルネットワークとのうちの１つ以上を含む、請求項１に記載の方法。
  7. 前記トレーニングフェーズ及び前記予測フェーズの双方において、前記ユーザデータ及び前記アイテムデータの前記単一の多次元ベクトル表現は、１つ以上の前記ユーザの低次元ベクトルと１つ以上の前記アイテムの低次元ベクトルとを連結することにより得られる、請求項１に記載の方法。
  8. 前記ステップ（ａ）〜（ｇ）の各反復につき、前記トレーニング用データセットにおける前記トレーニング用ユーザの異なる部分集合が用いられる、請求項１に記載の方法。
  9. コンピュータシステムにより実行されると、ニューラルネットワークを用いて１つ以上のアイテムをユーザに自動的に推奨する方法を前記コンピュータシステムに実行させるコンピュータプログラムを有する非一時的なコンピュータ可読媒体であって、
    前記方法は、
    トレーニングフェーズに関して、
    （ａ）アイテムに関する既知のレイティングを有するトレーニング用データセットにおけるトレーニング用ユーザについて、前記トレーニング用ユーザのユーザデータを有する１つ以上の入力ベクトルと、前記アイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
    （ｂ）符号化用ニューラルネットワークの組を用いて入力ベクトルの各々を低次元ベクトル空間に対応付けて、前記ユーザデータの１つ以上の低次元ベクトルと、前記アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる前記符号化用ニューラルネットワークが用いられ、前記ユーザの低次元ベクトル及び前記アイテムの低次元ベクトルは、対応する前記入力ベクトルに比べて次元が低い、ステップと、
    （ｃ）１つ以上の前記ユーザの低次元ベクトルと１つ以上の前記アイテムの低次元ベクトルとに基づいて、前記ユーザデータ及び前記アイテムデータの単一の多次元ベクトル表現を作成するステップと、
    （ｄ）予測用ニューラルネットワークを用いて、前記トレーニング用のユーザデータ及びアイテムデータの前記単一の多次元ベクトル表現から、前記トレーニング用ユーザによる、前記アイテムについての予測されるレイティングを計算するステップと、
    （ｅ）前記トレーニング用ユーザの、前記アイテムについて予測されたレイティングと、前記トレーニング用ユーザの、前記アイテムについての既知のレイティングとの間の誤差値を計算するステップと、
    （ｆ）前記トレーニング用データセットにおける複数のトレーニング用ユーザについて前記ステップ（ａ）〜（ｅ）を行うステップと、
    （ｇ）前記複数のトレーニング用ユーザの誤差値が最小となるように、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークのパラメータを更新するステップと、
    （ｈ）前記ステップ（ａ）〜（ｇ）を複数回にわたり繰り返して、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークをトレーニングするステップと
    を行うステップと、
    予測及び推奨フェーズに関して、
    （ｉ）テスト対象ユーザのユーザデータを有する１つ以上の入力ベクトルと、前記テスト対象ユーザによって評価されていないアイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
    （ｊ）前記符号化用ニューラルネットワークの組を用いて入力ベクトルの各々を低次元ベクトル空間に対応付けて、前記ユーザデータの１つ以上の低次元ベクトルと、前記アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる前記符号化用ニューラルネットワークが用いられ、前記ユーザの低次元ベクトル及び前記アイテムの低次元ベクトルは、対応する入力ベクトルに比べて次元が低い、ステップと、
    （ｋ）１つ以上の前記ユーザの低次元ベクトル及び１つ以上の前記アイテムの低次元ベクトルに基づいて、前記ユーザデータ及び前記アイテムデータの単一の多次元ベクトル表現を作成するステップと、
    （ｌ）前記予測用ニューラルネットワークを用いて、前記ユーザデータ及び前記アイテムデータの前記単一の多次元ベクトル表現から、前記テスト対象ユーザによる前記アイテムについての予測されるレイティングを計算するステップと、
    （ｍ）前記テスト対象ユーザと、前記テスト対象ユーザによって評価されていない複数のアイテムとに関して、前記ステップ（ｉ）〜（ｌ）を繰り返すステップと、
    （ｎ）前記テスト対象ユーザの、前記複数のアイテムについて予測されたレイティングを用いて、１つ以上のアイテムを前記テスト対象ユーザに推奨するステップと
    を行うステップと
    を含む、非一時的なコンピュータ可読媒体。
  10. 前記ユーザデータは、ユーザの過去のレイティングと、ユーザのプロファイルデータとを含み、前記アイテムデータは、前記アイテムについて別のユーザから受け付けられた過去のレイティングと、アイテムのプロファイルデータとを含む、請求項９に記載の非一時的なコンピュータ可読媒体。
  11. 前記ユーザのプロファイルデータは、ユーザの年齢と、ユーザの所在地と、ユーザの性別と、ユーザの職業と、ユーザの所得の範囲とのうちの１つ以上を含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
  12. 前記アイテムのプロファイルデータは、アイテムの説明と、アイテムの価格と、アイテムのカテゴリと、アイテムの画像とのうちの１つ以上を含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
  13. 前記誤差値は、前記トレーニング用ユーザの予測されたレイティングと前記トレーニング用ユーザの既知のレイティングとの平均二乗誤差であり、
    前記ステップ（ｇ）において、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークのパラメータは、前記複数のトレーニング用ユーザについての前記平均二乗誤差が最小となるように調整される、請求項９に記載の非一時的なコンピュータ可読媒体。
  14. 前記予測用ニューラルネットワークが多層パーセプトロンであり、
    前記符号化用ニューラルネットワークの組が、多層パーセプトロンと、長・短期記憶ネットワークと、畳込みニューラルネットワークとのうちの１つ以上を含む、請求項９に記載の非一時的なコンピュータ可読媒体。
  15. 前記トレーニングフェーズ及び前記予測フェーズの双方において、前記ユーザデータ及び前記アイテムデータの前記単一の多次元ベクトル表現は、１つ以上の前記ユーザの低次元ベクトルと１つ以上の前記アイテムの低次元ベクトルとを連結することにより得られる、請求項９に記載の非一時的なコンピュータ可読媒体。
  16. 前記ステップ（ａ）〜（ｇ）の各反復につき、前記トレーニング用データセットにおける前記トレーニング用ユーザの異なる部分集合が用いられる、請求項９に記載の非一時的なコンピュータ可読媒体。
  17. コンピュータシステムにより実行されると、アイテムに関するユーザのレイティングを予測するニューラルネットワークシステムをトレーニングする方法を前記コンピュータシステムに実行させるコンピュータプログラムを有する非一時的なコンピュータ可読媒体であって、
    前記方法は、
    （ａ）アイテムに関する既知のレイティングを有するトレーニング用データセットにおけるトレーニング用ユーザについて、前記トレーニング用ユーザのユーザデータを有する１つ以上の入力ベクトルと、前記アイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
    （ｂ）符号化用ニューラルネットワークの組を用いて入力ベクトルの各々を低次元ベクトル空間に対応付けて、前記ユーザデータの１つ以上の低次元ベクトルと、前記アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる前記符号化用ニューラルネットワークが用いられ、前記ユーザの低次元ベクトル及び前記アイテムの低次元ベクトルは、対応する前記入力ベクトルに比べて次元が低い、ステップと、
    （ｃ）１つ以上の前記ユーザの低次元ベクトルと１つ以上の前記アイテムの低次元ベクトルとに基づいて、前記ユーザデータ及び前記アイテムデータの単一の多次元ベクトル表現を作成するステップと、
    （ｄ）予測用ニューラルネットワークを用いて、前記トレーニング用のユーザデータ及びアイテムデータの前記単一の多次元ベクトル表現から、前記トレーニング用ユーザによる、前記アイテムについての予測されるレイティングを計算するステップと、
    （ｅ）前記トレーニング用ユーザの、前記アイテムについて予測されたレイティングと、前記トレーニング用ユーザの、前記アイテムについての既知のレイティングとの間の誤差値を計算するステップと、
    （ｆ）前記トレーニング用データセットにおける複数のトレーニング用ユーザについて前記ステップ（ａ）〜（ｅ）を行うステップと、
    （ｇ）前記複数のトレーニング用ユーザの誤差値が最小となるように、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークのパラメータを更新するステップと、
    （ｈ）前記ステップ（ａ）〜（ｇ）を複数回にわたり繰り返して、前記符号化用ニューラルネットワーク及び前記予測用ニューラルネットワークをトレーニングするステップと
    を含む、非一時的なコンピュータ可読媒体。
  18. 前記ユーザデータは、ユーザの過去のレイティングと、ユーザのプロファイルデータとを含み、前記アイテムデータは、前記アイテムについて別のユーザから受け付けられた過去のレイティングと、アイテムのプロファイルデータとを含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
  19. コンピュータシステムにより実行されると、ニューラルネットワークを用いて１つ以上のアイテムをユーザに自動的に推奨する方法を前記コンピュータシステムに実行させるコンピュータプログラムを有する非一時的なコンピュータ可読媒体であって、
    前記方法は、
    （ａ）ユーザのユーザデータを有する１つ以上の入力ベクトルと、前記ユーザによって評価されていないアイテムのアイテムデータを有する１つ以上の入力ベクトルとを受け付けるステップと、
    （ｂ）符号化用ニューラルネットワークの組を用いて入力ベクトルの各々を低次元ベクトル空間に対応付けて、前記ユーザデータの１つ以上の低次元ベクトルと、前記アイテムデータの１つ以上の低次元ベクトルとを得るステップであって、入力ベクトルごとに異なる前記符号化用ニューラルネットワークが用いられ、前記ユーザの低次元ベクトル及び前記アイテムの低次元ベクトルは、対応する入力ベクトルに比べて次元が低い、ステップと、
    （ｃ）１つ以上の前記ユーザの低次元ベクトル及び１つ以上の前記アイテムの低次元ベクトルに基づいて、前記ユーザデータ及び前記アイテムデータの単一の多次元ベクトル表現を作成するステップと、
    （ｄ）予測用ニューラルネットワークを用いて、前記ユーザデータ及び前記アイテムデータの前記単一の多次元ベクトル表現から、前記ユーザによる前記アイテムについての予測されるレイティングを計算するステップであって、前記符号化用ニューラルネットワークの組及び前記予測用ニューラルネットワークは、前記ステップ（ｂ）〜（ｄ）を実行できるように既にトレーニングされている、ステップと、
    （ｅ）前記ユーザと、前記ユーザによって評価されていない複数のアイテムとに関して、前記ステップ（ａ）〜（ｄ）を繰り返すステップと、
    （ｆ）前記ユーザの、前記複数のアイテムについて予測されたレイティングを用いて、１つ以上のアイテムを前記ユーザに推奨するステップと
    を行うステップと
    を含む、非一時的なコンピュータ可読媒体。
  20. 前記ユーザデータは、ユーザの過去のレイティングと、ユーザのプロファイルデータとを含み、前記アイテムデータは、前記アイテムについて別のユーザから受け付けられた過去のレイティングと、アイテムのプロファイルデータとを含む、請求項１９に記載の非一時的なコンピュータ可読媒体。
JP2020189584A 2019-11-20 2020-11-13 直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム Active JP7267985B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/689,893 2019-11-20
US16/689,893 US11494644B2 (en) 2019-11-20 2019-11-20 System, method, and computer program for recommending items using a direct neural network structure

Publications (2)

Publication Number Publication Date
JP2021099791A true JP2021099791A (ja) 2021-07-01
JP7267985B2 JP7267985B2 (ja) 2023-05-02

Family

ID=75908231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020189584A Active JP7267985B2 (ja) 2019-11-20 2020-11-13 直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US11494644B2 (ja)
JP (1) JP7267985B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023172050A1 (ko) * 2022-03-10 2023-09-14 주식회사 카카오게임즈 플레이 로그를 이용한 사용자 정보 예측 방법 및 장치
JP7423694B2 (ja) 2021-07-14 2024-01-29 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7429260B2 (ja) 2021-07-14 2024-02-07 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7431890B2 (ja) 2021-07-14 2024-02-15 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7441270B2 (ja) 2021-07-14 2024-02-29 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7460703B2 (ja) 2021-08-06 2024-04-02 楽天グループ株式会社 共有されたニューラルアイテム表現をコールドスタート推薦に用いる改良型のレコメンダシステム及び方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494644B2 (en) * 2019-11-20 2022-11-08 Rakuten Group, Inc. System, method, and computer program for recommending items using a direct neural network structure
CN113742596A (zh) * 2021-09-18 2021-12-03 辽宁工程技术大学 一种基于注意力机制的神经协同过滤推荐方法
US11790388B2 (en) 2021-09-30 2023-10-17 Rakuten Group, Inc. System, method, and computer program for automatic coupon code fill in a mobile application
CN117459727B (zh) * 2023-12-22 2024-05-03 浙江省北大信息技术高等研究院 一种图像处理方法、装置、系统、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61193279A (ja) * 1985-02-15 1986-08-27 ネスター　インコーポレーテツド パターンを分類及び識別する装置と方法
US20100100516A1 (en) * 2008-10-20 2010-04-22 Hewlett-Packard Development Company, L.P. Predicting User-Item Ratings
WO2016132588A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ分析装置、データ分析方法、およびデータ分析プログラム
JP2019008742A (ja) * 2017-06-28 2019-01-17 ヤフー株式会社 学習装置、生成装置、学習方法、生成方法、学習プログラム、および生成プログラム
CN109376857A (zh) * 2018-09-03 2019-02-22 上海交通大学 一种融合结构和属性信息的多模态深度网络嵌入方法
JP2020071811A (ja) * 2018-11-02 2020-05-07 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004135B1 (en) * 2017-08-18 2021-05-11 Amazon Technologies, Inc. Artificial intelligence system for balancing relevance and diversity of network-accessible content
US10769524B1 (en) * 2017-09-05 2020-09-08 A9.Com, Inc. Non-binary gender filter
US10795897B2 (en) * 2018-06-28 2020-10-06 Microsoft Technology Licensing, Llc Techniques for querying user profiles using neural networks
US20200005149A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Applying learning-to-rank for search
US20200005134A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Generating supervised embeddings using unsupervised embeddings
US20200004886A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Generating supervised embedding representations for search
GB201819520D0 (en) * 2018-11-30 2019-01-16 Microsoft Technology Licensing Llc Data retrieval
US11361365B2 (en) * 2019-02-25 2022-06-14 Etsy, Inc. Intuitive entity navigation
US11308276B2 (en) * 2019-07-01 2022-04-19 Adobe Inc. Generating message effectiveness predictions and insights
US11238103B2 (en) * 2019-09-13 2022-02-01 Ebay Inc. Binary coding for improved semantic search
US11710045B2 (en) * 2019-10-01 2023-07-25 Samsung Display Co., Ltd. System and method for knowledge distillation
US11468489B2 (en) * 2019-10-31 2022-10-11 Walmart Apollo, Llc System, non-transitory computer readable medium, and method for self-attention with functional time representation learning
US11494644B2 (en) * 2019-11-20 2022-11-08 Rakuten Group, Inc. System, method, and computer program for recommending items using a direct neural network structure
US11934445B2 (en) * 2020-12-28 2024-03-19 Meta Platforms Technologies, Llc Automatic memory content item provisioning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61193279A (ja) * 1985-02-15 1986-08-27 ネスター　インコーポレーテツド パターンを分類及び識別する装置と方法
US20100100516A1 (en) * 2008-10-20 2010-04-22 Hewlett-Packard Development Company, L.P. Predicting User-Item Ratings
WO2016132588A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ分析装置、データ分析方法、およびデータ分析プログラム
JP2019008742A (ja) * 2017-06-28 2019-01-17 ヤフー株式会社 学習装置、生成装置、学習方法、生成方法、学習プログラム、および生成プログラム
CN109376857A (zh) * 2018-09-03 2019-02-22 上海交通大学 一种融合结构和属性信息的多模态深度网络嵌入方法
JP2020071811A (ja) * 2018-11-02 2020-05-07 深和パテントサービス株式会社 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HE, X., ET AL.: "Neural Collaborative Filtering", PROCEEDINGS OF THE 26TH INTERNATIONAL CONFERENCE ON WORLD WIDE WEB (WWW '17) [ONLINE], JPN7022001243, 3 April 2017 (2017-04-03), pages 173 - 182, ISSN: 0004923851 *
平手 勇宇ほか: "推薦システム --E-Commerceサービスでの推薦システムの利用--", 人工知能, vol. 34, no. 3, JPN6022011105, 1 May 2019 (2019-05-01), pages 292 - 299, ISSN: 0004735119 *
谷岡 豪ほか: "アイテム密度に応じて分割されたオートエンコーダによる推薦システム", 電子情報通信学会技術研究報告 [ONLINE], vol. 119, no. 139, JPN6022011103, 15 July 2019 (2019-07-15), pages 71 - 75, ISSN: 0004735120 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423694B2 (ja) 2021-07-14 2024-01-29 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7429260B2 (ja) 2021-07-14 2024-02-07 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7431890B2 (ja) 2021-07-14 2024-02-15 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7441270B2 (ja) 2021-07-14 2024-02-29 楽天グループ株式会社 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7460703B2 (ja) 2021-08-06 2024-04-02 楽天グループ株式会社 共有されたニューラルアイテム表現をコールドスタート推薦に用いる改良型のレコメンダシステム及び方法
WO2023172050A1 (ko) * 2022-03-10 2023-09-14 주식회사 카카오게임즈 플레이 로그를 이용한 사용자 정보 예측 방법 및 장치

Also Published As

Publication number Publication date
US11494644B2 (en) 2022-11-08
US20210150337A1 (en) 2021-05-20
JP7267985B2 (ja) 2023-05-02

Similar Documents

Publication Publication Date Title
JP7267985B2 (ja) 直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム
US20190354836A1 (en) Dynamic discovery of dependencies among time series data using neural networks
KR101899101B1 (ko) 인공 신경망 기반 예측 모델 생성 장치 및 방법
CN111753092B (zh) 一种数据处理方法、模型训练方法、装置及电子设备
JP7271630B2 (ja) 機械学習に基づくレコメンダシステムにおける入力及びパラメータの同時学習
CN107545301B (zh) 页面展示方法及装置
WO2020204904A1 (en) Learning compressible features
CN114399021A (zh) 一种基于多尺度信息的概率风速预测方法和系统
CN112418482A (zh) 一种基于时间序列聚类的云计算能耗预测方法
CN110781401A (zh) 一种基于协同自回归流实现的Top-n项目推荐方法
CN112163715A (zh) 生成式对抗网络的训练方法及装置、电力负荷预测方法
CN114297470A (zh) 内容的推荐方法、装置、设备、介质及计算机程序产品
WO2019198026A1 (en) Deep learning approach for assessing credit risk
CN116340726A (zh) 一种能源经济大数据清洗方法、系统、设备及存储介质
JP2021140551A (ja) 情報処理装置および機械学習方法
Li et al. Learning to reformulate for linear programming
CN117151276A (zh) 售电平台的智能化管理系统
US20170236056A1 (en) Automated predictive modeling and framework
CN115525831A (zh) 推荐模型训练方法、推荐方法、装置及计算机可读存储介质
CN115049458A (zh) 基于用户人群建模的商品推送方法及装置、介质、设备
CN114821379B (zh) 一种基于松弛变换解码器的直接时序动作检测方法
CN114971688A (zh) 一种基于组合模型的供应链生产预测方法
US20210097402A1 (en) Storage medium, optimum solution acquisition method and information processing apparatus
CN113674014A (zh) 一种配电线路日线损率预测方法和系统
CN107705159A (zh) 存量房估价方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220325

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230216

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230227

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7267985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150