JP2023017702A - 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体 - Google Patents

機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体 Download PDF

Info

Publication number
JP2023017702A
JP2023017702A JP2022096136A JP2022096136A JP2023017702A JP 2023017702 A JP2023017702 A JP 2023017702A JP 2022096136 A JP2022096136 A JP 2022096136A JP 2022096136 A JP2022096136 A JP 2022096136A JP 2023017702 A JP2023017702 A JP 2023017702A
Authority
JP
Japan
Prior art keywords
shop
user
item
data set
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022096136A
Other languages
English (en)
Other versions
JP7431890B2 (ja
Inventor
ヤン シー
Xi Yang
グアンナン リアン
Liang Guannan
ヨンジョー チュン
Young-Joo Chung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Publication of JP2023017702A publication Critical patent/JP2023017702A/ja
Application granted granted Critical
Publication of JP7431890B2 publication Critical patent/JP7431890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0244—Optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】大型ショップに対する精度を維持しながら、電子商取引プラットフォーム上の小型ショップに対する推薦を改善する。【解決手段】この改善は、メタ学習プロセスを用いてサンプル選択バイアスを低減するために機械学習推薦モデルを再訓練することによって達成される。再訓練は、電子商取引プラットフォーム上のショップのサンプルサブセットを特定し、サブセット内の各ショップに対してショップ固有の推薦モデルを生成することから構成される。グローバルモデルのパラメータ調整は、ショップ固有モデルの損失を最小化し、小型ショップからアイテムが推薦される確率を高めることに基づいて算出される。後者は、メタ学習過程において、小型ショップに対する正則化項を導入することで達成される。この正則化項は、小型ショップの商品が推奨される確率を高めることで、小型ショップの商品が持つサンプル選択バイアスを打ち消す役割を果たす。【選択図】図２

Description

本開示は、一般に、機械学習ベースの推薦システムに関し、より具体的には、サンプル選択のバイアスが少なく、電子商取引プラットフォーム上の小型ショップに対してより良いパフォーマンスを発揮する改良型推薦システムに関する。
推薦システムは、ターゲット広告のために、アイテム（item）を購入する可能性が最も高いユーザを特定するために使用される場合がある。また、ユーザにアイテムを推薦するために使用されることもある。過去数十年の電子商取引の爆発的な成長により、消費者が処理できる以上の商品提供が行われており、推薦システムはこの過負荷の問題を克服するために不可欠なものとなってきている。推薦システムの目的は、既知のユーザからのフィードバックを受け、アイテムに対する未知のユーザのフィードバックを予測することである。これは、商品の広告をターゲットとする際、又は、ユーザに推薦アイテムのリストを提供する際に役立つ。フィードバックは、しばしば相互作用と呼ばれ、暗示的なもの（例えば、購入した／購入しそう）、または明示的なもの（例えば、1－5の間の評価）であり得る。
多くの推薦システムは、機械学習モデルを用いて予測を行う。例えば、ニューラル協調フィルタリング（NCF）システムは、ユーザデータとアイテムデータに、ニューラルネットワークエンコーダを適用して、ユーザデータとアイテムデータの表現を生成し、ユーザ表現とアイテム表現を使用してアイテムに対するユーザの評価を予測する。
電子商取引のプラットフォームの予測に使用される機械学習モデルは、通常、電子商取引プラットフォームにおけるユーザ－アイテム相互作用に基づいて訓練される。プラットフォーム上で販売量の多いショップの訓練データは、小型ショップの訓練データよりも圧倒的に多く存在する。その結果、これらのモデルは、小型ショップよりも大型ショップの予測を行うのに適している。これは、サンプル選択バイアスとして知られている。実際、小型ショップの新アイテムに関し、このモデルのパフォーマンスは低いことがある。したがって、電子商取引プラットフォームにおいて、小型ショップと大型ショップの双方に対して、良好な予測性能を持つ推薦システムの需要がある。
本開示は、大型ショップに対する精度を維持しながら、電子商取引プラットフォーム上の小型ショップに対する推薦を改善することに関する。この改善は、メタ学習プロセスを用いてサンプル選択バイアスを低減するために機械学習推薦モデルを再訓練することによって達成される。再訓練処理は、電子商取引プラットフォーム上のショップのサンプルサブセットを特定することを備え、ショップには、小型カテゴリに属するショップと大型カテゴリに属するショップの双方が含まれる。そして、システムは、サブセット内の各ショップについて、推薦モデルのショップ固有バージョンを生成する。
大型ショップの場合、グローバルモデルをショップの第１訓練データセットに適用し、ショップの実際のユーザ－アイテム相互作用と予測されたユーザ－アイテム相互作用の間の損失を最小にするパラメータ調整を算出することによって、ショップ固有モデルは生成される。小型ショップでは、正則化項を損失関数と組み合わせてショップ固有モデルを生成する。各小型ショップについて、そのショップの正則化項は、そのショップの第１訓練データセットにおける全てのユーザとアイテムのペアのユーザ－アイテム相互作用スコアの逆数の総和の関数として算出される。正則化項は、サンプル選択バイアスにより、小型ショップのアイテムが推奨される確率が低くなることに対抗するものである。正則化項は、小型ショップからのアイテムが推薦される確率を高める役割を果たす。
次に、ショップ固有モデルは、各ショップの第２訓練データセットを用いてテストされる。具体的には、各ショップについて、モデルのショップ固有バージョンがショップの第２訓練データセットに適用させて、データセットの予測されたユーザ－アイテム相互作用を取得する。次に、各ショップについて、モデルのショップ固有バージョンによって予測されたユーザ－アイテム相互作用と、そのショップの第２訓練データセットにおける実際のユーザ－アイテム相互作用とに基づいて、損失が算出される。小型ショップについては、正則化項の第２セットも算出される。具体的には、各小型ショップについて、ショップの第２正規化項は、ショップの第２訓練データセットにおける全てのユーザとアイテムのペアのユーザ－アイテム相互作用スコアの逆数の総和の関数として算出される。
グローバルパラメータ調整は、(1)大型ショップの損失、(2)小型ショップの損失と小型ショップの第２正則化項の組み合わせと、に基づいて算出される。正則化項は、ユーザと小型ショップのアイテム間の類似度スコアを増加させる役割を果たす。基準モデルは、グローバルパラメータ調整を使用して更新され、再訓練処理が複数回繰り返される。
より具体的には、一実施形態では、再訓練処理は、以下のステップからなる。
（ａ）前記電子商取引プラットフォーム上のショップのサンプルバッチであって、小型カテゴリのショップと大型カテゴリのショップを含むサンプルバッチを特定するステップであって、前記小型カテゴリと前記大型カテゴリは、前記電子商取引プラットフォーム上の販売量閾値に関連して定義され、前記小型カテゴリのショップは、前記大型カテゴリのショップよりも前記電子商取引プラットフォーム上の販売量が少なく、
（ｂ）前記サンプルバッチ内の各ショップについて、第１訓練データセットと第２訓練データセットを取得するステップであって、各ショップについて、前記第１訓練データセットと第２訓練データセットはそれぞれ、前記ショップ内のアイテムに関するアイテムデータと、前記ショップ内のアイテムに関するユーザ－アイテム相互作用データを含むユーザデータと、を有し、
（ｃ）前記サンプルバッチの各ショップに対して、
前記ショップが前記小型カテゴリに含まれるか、又は大型カテゴリに含まれるかを判断し、
前記ショップが前記小型カテゴリに含まれることに応答して、
前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
前記ショップの前記第１訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第１正則化項を算出し、
前記第１ショップ固有損失と、前記ショップの第１正則化項の組合せに基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
前記ショップ固有パラメータ調整を前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用は、前記ショップの前記第２訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
前記ショップの前記第２訓練データセットにおけて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出し、
前記ショップの前記第２訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第２正則化項を算出すること、を実行し、
前記ショップが前記大型カテゴリに含まれることに応答して、
前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
前記第１ショップ固有損失に基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
前記第１ショップ固有パラメータ調整を、前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、
前記ショップの前記第２訓練データセットにおけて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出する、ステップを実行し
（ｄ）(1)前記大型カテゴリに含まれるショップの前記第２ショップ固有損失と、(2)前記小型カテゴリに含まれるショップの前記第２ショップ固有損失と前記第２正則化項の組合せに基づいて、前記機械学習モデルのグローバルパラメータ調整を算出するステップと、
（ｅ）前記グローバルパラメータ調整を用いて、前記機械学習モデルのパラメータを調整することにより、更新された機械学習モデルを生成するステップと、
（ｆ）前の繰り返しで更新された機械学習モデルが、次の繰り返しの機械学習モデルになるように、ステップ（c）－（e）を複数回繰り返す、ことを実行するステップを備える。
一実施形態に係る推薦モデルの訓練段階の概要を示すフローチャートである。 一実施形態による推薦モデルの再訓練方法を示すフローチャートである。 （ａ）（ｂ）は、予測段階を説明するフローチャートである。 （ａ）（ｂ）は、推薦システムの機械学習モデルアーキテクチャの一例を示すブロック図である。 推薦システムのアーキテクチャの一例を示すブロック図である。
本開示は、販売量の異なるショップを含む電子商取引プラットフォーム上において、ユーザ－アイテム相互作用を予測する機械学習ベースの推薦システム及び方法に関するものである。具体的には、本開示は、大型ショップに対する予測精度を維持しつつ、小型ショップに対するより良い予測を有する改良された推薦システムに関する。この改良は、メタ学習プロセスを用いてサンプル選択バイアスを低減するように推薦システムを再訓練することによって達成される。本明細書に開示される方法は、コンピュータシステム（「システム」）によって実行される。
適用できる電子商取引プラットフォームにおける、閾値に関連する一定期間の販売数に基づいて、小型／大型ショップを定義する。具体的には、本明細書では、「小型ショップ（small shop）」「より小型ショップ（smaller shop）」という用語は、売上高がある閾値以下のショップを指す。逆に、「大型ショップ（large shop）」、「より大型ショップ（larger shop）」、「最大型ショップ（largest shop）」という用語は、ある閾値以上の売上高を有するショップを意味する。本発明は、特定の閾値または閾値の範囲に依存または限定されるものではない。小型ショップおよび大型ショップを定義する閾値は、問題となる特定の電子商取引プラットフォームに依拠してもよいし、電子商取引プラットフォームごとに異なってもよい。しかしながら、例として、閾値は、過去12ヶ月などの期間中の電子商取引プラットフォーム上の全ショップのショップ販売量の中央値であってもよい。
以下、推薦システムの訓練段階と予測段階の双方を説明する。
（1．訓練段階）
図１は、訓練段階の概要を示す図である。システムは、電子商取引プラットフォームにおけるユーザ－アイテム相互作用を予測するため、以前に訓練された機械学習モデルを取得する（ステップ110）。このモデルは、本明細書において、基準モデルと呼ばれる。一実施形態では、基準モデルは、電子商取引プラットフォーム上のユーザ－アイテム相互作用を含む、アイテムデータ及びユーザデータを用いて訓練される。基準モデルは、多数の既知の訓練方法のうちの１つを使用して訓練されてもよく、本明細書で開示される再訓練方法は、基準モデルが最初に訓練される方法に依存しない。上述したように、小型ショップのアイテムよりも大型ショップからのアイテムの方がより多くの訓練データがある。したがって、基準モデルは、より大型ショップからのアイテムについてより良く、予測を行うことになる。これはサンプル選択バイアスと呼ばれる。
システムは、サンプル選択バイアスを低減するために、基準モデルを再訓練する（ステップ120）。モデルを再訓練することは、電子商取引プラットフォーム上のショップのサンプルバッチを特定することを含む（ステップ120a）。サンプルバッチは、プラットフォーム上のショップのサブセットであり、小型カテゴリのショップと大型カテゴリのショップとを含む。
システムは、サンプルバッチ内の各ショップについて、本明細書において第１訓練データセット及び第２訓練データセットと呼ばれる２つの訓練データセットを取得する（ステップ120b）。ショップの第１及び第２訓練データセットの各々は、(1)ショップ内のアイテムに関するアイテムデータ、及び(2)ユーザ－アイテム相互作用データを含むユーザデータ、を含む。ユーザ－アイテム相互作用データの例として、ユーザ評価又は購入履歴（すなわち、ユーザがアイテムを購入したかどうか）が含まれる。特定の実施形態では、アイテムデータは、各アイテムに対するアイテム「サイド情報」を含む。サイド情報は、アイテムに関する情報であり、例えば、アイテムに関連する商品カテゴリ及びサブカテゴリなどである。
システムは、ショップのサンプルバッチと第１および第２訓練データセットに関して、図２に記載された再訓練方法を実行する（ステップ120c）。システムは、図２に記載された再訓練方法を、多く繰り返す。繰り返しは、固定された繰り返し回数であってもよく、あるいは、システムは、収束が達成されるまで再訓練方法を繰り返してもよい（ステップ120d）。
（1.1.再訓練の方法）
図２は再訓練の方法を示す。次のセクションで説明するように、この方法の第１の部分は、サンプルバッチ内の各ショップに対して、モデルのショップ固有バージョンを生成することを含む。
（1.1.1.モデルのショップ固有バージョンの生成）
再訓練処理の一環として、システムは、サンプルバッチ内の各ショップに対して、モデルのショップ固有バージョンを生成する。このショップ固有バージョンの生成方法は、小型ショップと大型ショップで異なる。
（1.1.1.1.小型ショップ）
ステップ210a－222aは、小型ショップのショップ固有バージョンのモデルを生成する方法を示す。これらのステップは、サンプルバッチ内の各小型ショップについて実行される。システムは、小型ショップの第１訓練データセットを取得し（ステップ210a）、小型ショップの第１訓練データセット内のユーザデータとアイテムデータに、グローバルモデルを適用する（ステップ212a）。グローバルモデルは、ショップ固有バージョンのモデルとは対照的に、電子商取引プラットフォーム上の全てのショップのための機械学習モデルである。再訓練方法の最初の繰り返しの間、グローバルモデルは、基準モデルである。その後の繰り返しでは、グローバルモデルは、基準モデルの更新されたバージョンとなる。
グローバルモデルは、ショップの第１訓練データセットにおけるユーザとアイテムの予測されたユーザ－アイテム相互作用を生成する。予測を生成することは、ショップの第１訓練データセットにおける各ユーザとアイテムのペアのためのユーザ－アイテム相互作用スコアを算出することを含む。
システムは、ショップの第１訓練データセットにおける予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用に基づいて、ショップの第１ショップ固有損失を算出する（ステップ215a）。一実施形態では、平均二乗誤差が損失関数として使用される。
また、システムは、小型ショップの第１正則化項を算出する（ステップ217a）。第１正則化項は、ショップの第１訓練データセットにおける全てのユーザとアイテムのペアのユーザ－アイテム相互作用スコアの逆数の総和の関数として算出される。正則化項は、サンプル選択バイアスにより小型ショップのアイテムが推薦される確率が低くなることに対抗するために、小型ショップに対して追加される。正則化項は、小型ショップからのアイテムが推薦される確率を高める役割を果たす。
システムは、第１ショップ固有損失と正則化項との組み合わせに基づいて、モデルの第１ショップ固有パラメータ調整を算出する（ステップ220a）。より具体的には、システムは、ショップ固有損失を最小化し、正則化項によりショップのアイテムが推薦される確率を高くする第１ショップ固有パラメータ調整を算出する。そして、システムは、第１ショップ固有パラメータ調整をモデルに適用することにより、ショップ固有モデルを生成する（ステップ222a）。言い換えれば、ショップ固有モデルは、グローバルモデルのコピーに、第１ショップ固有パラメータ調整を適用することによって生成される。
（1.1.1.2.大型ショップ）
ステップ210b－222bは、大型ショップのモデルのショップ固有バージョンを生成する方法を示す。これらのステップは、サンプルバッチ内の各大型ショップについて実行される。システムは、大型ショップの第１訓練データセットを取得し（ステップ210b）、グローバルモデルを大型ショップの第１訓練データセット内のユーザデータとアイテムデータに適用する（ステップ212b）。
グローバルモデルは、ショップの第１訓練データセットにおけるユーザとアイテムの予測されたユーザ－アイテム相互作用を生成する。予測を生成することは、ショップの第１訓練データセットにおける各ユーザとアイテムのペアのユーザ－アイテム相互作用スコアを算出することを含む。
システムは、ショップの第１訓練データセットにおける予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用に基づいて、大型ショップの第１ショップ固有損失を算出する（ステップ215b）。一実施形態では、平均二乗誤差が損失関数として使用される。
システムは、大型ショップの第１ショップ固有損失を最小化するために、モデルに対する第１ショップ固有パラメータ調整を算出する（220b）。次に、システムは、モデルに、第１ショップ固有パラメータ調整を適用することによって、モデルのショップ固有バージョンを生成する（ステップ222b）。言い換えれば、ショップ固有モデルは、グローバルモデルのコピーに、第１ショップ固有パラメータ調整を適用することによって生成される。
一実施形態では、第１訓練データセットのサイズは、サンプルバッチ内の各ショップについて同じサイズである。
後述するように、再訓練方法の次の部分は、ショップ固有モデルを第２訓練データセットに適用し、対応する損失を使用してグローバルパラメータ調整を行うことからなる。
（1.1.2.ショップ固有モデルを用いたグローバルパラメータ調整の特定）
サンプルバッチ内の各ショップについて、システムは、ショップの第２訓練データセット内のユーザデータとアイテムデータに、モデルのショップ固有バージョンを適用して、第２訓練データセットの予測されたユーザ－アイテム相互作用スコアを得る（ステップ225a及び225b）。一実施形態では、第２訓練データセットのサイズは、最大数（例えば、100kトランザクション）までの電子商取引プラットフォーム上のショップの販売量に対応する。これは、より大型ショップに対するモデルの予測精度を維持するのに役立つ。
ショップのそれぞれについて、システムは、予測されたユーザ－アイテム相互作用と、ショップの第２訓練データセットにおける実際のユーザ－アイテム相互作用とに基づいて、ショップの第２ショップ固有損失を算出する（ステップ235a及び235b）。一実施形態では、平均二乗誤差が損失関数として使用される。
また、小型ショップの各々について、システムは、第２正則化項を算出する（ステップ227a）。第２正則化項は、そのショップの第２訓練データセットにおける全てのユーザとアイテムのペアのユーザ－アイテム相互作用スコアの逆数の総和の関数として算出される。
システムは、（1）大型ショップに対する第２ショップ固有損失、及び（2）小型ショップに対する第２ショップ固有損失と、小型ショップに対する第２正則化項との組み合わせ、に基づいてグローバルモデルに対するグローバルパラメータ調整を算出する（ステップ240）。一実施形態では、グローバルパラメータ調整は、（1）大型ショップに対する第２ショップ固有損失の平均、及び（2）小型ショップに対する第２ショップ固有損失と、小型ショップに対する第２正則化項の組み合わせの平均に基づいて算出される。システムは、グローバルパラメータ調整を用いて、モデルのパラメータを調整することにより、更新されたグローバルモデルを生成する。一実施形態では、ショップ固有パラメータ調整とグローバルパラメータ調整は、勾配降下法を使用して算出され、ショップ固有パラメータ調整とグローバルパラメータ調整は、勾配ステップである。
システムは、前回の繰り返しで更新されたグローバルモデルが、次の繰り返しでのグローバルモデルとなるように、再訓練方法を多く繰り返す。
（1.1.3.再訓練処理の数式表現）
以下は、一実施形態による再訓練方法の数式である。
Figure 2023017702000002
 上のアルゴリズムでは
θは、推薦モデルｇのパラメータ。
θｐは、ショップ固有推薦モデルのパラメータ。
Ｄｐ ｓは、ショップpの最初のデータセット。
Ｄｐ Ｑは、ショップpの２つ目のデータセット。
αとβは、学習率である。
γは、小型ショップの損失と正則化項のバランスをとるためのハイパーパラメータ。
∇は、勾配ステップ。
Ｌは、損失関数。
Ｒは、正則化である。
後述する図４（ａ）及び図４（ｂ）は、パラメータθを用いたモデルの例を示している。
一実施形態では、損失関数は次のように定義される。
Figure 2023017702000003
 ここで、yは、実際の購入ラベル（購入しない場合は0、購入した場合は1）であり、
Figure 2023017702000004
 は、予測されたラベルである。ここでｆu,fiは、ユーザ特徴とアイテム特徴であり、これらは訓練可能なワンホット埋め込みまたは事前訓練された表現であってもよい。
（2.予測段階）
予測段階では、再訓練されたモデルは、ターゲット広告のためにショップにユーザを推薦する、又は、電子商取引プラットフォーム上でユーザにアイテムを推薦するために使用することができる。
図３（ａ）は、予測段階において、ユーザをショップに推薦する方法を示す図である。システムは、再訓練されたモデルを用いて、相互作用値が知られていないテストユーザとアイテムのペアに関して、ユーザ－アイテム相互作用値の予測を得る（ステップ310）。システムは、電子商取引プラットフォーム上でショップが販売するアイテム及び複数のテストユーザのそれぞれに関する予測された相互作用値に基づいて、１人以上のテストユーザをショップに推薦する（ステップ320）。より小型ショップに関する再訓練されたモデルの性能が良いということは、小型ショップのコールドスタート広告が良いということである。
図３（ｂ）は、テストユーザに１つ以上のアイテムを推薦するための方法を示す図である。システムは、再訓練されたモデルを使用して、相互作用値が知られていないテストユーザとアイテムのペアに関して、ユーザ－アイテム相互作用値の予測を得る（ステップ330）。次に、システムは、テストユーザと、電子商取引プラットフォーム上の複数のアイテムの各々に関する予測された相互作用値に基づいて、テストユーザに１つ以上のアイテムを推薦する（ステップ340）。
（3.モデルアーキテクチャの例）
図４（ａ）及び図４（ｂ）は、機械学習推薦モデルのアーキテクチャの例を示す。図４（ａ）において、モデル400aは、連結モジュール420と、ニューラルネットワークエンコーダ430とを含む。連結モジュール420は、ユーザ入力とアイテム入力を受取り、それらを連結する。ニューラルネットワークエンコーダ430は、結合されたユーザとアイテムのデータを入力として受取り、ユーザ－アイテム相互作用スコア（これはベクトルの形である）を出力する。ユーザ－アイテム相互作用スコアは、分類モジュール440によって使用され、ユーザ－アイテム相互作用を予測する。
図４（ｂ）において、モデルは、ユーザニューラルネットワークエンコーダ460とアイテムニューラルネットワークエンコーダ465を含む。ユーザニューラルネットワークエンコーダ460は、入力されたユーザデータ445に適用され、ユーザベクトル表現を生成する。同様に、アイテムニューラルネットワークエンコーダ465は、入力されたアイテムデータ450に適用され、アイテムベクトル表現を得る。ドット積モジュール470は、ユーザ及びアイテムのベクトルのドット積を取り、ユーザ－アイテム相互作用スコアを生成する。これは、分類モジュール480によって使用され、ユーザ－アイテム相互作用を予測する。
一実施形態では、入力されたユーザデータは、ユーザ－アイテム相互作用データを含む。また、ユーザに関するサイド情報（例えば、ユーザの年齢、場所などのユーザ情報）を含んでもよい。一実施形態では、アイテムデータは、アイテムに関する情報であるアイテムサイド情報（例えば、商品カテゴリ及びサブカテゴリ）を含む。
（4.システムアーキテクチャの例）
図５は、推薦システムソフトウェアアーキテクチャの一例を示す図である。本明細書に開示されるシステム及び方法は、必ずしもこのアーキテクチャに限定されるものではない。システム500は、機械学習モデル530と、訓練モジュール550と、推薦モジュール540とを含む。機械学習モデル530は、入力されたユーザとアイテムデータ510、520に適用され、ユーザ－アイテム相互作用を予測する。機械学習モデル530は、本明細書に記載の訓練方法に従って、訓練モジュール550によって訓練される。推薦モジュール540は、予測されたユーザ－アイテム相互作用に基づいて、ユーザをショップに推薦するか、又はユーザにアイテムを推薦する。当業者は、推薦システムが、本明細書の開示に関連しない他のモジュールを有し得ることを理解するであろう。
（5.一般）
図１－５について説明した方法は、ソフトウェアで具現化され、ソフトウェアを実行するコンピュータシステム（１つまたは複数のコンピューティングデバイスからなる）によって実行される。当業者であれば、コンピュータシステムが、ソフトウェア命令を格納するための１つ以上の物理的なメモリユニット、ディスク、または他の物理的なコンピュータ可読記録媒体、ならびにソフトウェア命令を実行するための１つ以上のプロセッサを有することを理解するであろう。当業者であれば、コンピュータシステムは、スタンドアロンであっても、サーバとしてコンピュータネットワークに接続されていてもよいことも理解するであろう。
当業者には理解されるように、本発明は、その精神または本質的特徴から逸脱することなく、他の特定の形態で具現化することができる。従って、上記の開示は、請求された発明の範囲を例示するものであって、限定するものではないことを意図している。
本出願は、2021年7月14日に出願された米国仮出願第63/221,872号、タイトルは「Cold-Start Item Advertisement for Small Businesses」、及び2022年1月31日に出願された米国出願第17/589,802号、タイトルは「Reducing Sample Selection Bias in a Machine Learning-based Recommender System」、これらの利益を主張し、その内容は、参照により、本明細書に完全に開示されたように組み込まれる。

Claims (20)

  1. コンピュータシステムによって実行され、異なる販売量を有する異なるショップからの商品を含む電子商取引プラットフォーム上で、ユーザ－アイテム相互作用値を予測するための機械学習方法であって、
    訓練段階と予測段階を含み、
    前記訓練段階は、
    前もって訓練された機械学習モデルであって、前記異なる販売量を有する異なるショップを含む前記電子商取引プラットフォーム上のユーザデータとアイテムデータに基づいて、ユーザ－アイテム相互作用を予測する機械学習モデルを取得する取得ステップと、
    前記機械学習モデルを修正して、販売量の多いショップに有利なサンプル選択バイアスを低減させる修正ステップと、を備え、
    前記修正ステップは、
    （ａ）前記電子商取引プラットフォーム上のショップのサンプルバッチであって、小型カテゴリのショップと大型カテゴリのショップを含むサンプルバッチを特定するステップであって、前記小型カテゴリと前記大型カテゴリは、前記電子商取引プラットフォーム上の販売量閾値に関連して定義され、前記小型カテゴリのショップは、前記大型カテゴリのショップよりも前記電子商取引プラットフォーム上の販売量が少なく、
    （ｂ）前記サンプルバッチ内の各ショップについて、第１訓練データセットと第２訓練データセットを取得するステップであって、各ショップについて、前記第１訓練データセットと第２訓練データセットはそれぞれ、前記ショップ内のアイテムに関するアイテムデータと、前記ショップ内のアイテムに関するユーザ－アイテム相互作用データを含むユーザデータと、を有し、
    （ｃ）前記サンプルバッチの各ショップに対して、
    前記ショップが前記小型カテゴリに含まれるか、又は大型カテゴリに含まれるかを判断し、
    前記ショップが前記小型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記ショップの前記第１訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第１正則化項を算出し、
    前記第１ショップ固有損失と、前記ショップの第１正則化項の組合せに基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記ショップ固有パラメータ調整を前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用は、前記ショップの前記第２訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第２訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出し、
    前記ショップの前記第２訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第２正則化項を算出すること、を実行し、
    前記ショップが前記大型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記第１ショップ固有損失に基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記第１ショップ固有パラメータ調整を、前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、
    前記ショップの前記第２訓練データセットにおけて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出する、ステップを実行し
    （ｄ）(1)前記大型カテゴリに含まれるショップの前記第２ショップ固有損失と、(2)前記小型カテゴリに含まれるショップの前記第２ショップ固有損失と前記第２正則化項の組合せに基づいて、前記機械学習モデルのグローバルパラメータ調整を算出するステップと、
    （ｅ）前記グローバルパラメータ調整を用いて、前記機械学習モデルのパラメータを調整することにより、更新された機械学習モデルを生成するステップと、
    （ｆ）前の繰り返しで更新された機械学習モデルが、次の繰り返しの機械学習モデルになるように、ステップ（c）－（e）を複数回繰り返す、ことを実行するステップを備え、
    前記予測段階は、
    前記更新されたモデルを使用して、前記電子商取引プラットフォーム上のユーザとアイテムのペアに関して、前記電子商取引プラットフォーム上のユーザ－アイテム相互作用値の予測を取得すること、を実行する、
    機械学習方法。
  2. 前記ショップ固有パラメータ調整と前記グローバルパラメータ調整は、勾配降下法を用いて算出され、前記ショップ固有パラメータ調整と前記グローバルパラメータ調整は、勾配ステップである、
    請求項１に記載の機械学習方法。
  3. ショップにより前記電子商取引プラットフォーム上で販売されたアイテムと、複数のテストユーザのそれぞれについて、予測される相互作用値に基づいて、1人以上のテストユーザを前記ショップに推薦するステップを、さらに含む、
    請求項１に記載の機械学習方法。
  4. テストユーザと、前記電子商取引プラットフォーム上の複数のアイテムのそれぞれについて、予測される相互作用値に基づいて、前記テストユーザに１つ以上のアイテムを推奨すること、をさらに含む、
    請求項１に記載の機械学習方法。
  5. 前記第１訓練データセットのサイズは、前記サンプルバッチ内の各ショップについて実質的に同じサイズである、
    請求項１に記載の機械学習方法。
  6. ショップの前記第２訓練データセットは、前記電子商取引プラットフォームにおけるショップの販売量の大きさに対応する、
    請求項１に記載の機械学習方法。
  7. コンピュータシステムによって実行され、異なる販売量を有する異なるショップからの商品を含む電子商取引プラットフォーム上で、ユーザ－アイテム相互作用値を予測する機械学習モデルを訓練するための訓練方法であって、
    訓練段階を含み、前記訓練段階は、
    前もって訓練された機械学習モデルであって、前記異なる販売量を有する異なるショップを含む前記電子商取引プラットフォーム上のユーザデータとアイテムデータに基づいて、ユーザ－アイテム相互作用を予測する機械学習モデルを取得する取得ステップと、
    前記機械学習モデルを修正して、販売量の多いショップに有利なサンプル選択バイアスを低減させる修正ステップと、を備え、
    前記修正ステップは、
    （ａ）前記電子商取引プラットフォーム上のショップのサンプルバッチであって、小型カテゴリのショップと大型カテゴリのショップを含むサンプルバッチを特定するステップであって、前記小型カテゴリと前記大型カテゴリは、前記電子商取引プラットフォーム上の販売量閾値に関連して定義され、前記小型カテゴリのショップは、前記大型カテゴリのショップよりも前記電子商取引プラットフォーム上の販売量が少なく、
    （ｂ）前記サンプルバッチ内の各ショップについて、第１訓練データセットと第２訓練データセットを取得するステップであって、各ショップについて、前記第１訓練データセットと第２訓練データセットはそれぞれ、前記ショップ内のアイテムに関するアイテムデータと、前記ショップ内のアイテムに関するユーザ－アイテム相互作用データを含むユーザデータと、を有し、
    （ｃ）前記サンプルバッチの各ショップに対して、
    前記ショップが前記小型カテゴリに含まれるか、又は大型カテゴリに含まれるかを判断し、
    前記ショップが前記小型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記ショップの前記第１訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第１正則化項を算出し、
    前記第１ショップ固有損失と、前記ショップの第１正則化項の組合せに基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記ショップ固有パラメータ調整を前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用は、前記ショップの前記第２訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第２訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出し、
    前記ショップの前記第２訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第２正則化項を算出すること、を実行し、
    前記ショップが前記大型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記第１ショップ固有損失に基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記第１ショップ固有パラメータ調整を、前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、
    前記ショップの前記第２訓練データセットにおけて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出する、ステップを実行し
    （ｄ）(1)前記大型カテゴリに含まれるショップの前記第２ショップ固有損失と、(2)前記小型カテゴリに含まれるショップの前記第２ショップ固有損失と前記第２正則化項の組合せに基づいて、前記機械学習モデルのグローバルパラメータ調整を算出するステップと、
    （ｅ）前記グローバルパラメータ調整を用いて、前記機械学習モデルのパラメータを調整することにより、更新された機械学習モデルを生成するステップと、
    （ｆ）前の繰り返しで更新された機械学習モデルが、次の繰り返しの機械学習モデルになるように、ステップ（c）－（e）を複数回繰り返す、ことを実行するステップを備える、
    訓練方法。
  8. 前記ショップ固有パラメータ調整と前記グローバルパラメータ調整は、勾配降下を使用して算出され、前記ショップ固有パラメータと前記グローバルパラメータ調整は、勾配ステップである、
    請求項７に記載の訓練方法。
  9. 前記第１訓練データセットが、前記サンプルバッチ内のショップの各々について実質的に同じサイズである、
    請求項７に記載の訓練方法。
  10. 前記ショップに対する前記第２訓練データセットサイズは、前記電子商取引プラットフォームにおける前記ショップの販売量のサイズに対応する、
    請求項９に記載の訓練方法。
  11. 異なる販売量を有する異なるショップの商品を含む電子商取引プラットフォームにおいて、ユーザとアイテムの相互作用値を予測するための予測システムであって、
    機械コードのセットを使用してプログラムされた命令を実行するように構成されたプロセッサと、
    プロセッサに結合された１つ以上のメモリユニットと、
    当該システムの前記１つ以上のメモリユニットに格納され、ユーザ入力とアイテム入力を取得し、前記電子商取引プラットフォーム上のユーザとアイテムの予測されたユーザ相互作用値に対応するユーザ相互作用スコアを出力する機械学習モデルであって、前記出力を生成するために前記機械コードに実装された算出命令を含む機械学習モデルと、を備え、
    前記機械学習モデルは、訓練方法により訓練され、
    前記訓練方法は、
    （ａ）前記電子商取引プラットフォーム上のショップのサンプルバッチであって、小型カテゴリのショップと大型カテゴリのショップを含むサンプルバッチを特定するステップであって、前記小型カテゴリと前記大型カテゴリは、前記電子商取引プラットフォーム上の販売量閾値に関連して定義され、前記小型カテゴリのショップは、前記大型カテゴリのショップよりも前記電子商取引プラットフォーム上の販売量が少なく、
    （ｂ）前記サンプルバッチ内の各ショップについて、第１訓練データセットと第２訓練データセットを取得するステップであって、各ショップについて、前記第１訓練データセットと第２訓練データセットはそれぞれ、前記ショップ内のアイテムに関するアイテムデータと、前記ショップ内のアイテムに関するユーザ－アイテム相互作用データを含むユーザデータと、を有し、
    （ｃ）前記サンプルバッチの各ショップに対して、
    前記ショップが前記小型カテゴリに含まれるか、又は大型カテゴリに含まれるかを判断し、
    前記ショップが前記小型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記ショップの前記第１訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第１正則化項を算出し、
    前記第１ショップ固有損失と、前記ショップの第１正則化項の組合せに基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記ショップ固有パラメータ調整を前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用は、前記ショップの前記第２訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第２訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出し、
    前記ショップの前記第２訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第２正則化項を算出すること、を実行し、
    前記ショップが前記大型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記第１ショップ固有損失に基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記第１ショップ固有パラメータ調整を、前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、
    前記ショップの前記第２訓練データセットにおけて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出する、ステップを実行し
    （ｄ）(1)前記大型カテゴリに含まれるショップの前記第２ショップ固有損失と、(2)前記小型カテゴリに含まれるショップの前記第２ショップ固有損失と前記第２正則化項の組合せに基づいて、前記機械学習モデルのグローバルパラメータ調整を算出するステップと、
    （ｅ）前記グローバルパラメータ調整を用いて、前記機械学習モデルのパラメータを調整することにより、更新された機械学習モデルを生成するステップと、
    （ｆ）前の繰り返しで更新された機械学習モデルが、次の繰り返しの機械学習モデルになるように、ステップ（c）－（e）を複数回繰り返す、ことを実行するステップを備える、
    予測システム。
  12. 前記機械学習モデルは、
    前記ユーザ入力と前記アイテム入力を受け取り、前記ユーザ入力と前記アイテム入力を連結する連結モジュールと、
    連結された前記ユーザ入力と前記アイテム入力を受け取り、前記ユーザ－アイテム相互作用スコアを出力するニューラルネットワークエンコーダと、を含む、
    請求項１１に記載の予測システム。
  13. 前記機械学習モデルは、
    前記アイテムデータを受け取り、アイテム特徴表現を出力するアイテムニューラルネットワークエンコーダと、
    前記ユーザデータを受け取り、ユーザ特徴表現を出力するユーザニューラルネットワークエンコーダと、を備え、
    前記ユーザ－アイテム相互作用スコアは、前記ユーザ特徴表現と前記アイテム特徴表現のドット積を取得することにより生成される、
    請求項１１に記載の予測システム。
  14. 前記ショップ固有パラメータ調整と前記グローバルパラメータ調整は、勾配降下法を用いて算出され、前記ショップ固有パラメータ調整と前記グローバルパラメータ調整は、勾配ステップである、
    請求項１１に記載の予測システム。
  15. 前記第１訓練データセットのサイズは、前記サンプルバッチ内の各ショップについて実質的に同じサイズである、
    請求項１１に記載の予測システム。
  16. ショップの前記第２訓練データセットは、前記電子商取引プラットフォームにおける前記ショップの販売量の大きさに対応する、
    請求項１５に記載の予測システム。
  17. コンピュータシステムにより実行され、コンピュータシステムが、異なる販売量を有する異なるショップからの商品を含む電子商取引プラットフォームにおいて、ユーザ－アイテム相互作用値を予測するための方法を実行することを可能にする、非一時的コンピュータ可読媒体であって、
    該方法は、
    訓練段階と予測段階を含み、
    前記訓練段階は、
    前もって訓練された機械学習モデルであって、前記異なる販売量を有する異なるショップを含む前記電子商取引プラットフォーム上のユーザデータとアイテムデータに基づいて、ユーザ－アイテム相互作用を予測する機械学習モデルを取得する取得ステップと、
    前記機械学習モデルを修正して、販売量の多いショップに有利なサンプル選択バイアスを低減させる修正ステップと、を備え、
    前記修正ステップは、
    （ａ）前記電子商取引プラットフォーム上のショップのサンプルバッチであって、小型カテゴリのショップと大型カテゴリのショップを含むサンプルバッチを特定するステップであって、前記小型カテゴリと前記大型カテゴリは、前記電子商取引プラットフォーム上の販売量閾値に関連して定義され、前記小型カテゴリのショップは、前記大型カテゴリのショップよりも前記電子商取引プラットフォーム上の販売量が少なく、
    （ｂ）前記サンプルバッチ内の各ショップについて、第１訓練データセットと第２訓練データセットを取得するステップであって、各ショップについて、前記第１訓練データセットと第２訓練データセットはそれぞれ、前記ショップ内のアイテムに関するアイテムデータと、前記ショップ内のアイテムに関するユーザ－アイテム相互作用データを含むユーザデータと、を有し、
    （ｃ）前記サンプルバッチの各ショップに対して、
    前記ショップが前記小型カテゴリに含まれるか、又は大型カテゴリに含まれるかを判断し、
    前記ショップが前記小型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記ショップの前記第１訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第１正則化項を算出し、
    前記第１ショップ固有損失と、前記ショップの第１正則化項の組合せに基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記ショップ固有パラメータ調整を前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用は、前記ショップの前記第２訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第２訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出し、
    前記ショップの前記第２訓練データセットにおける全ての前記ユーザとアイテムのペアの前記ユーザ－アイテム相互作用スコアの逆数の総和の関数として、前記ショップの第２正則化項を算出すること、を実行し、
    前記ショップが前記大型カテゴリに含まれることに応答して、
    前記機械学習モデルを、前記ショップの前記第１訓練データセットのユーザデータとアイテムデータに適用して、前記第１訓練データセットの予測されたユーザ－アイテム相互作用を取得し、前記予測されたユーザ－アイテム相互作用を取得することは、前記ショップの前記第１訓練データセットの各ユーザとアイテムのペアについてユーザ－アイテム相互作用スコアを算出することを含み、
    前記ショップの前記第１訓練データセットにおいて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第１ショップ固有損失を算出し、
    前記第１ショップ固有損失に基づいて、前記機械学習モデルの第１ショップ固有パラメータ調整を算出し、
    前記第１ショップ固有パラメータ調整を、前記機械学習モデルに適用することにより、前記機械学習モデルのショップ固有バージョンを生成し、
    前記機械学習モデルの前記ショップ固有バージョンを、前記ショップの前記第２訓練データセットのユーザデータとアイテムデータに適用して、前記第２訓練データセットの予測されたユーザ－アイテム相互作用を取得し、
    前記ショップの前記第２訓練データセットにおけて、前記予測されたユーザ－アイテム相互作用と、実際のユーザ－アイテム相互作用との間の第２ショップ固有損失を算出する、ステップを実行し
    （ｄ）(1)前記大型カテゴリに含まれるショップの前記第２ショップ固有損失と、(2)前記小型カテゴリに含まれるショップの前記第２ショップ固有損失と前記第２正則化項の組合せに基づいて、前記機械学習モデルのグローバルパラメータ調整を算出するステップと、
    （ｅ）前記グローバルパラメータ調整を用いて、前記機械学習モデルのパラメータを調整することにより、更新された機械学習モデルを生成するステップと、
    （ｆ）前の繰り返しで更新された機械学習モデルが、次の繰り返しの機械学習モデルになるように、ステップ（c）－（e）を複数回繰り返す、ことを実行するステップを備え、
    前記予測段階は、
    前記更新されたモデルを使用して、前記電子商取引プラットフォーム上のユーザとアイテムのペアに関して、前記電子商取引プラットフォーム上のユーザ－アイテム相互作用値の予測を取得すること、を実行する、
    非一時的コンピュータ可読媒体。
  18. 前記電子商取引プラットフォーム上でショップにより販売されるアイテムと、複数のテストユーザのそれぞれについて、予測された相互作用値に基づいて、前記ショップに１人以上のテストユーザを推薦するステップを、さらに含む、
    請求項１７に記載の非一時的コンピュータ可読媒体。
  19. テストユーザと、前記電子商取引プラットフォーム上の複数のアイテムのそれぞれについて、予測された相互作用値に基づいて、前記テストユーザに１つ以上のアイテムを推奨すること、をさらに含む、
    請求項１７に記載の非一時的コンピュータ可読媒体。
  20. 前記第１訓練データセットのサイズは、前記サンプルバッチ内の各ショップについて実質的に同じサイズである、
    請求項１７に記載の非一時的コンピュータ可読媒体。
JP2022096136A 2021-07-14 2022-06-14 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体 Active JP7431890B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163221872P 2021-07-14 2021-07-14
US63/221,872 2021-07-14
US17/589,802 US11995665B2 (en) 2021-07-14 2022-01-31 Reducing sample selection bias in a machine learning-based recommender system
US17/589,802 2022-01-31

Publications (2)

Publication Number Publication Date
JP2023017702A true JP2023017702A (ja) 2023-02-07
JP7431890B2 JP7431890B2 (ja) 2024-02-15

Family

ID=82016337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022096136A Active JP7431890B2 (ja) 2021-07-14 2022-06-14 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体

Country Status (4)

Country Link
US (1) US11995665B2 (ja)
EP (1) EP4120174A1 (ja)
JP (1) JP7431890B2 (ja)
TW (1) TW202324207A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354184B1 (en) 2014-06-24 2019-07-16 Amazon Technologies, Inc. Joint modeling of user behavior
DE102018213454A1 (de) 2018-08-09 2020-02-13 Robert Bosch Gmbh Verfahren zum Betreiben eines Sensors zur Detektion von Teilchen in einem Messgas
US11093798B2 (en) 2018-12-28 2021-08-17 Palo Alto Research Center Incorporated Agile video query using ensembles of deep neural networks
CN111652364A (zh) 2019-03-04 2020-09-11 富士通株式会社 训练元学习网络的装置和方法
US20210110306A1 (en) * 2019-10-14 2021-04-15 Visa International Service Association Meta-transfer learning via contextual invariants for cross-domain recommendation
US11854022B2 (en) * 2019-10-22 2023-12-26 Sap Se Proactively predicting transaction dates based on sparse transaction data
US11494644B2 (en) 2019-11-20 2022-11-08 Rakuten Group, Inc. System, method, and computer program for recommending items using a direct neural network structure
EP3920100A1 (en) * 2020-06-03 2021-12-08 Naver Corporation Adaptive pointwise-pairwise learning to rank
US20220300804A1 (en) * 2021-03-22 2022-09-22 Accenture Global Solutions Limited Few-shot learning for multi- task recommendation systems

Also Published As

Publication number Publication date
EP4120174A1 (en) 2023-01-18
TW202324207A (zh) 2023-06-16
US11995665B2 (en) 2024-05-28
US20230033492A1 (en) 2023-02-02
JP7431890B2 (ja) 2024-02-15

Similar Documents

Publication Publication Date Title
CN111008858B (zh) 一种商品销量预测方法及系统
CN109102127B (zh) 商品推荐方法及装置
JP7460703B2 (ja) 共有されたニューラルアイテム表現をコールドスタート推薦に用いる改良型のレコメンダシステム及び方法
CN110599295B (zh) 物品的推送方法、装置及设备
JP7271630B2 (ja) 機械学習に基づくレコメンダシステムにおける入力及びパラメータの同時学習
Chen et al. An algorithm for low-rank matrix factorization and its applications
JP7441270B2 (ja) 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7423694B2 (ja) 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
Adam et al. Machine learning for demand estimation in long tail markets
US11334935B2 (en) Method, system, and manufacture for light hypergraph based recommendation
JP7431890B2 (ja) 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
JP7429260B2 (ja) 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
CN108304407B (zh) 一种进行对象排序的方法和系统
CN111400512B (zh) 一种筛选多媒体资源的方法及装置
CN113743440A (zh) 一种信息处理方法及装置、存储介质
CN110880141A (zh) 一种深度双塔模型智能匹配算法及装置
WO2022247878A1 (en) System, method, and computer-readable media for leakage correction in graph neural network based recommender systems
US11797961B2 (en) Vectorization of transactions
CN112102039B (zh) 物品推送方法、计算机系统及存储介质
US20230342672A1 (en) Method and system for classification and/or prediction on unbalanced datasets
CN111563783B (zh) 一种物品推荐方法及装置
US20220092634A1 (en) Information processing device and non-transitory computer readable medium
TW202407610A (zh) 具有樞紐成對距離損失和正交表示的單類別推薦系統
CN113129108A (zh) 基于Double DQN算法的产品推荐方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R150 Certificate of patent or registration of utility model

Ref document number: 7431890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150