JP2021166109A - 融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム - Google Patents

融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP2021166109A
JP2021166109A JP2021121052A JP2021121052A JP2021166109A JP 2021166109 A JP2021166109 A JP 2021166109A JP 2021121052 A JP2021121052 A JP 2021121052A JP 2021121052 A JP2021121052 A JP 2021121052A JP 2021166109 A JP2021166109 A JP 2021166109A
Authority
JP
Japan
Prior art keywords
fusion
ordering
model
search
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021121052A
Other languages
English (en)
Other versions
JP7321216B2 (ja
Inventor
チャン リャン
Liang Zhang
ツォン シアンチエン
Xiangjian Zeng
チン ツーハン
Cihang Jin
フー ティエンナン
Tiannan Fu
イン ルイナー
Ruina Yin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021166109A publication Critical patent/JP2021166109A/ja
Application granted granted Critical
Publication of JP7321216B2 publication Critical patent/JP7321216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】本開示は、融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラムを開示し、ディープラーニング等の人工知能の技術分野に関する。
【解決手段】検索の順序付け方法は、候補の検索結果に含まれる複数のターゲットの予測スコアを融合順序付けモデルに入力して融合順序付け結果を得ることと、該融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集することと、該フィードバック情報と、該複数のターゲットを用いて構築された関数である組合せ関数とを用いて、該初期の融合順序付けモデルを更新することと、を含む。本開示によれば、複数のターゲットのニーズのバランスを取ることに有利であり、得られた更新後の融合順序付けモデルは、より優れた検索の順序付け結果を提供することができる。
【選択図】図１

Description

本開示はコンピュータ技術分野に関し、特にディープラーニング等の人工知能の技術分野に関する。
検索エンジンでは、ユーザの入力により完成されたまたは検索提案により提示されたヒントにより、ウェブページのライブラリを検索し、検索語とマッチングした結果を取得し、順序付けしてユーザに返す。ユーザーは、検索語によって明確に表現された情報に関するニーズに加えて、関連する複数の情報に関するニーズを持つ場合もよくある。そのため、多くの人気のある検索エンジンでは、一定の推薦機能を持ち、これらの関連する情報に関するユーザーのニーズを満たす。検索提案や検索推薦を通じて、検索エンジンにおいてユーザーのニーズを誘導し刺激することができ、検索の効率を向上させることができる。しかし、伝統的な検索エンジンの順序付け策略、とりわけ検索提案や検索推薦において、主に正常な結果に価値の高いコンテンツを挿入する方式により検索エンジンの収益力を高めるため、ユーザーのニーズと使用効率に影響を及ぼし、比較的に高い価値転化が達成できず、多種多様なニーズのバランスを取ることが難しい。
本開示は、融合順序付けモデルの訓練方法、検索の順序付け方法、装置、デバイス、及び記憶媒体を提供する。
本開示の１つの態様では、本開示の実施形態は、候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力して融合順序付け結果を得ることと、前記融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集することと、前記フィードバック情報と、前記複数のターゲットを用いて構築された関数である組合せ関数とを用いて、前記初期の融合順序付けモデルを更新し、更新された融合順序付けモデルを得ることと、を含む、融合順序付けモデルの訓練方法を提供する。
本開示のもう１つの様態では、本開示の実施形態は、候補の検索結果に含まれる複数のターゲットの予測スコアを更新された融合順序付けモデルに入力し、更新された融合順序付け結果を得ることを含み、前記更新された融合順序付けモデルは、本開示の実施形態によるいずれか１つの融合順序付けモデルの訓練方法により訓練して得られたものである、検索の順序付け方法を提供する。
本開示の第３様態では、本開示の実施形態は、候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力して融合順序付け結果を得るための融合順序付けモジュールと、前記融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集するためのフィードバック収集モジュールと、前記フィードバック情報と、前記複数のターゲットを用いて構築された関数である組合せ関数とを用いて、前記初期の融合順序付けモデルを更新し、更新された融合順序付けモデルを得る更新モジュールと、を備える、融合順序付けモデルの訓練装置を提供する。
本開示の第４様態では、本開示の実施形態は、候補の検索結果に含まれる複数のターゲットの予測スコアを更新された融合順序付けモデルに入力し、更新された融合順序付け結果を得るための融合順序付けモジュールを備え、前記更新された融合順序付けモデルは、本開示のいずれか１つの実施形態による融合順序付けモデルの訓練方法により訓練して得られたものである、検索の順序付け装置を提供する。
本開示のもう１つの様態では、本開示の実施形態は、プロセッサにより実行されると、本開示のいずれか１つの実施形態による方法を実現するプログラムを提供する。
本開示によれは、複数のターゲットのニーズをバランスよく満たすことが容易であり、得られた更新後の融合順序付けモデルは、より良い検索の順序付け結果を提供することができる。
なお、ここで記載されている内容は、本開示の実施形態においてキーとなっている、又は重要視されている特徴、本開示の範囲を限定しているわけではない。本開示の他の特徴は下記の明細書の記載によって理解しやすくなる。
本開示の１つの実施形態による融合順序付けモデルの訓練方法のフローチャートである。 本開示の１つの実施形態による検索の順序付け方法のフローチャートである。 本開示のもう１つの実施形態による検索の順序付け方法のフローチャートである。 本開示の１つの実施形態による検索の順序付けのフレームワークの一例の概略図である。 本開示の１つの実施形態による融合順序付けモデルの訓練装置のブロック図である。 本開示の１つの実施形態による検索の順序付け装置のブロック図である。 本開示のもう１つの実施形態による検索の順序付け装置のブロック図である。 本開示の１つの実施形態を実現するための例示的電子デバイスのブロック図である。
上記の図面は、よりよく本開示を理解させるためのものであり、本開示を限定するものではない。
下記において、図面を参照して本開示の例示的な実施形態を説明し、理解しやすくするために、本開示の実施形態の細部を記載しており、それらが例示的なものであると理解すべきである。そのため、本開示の範囲と思想に反しない前提で、ここで記載されている実施形態に対して変更、修正を行うことができることを当業者は認識すべきである。同様に、明確化と簡略化のために、下記の記載は公知機能と構造を省略したものとする。
図１は本開示の１つの実施形態による融合順序付けモデルの訓練方法のフローチャートである。この方法は、下記のステップを含むことができる。
ステップＳ１１において、候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力して融合順序付け結果を得る。
ステップＳ１２において、該融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集する。
ステップＳ１３において、該フィードバック情報と、該複数のターゲットを用いて構築された関数である組合せ関数とを用いて、該初期の融合順序付けモデルを更新し、更新された融合順序付けモデルを得る。
例示的に、候補の検索結果は複数であってもよい。あるキーワードに基づいて複数の候補の検索結果を得ることができる。これらの候補の検索結果は、複数のターゲットの予測スコアを含むことができる。
例えば、あるキーワードに基づいて３つのウェブページリンクが検索された場合に、各ウェブページリンクに含まれる複数のターゲットの予測スコアを取得することができる。複数のターゲットはそれぞれＣＴＲとＣＰＭである。ウェブページＡのＣＴＲの予測スコアをＡ１、ＣＰＭの予測スコアをＡ２とする。ウェブページＢのＣＴＲの予測スコアをＢ１、ＣＰＭの予測スコアをＢ２とする。ウェブページＣのＣＴＲの予測スコアをＣ１、ＣＰＭの予測スコアをＣ２とする。
各候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力した後、初期の融合順序付けモデルにより各候補の検索結果に対して、二回目の順序付けをし、初期の融合順序付け結果を得ることができる。例えば、元の順序付けがウェブページＡ、ウェブページＢ、及びウェブページＣであるとする。融合順序付けモデルにより融合順序付けした結果、ウェブページＡのスコアがウェブページＢのスコアよりも小さくなり、順序付けが調整された融合順序付け結果はウェブページＢ、ウェブページＡ、ウェブページＣとなる。
融合順序付け結果に基づいて、複数のユーザが融合順序付け結果に含まれる個々の検索結果をクリックするなどのフィードバック操作を行うことができる。各検索結果に含まれる複数のターゲットに対応する統計データ、すなわちフィードバック情報をそれぞれ収集することができる。例えば、ウェブページＢの実際のＣＴＲとＣＰＭ、ウェブページＡの実際のＣＴＲとＣＰＭ、ウェブページＣの実際のＣＴＲとＣＰＭである.
収集されたフィードバック情報と、予め設定された組合せ関数とに基づいて、融合順序付けモデルのパラメータを適応的に更新することができる。組合せ関数は、複数のターゲットに基づいて構築することができる。例えば、ＣＴＲとＣＰＭとに基づいて組合せ関数を構築することができる。この組合せ関数に基づいて、これら複数のターゲットの評価スコアを算出することができる。これに基づいて、進化アルゴリズム等のモデルパラメータ更新アルゴリズムを用いて、融合順序付けモデルのパラメータを反復して更新し、最終的に融合順序付けモデルを複数のターゲットのニーズに近づける。更新された融合順序付けモデルを用いて、より複数のターゲットのニーズに合致した検索結果の順序付けを得ることができる。検索結果に基づく順序付けは、検索エンジンにおいて、より複数のターゲットのニーズに合致する検索提案、検索推薦などを提示することができる。例えば、検索エンジンでは、よりクリック率が高く、より低コストの検索提案や検索推薦などを提示することができる。
本開示の実施形態は、複数のターゲットのニーズのバランスを取ることに有利であり、結果として得られる更新された融合順序付けモデルは、より優れた検索の順序付け結果を提供することができる。
本開示の別の実施形態は、図１に示す実施形態の各ステップを含むことができる融合順序付けモデルの訓練方法を提供する。本実施形態では、候補の検索結果に含まれる複数のターゲットの予測スコアは、複数のターゲットの予測モデルを用いて得られることができる。
例示的に、各ターゲットは、対応する予測モデルを有することができる。例えば、ＣＴＲは対応するＣＴＲ予測モデルを有し、クリック数は対応するクリック数予測モデルを有し、ＣＰＭは対応するＣＰＭ予測モデルを有し、総収入は対応する総収入予測モデルを有する。
例示的に、各候補の検索結果のリコールデータ及び特徴データのうち少なくとも１つは、それぞれ複数のターゲットの予測モデルに入力されて、各候補の検索結果に含まれる複数のターゲットの予測スコアを得ることができる。複数のターゲットの予測モデルを用いることにより、各ターゲットの特性に応じた予測スコアを容易に取得することができる。その後、ステップＳ１１、ステップＳ１２、ステップＳ１３を実行する。
さらに、フィードバック情報と組合せ関数とを用いて、初期の融合順序付けモデルを更新するプロセスは、反復して更新するプロセスであってもよい。毎回更新された融合順序付けモデルを次回の初期の融合順序付けモデルとし、継続的にフィードバック情報と組合せ関数とを用いて更新をすることで、融合順序付けモデルの動的更新を実現することができる。
融合順序付け結果に対するフィードバック情報を得るために、検索エンジンでは検索推薦、検索提案などの形式で融合順序付け結果を提示することができる。ユーザは、提示された提示融合順序付け結果の中のある検索結果に興味を持ってクリックなどの操作を行った可能性がある。各検索結果に含まれる各ターゲットに対応する実際の統計データをフィードバック情報として収集することができる。例えば、提示された各推薦項目のクリック率、クリック数、総収入、ＣＰＭなどをそれぞれ収集する。検索エンジンにより、この融合順序付け結果を含む検索提案及び検索推薦のうち少なくとも１つを直感的に表示することができ、融合順序付け結果に対するユーザのフィードバック情報を取得することにも有利である。
１つの実施形態では、複数のターゲットは、トラフィックに関連する第１の種類のターゲットと、収入に関連する第２の種類のターゲットとを含む。第１の種類のターゲットはトラフィックに関連し、第２の種類のターゲットは収入に関連しており、ユーザーのニーズと結果価値のバランスを取ることに有利であり、ユーザーのニーズに合致した検索の順序付け結果を提供し、収入を向上させることができる。
１つの実施形態では、該第１の種類のターゲットは、クリック数とクリック率のうちの少なくとも１つを含み、該第２のターゲットは、ＣＰＭと総収入のうちの少なくとも１つを含む。
例えば、クリック数は、候補の検索結果、提示された検索推薦における推薦項目、または検索提案における提案項目などがクリックされた回数であってもよい。
例えば、クリック率はＣＴＲ（Ｃｌｉｃｋ Ｔｈｒｏｕｇｈ Ｒａｔｅ、クリック・スルー・レート）とも呼ばれる。１つの応用シーンでは、クリック率は、ネットワーク広告のクリック到達率、すなわち広告の実際のクリック数とすることができる。本実施形態では、クリック率は、候補の検索結果、検索推薦における推薦項目、または検索提案における提案項目などがクリックされた回数と提示された回数との比であってもよい。
例えば、ＣＰＭ（Ｃｏｓｔ Ｐｅｒ Ｍｉｌｌｅ、コスト・パー・ミル）は、広告効果を測ることができる基本的な形式である。ＣＰＭは、広告が１０００人に提示されるごとに費やされるコストを算出することができる。本開示の実施形態では、クリック率は、候補の検索結果、検索推薦における推薦項目、または検索提案における提案項目などを千人に提示するために費やされるコストであってもよい。
例えば、総収入は、候補の検索結果、検索推薦における推薦項目などの総収入とすることができる。
クリック数、クリック率はトラフィックに関連し、ＣＰＭ、総収入は収入に関連するため、ユーザーのニーズと結果価値のバランスを取ることに有利であり、ユーザーのニーズに合致した検索順序付け結果を提供し、収入を向上させることができる。
１つの実施形態では、融合順序付けモデルは、下記のモデルの少なくとも１つを含む。
例１は、第１の種類のターゲットと第２の種類のターゲットとの予測スコアを線形加算して、融合順序付けスコアを算出する線形モデルである。
例えば、ＣＴＲの予測スコアとＣＰＭの予測スコアとを線形加算して、融合順序付けスコアを算出する。
また、例えば、クリック数の予測スコアと総収入の予測スコアとを線形加算して、融合順序付けスコアを算出する。
また、例えば、ＣＴＲの予測スコアと、クリック数の予測スコアと、総収入の予測スコアとを線形加算して、融合順序付けスコアを算出する。
また、例えば、ＣＴＲの予測スコアと、クリック数の予測スコアと、ＣＰＭの予測スコアと、総収入の予測スコアとを線形加算して、融合順序付けスコアを算出する。
例２は、第１の種類のターゲット及び第１の種類のターゲットの予測スコアを離散化または拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出する深層モデルである。
例えば、ＣＴＲの予測スコア及びＣＰＭの予測スコアを離散化または拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出する。
また、例えば、クリック数の予測スコア及び総収入の予測スコアを離散化または拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出する。
また、例えば、ＣＴＲの予測スコア、クリック数の予測スコア及び総収入の予測スコアを離散化または拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出する。
また、例えば、ＣＴＲの予測スコア、クリック数の予測スコア、ＣＰＭの予測スコア及び総収入の予測スコアを離散化または拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出する。
例３は、第１の種類のターゲットと第２の種類のターゲットとの予測スコアを、指数及び対数のうち少なくとも１つの形式で組み合わせて、融合順序付けスコアを算出するフィッティングモデルである。このフィッティング関数は、特定の構造を限定することなく、具体的には実際の応用シーンに合わせて調整することができる。
例えば、ＣＴＲの予測スコアとＣＰＭの予測スコアとを、指数の形式で組み合わせて、融合順序付けスコアを算出する。
また、例えば、クリック数の予測スコアと総収入の予測スコアを、対数の形式で組み合わせて、融合順序付けスコアを算出する。
また、例えば、ＣＴＲの予測スコアと、ＣＰＭの予測スコアと、クリック数の予測スコアと、総収入の予測スコアとを、指数及び対数のうち少なくとも１つの形式で組み合わせて、融合順序付けスコアを算出する。
トラフィックに関連する第１の種類のターゲットと収入に関連する第２の種類のターゲットとを使用して融合順序付けモデルを構築することは、融合順序付けモデルによって得られた検索順序付け結果がユーザのニーズを満たし、収入を向上させることに有利である。
１つの実施形態では、組合せ関数は、下記の少なくとも１つを含む。
例１は、トラフィック損失割合と収入上昇割合とに基づいて構築されたトラフィックと収入の対変換関数である。
以下に、トラフィックと収入の対変換関数のいくつかの例を示す。
例えば、評価スコア＝クリック数損失割合／ＣＰＭ上昇割合である。
また、例えば、評価スコア＝クリック数損失割合／総収入上昇割合である。
また、例えば、評価スコア＝ＣＴＲ損失割合／ＣＰＭ上昇割合である。
また、例えば、評価スコア＝ＣＴＲ損失割合／総収入上昇割合である。
例２は、トラフィック損失割合と収入上昇割合とに基づいて構築された指数融合関数である。
以下に、指数融合関数のいくつかの例を示す。
例えば、評価スコア＝ｅｘｐ（クリック数損失割合）―ｅｘｐ（ＣＰＭ上昇割合）である。
また、例えば、評価スコア＝ｅｘｐ（クリック数損失割合）―ｅｘｐ（総収入上昇割合）である。
また、例えば、評価スコア＝ｅｘｐ（ＣＴＲ損失割合）―ｅｘｐ（ＣＰＭ上昇割合）である。
また、例えば、評価スコア＝ｅｘｐ（ＣＴＲ損失割合）―ｅｘｐ（総収入増加割合）である。
例３は、トラフィックゲインと収入ゲインとに基づいて構築された片側抑制融合関数である。
例えば、収集されたフィードバック情報に基づいてベースラインデータ及び実験データを得ることができる。ベースラインデータと実験データがトラフィックゲインと収入ゲインにより構築され、さらにトラフィックゲインと収入ゲインに基づく片側抑制融合関数の構築に利用される。
トラフィックに関連する第１の種類のターゲットと収入に関連する第２の種類のターゲットとを使用して組合せ関数を構築し、組合せ関数を用いて融合順序付けモデルを評価し更新することは、更新された融合順序付けモデルを、トラフィックと収入のバランスをグローバル的最適解に近づくことに有利であり、得られた検索の順序付け結果はユーザのニーズを満たし、収入を高めることができる。
図２は本開示の１つの実施形態による検索の順序付け方法のフローチャートである。この方法は、下記のステップを含むことができる。
ステップＳ２１において、候補の検索結果に含まれる複数のターゲットの予測スコアを更新された融合順序付けモデルに入力し、更新された融合順序付け結果を得る。
ここで、該更新された融合順序付けモデルは、上記のいずれかの実施形態における融合順序付けモデルの訓練方法により訓練されて得られたものであってもよい。
例示的に、あるキーワードに基づいて複数の候補の検索結果が得られることができる。これらの候補の検索結果は、複数のターゲットの予測スコアを含むことができる。具体例としては、融合順序付けモデルの訓練方法の実施形態における関連の説明を参照することができるが、ここでは言及しない。融合順序付けモデルの訓練プロセスで使用される候補の検索結果は、検査の順序付けプロセスで使用される候補の検索結果と同じであってもよいし異なっていてもよい。また、使用される候補の検索結果は、シーンによって異なっていてもよい。例えば、異なるキーワードを用いて得られる候補の検索結果は異なっていてもよい。
各候補の検索結果に含まれる複数のターゲットの予測スコアを更新された融合順序付けモデルに入力した後、更新された融合順序付けモデルにより各候補の検索結果に対して二回目の順序付けをして更新された融合順序付け結果を得ることができる。
本実施形態では、更新された融合順序付けモデルは複数のターゲットのバランスを取ることができ、結果として得られる検索の順序付け結果はより優れている。例えば、トラフィックと収入のターゲットとに基づいて訓練して得られた更新された融合順序付けモデルは、トラフィックと収入をバランスさせるグローバル的最適解に近づき、得られた検索の順序付け結果はユーザのニーズを満たし、収入を向上させることができる。
図３は本開示のもう１つの実施形態による検索の順序付け方法のフローチャートである。本実施形態による検索の順序付け方法は、上述した検索の順序付け方法の実施形態の様々なステップを含むことができる。本実施形態では、この方法はさらに、以下のステップを含むことができる。
ステップＳ３１において、複数ターゲットの予測モデルを用いて、候補の検索結果に含まれる複数ターゲットの予測スコアを取得する。
例示的に、各ターゲットは、対応する予測モデルを有することができる。例えば、ＣＴＲは対応するＣＴＲ予測モデルを有し、クリック数は対応するクリック数予測モデルを有し、ＣＰＭは対応するＣＰＭ予測モデルを有し、総収入は対応する総収入予測モデルを有する。
例示的に、各候補の検索結果のリコールデータ及び特徴データのうち少なくとも１つは、それぞれ複数のターゲットの予測モデルに入力され、各候補の検索結果に含まれる複数のターゲットの予測スコアを得ることができる。複数のターゲットの予測モデルを用いることにより、各ターゲットの特性に応じた予測スコアを容易に取得することができる。次にステップＳ２１を実行し、各候補の検索結果に含まれる複数のターゲットの予測スコアを更新された融合順序付けモデルに入力して、更新された融合順序付け結果を得る。
１つの実施形態では、この方法はさらに、下記のステップを含む。
ステップＳ３２において、該融合順序付け結果を含む検索提案及び検索推薦のうち少なくとも１つを検索エンジンにおいて提示する。
例示的に、融合順序付け結果は、検索推薦、検索提案などの形式で検索エンジンにおいて提示されてもよい。ユーザは、提示された提示融合順序付け結果の中のある検索結果に興味を持ち、クリックなどの操作を行った可能性がある。各検索結果に含まれる各ターゲットに対応する実際の統計データをフィードバック情報として収集することができる。例えば、提示された各推薦項目のクリック率、クリック数、総収入、ＣＰＭなどをそれぞれ収集する。検索エンジンにより、この融合順序付け結果を含む検索提案及び検索推薦のうち少なくとも１つを直感的に提示することができ、融合順序付け結果に対するユーザのフィードバック情報を取得することにも有利である。検索順序付け過程において得られた融合順序付け結果に対するフィードバック情報は、訓練過程にも利用でき、継続して融合順序付けモデルを訓練し、融合順序付けモデルの動的更新を実現する。
本開示の実施形態の検索の順序付け方法は、ユーザの関連ニーズと収益力とのバランスをとり、実現化効率をさらに向上させながら、より高品質なユーザーパフォーマンスを提供するための、新しい検索エンジンにおける検索提案及び推薦順序付けアルゴリズムである。
図４に示すように、本開示の実施形態による検索順序付けフレームワークの一例では、全体的なプロセスには、基礎となるモジュールが、融合する必要がある複数のターゲットに対してそれぞれ計算してスコアを与えることを含み、ターゲットは、ＣＴＲ、ＣＰＭ、または品質スコアのような推定値を含むが、これらに限定されない。融合順序付けモジュールは、複数のターゲットのそれぞれのスコアを融合して最終的な順序付けスコアを算出する。融合プロセスにおいて、事前に算出されたモデルの初期パラメータを使用して最終スコアを算出することができる。各ターゲットの実際の統計値を収集することにより、パラメータの各オンラインの実際の効果を得ることができる。次に、適応型パラメータ調整モジュールは、それぞれのターゲットの実際の効果に基づいて反復パラメータを更新する。継続的なパラメータの反復により、順序付け結果を複数のターゲットのグローバル的最適解に近づける。
例示的に、上記のプロセスは、以下に示すいくつかのモジュールによって実現されてもよい。
１．複数ターゲットスコア計算モジュール
複数ターゲットスコア計算モジュールは、ビジネスシーンにおいて、それぞれのターゲットのニーズに基づいてリコールデータ及び特性データを取得することができる。ここで、リコールデータの内容は、検索提案のプレフィックス・クエリ（ｑｕｅｒｙ）組み合わせ、検索推薦結果などを含むことができる。例えば、プレフィックス「劉」はユーザーの行為やクエリ（ｑｕｅｒｙ）に基づいてプレフィックスを生成するなどの方法で「劉某某」をリコールする。リコールデータの内容には、検索クエリ（ｑｕｅｒｙ）後リコールされる関連推薦を含んでもよい。例えば、「劉某某」を検索した後、推薦項目「張某某」などをリコールする。特徴データには、検索提案クリック数、推薦クリック数、クエリ（ｑｕｅｒｙ）検索共起数、テキスト埋め込み（ｅｍｂｅｄｄｉｎｇ）などの特徴を含むことができる。ここで、検索共起の例としては、クエリ語Ａを検索した後にクエリ語Ｂを検索することが挙げられ、ＡとＢは１回の共起を構成することができる。
モデルやルールなどの方法で複数のターゲットのそれぞれのスコアを取得する。クリックと収入の２つのターゲットを例にして、複数のターゲットがそれぞれすべてのリコールデータと特徴データを取得した後、クリックターゲットについて、クリック通過率（ＣＴＲ）予測モデル、例えばディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＤＮＮ）、極端勾配上昇（ｅＸｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ、ＸＧＢｏｏｓｔ）などのモデルにより、各候補のクリック率を算出する。収入ターゲットについては、履歴ＣＰＭを統計するか、またはユーザの特徴、行動統計などの特徴に基づいてそれぞれのＣＰＭを予測しクエリする（ｑｕｅｒｙ）。それぞれのスコアの計算が完了した後、下流にある融合順序付けモジュールによって順序付けすることができる。
２．融合順序付けモジュール
融合順序付けモジュールの主な役割は、複数のターゲットの結果を融合し、検索結果に対して二回目の順序付けをし、最終的な順序付け結果が複数のターゲットの最適解する。融合順序付けモジュールでは、各ターゲットの基礎のモデルで算出されたスコアを用いて、融合順序付けモデルによって最終的な順序付けスコアを得、これを最終的な順序付け結果として提示することができる。例示的に、融合順序付けモデルは、線形モデル、深層モデル、または特定の構造を限定しないフィッティングモデルなどを含むことができる。例えば、線形モデルは、クリック率スコアを収入スコアに線形加算するために用いることができる。また、深層モデルは、クリック率及び収入スコアを離散化または拡張し、多層ニューラルネットワークによりスコアを算出するために用いることができる。また、特定の構造を限定しないフィッティングモデルは、複数のターゲットを、指数、対数などの形式で組み合わせてスコアを算出することができる。
３．複数ターゲットフィードバック収集モジュール
融合順序付けを経て、結果は検索エンジンにおいて推薦、検索提案などの製品の形式で提示される。そして、ユーザは、提示された検索結果に興味を持ってクリックなどの操作を行った可能性がある。この複数ターゲットフィードバック収集モジュールにより、各ターゲットに対応する実際の統計データを収集することができる。例えば、推薦項目のクリック数、総収入、ＣＰＭなど、各ターゲットに対応するコアメトリックを収集する。
４．適応型パラメータ更新モジュール
パラメータ更新モジュールでは、あらかじめ設計された最適組合せ案により、複数のターゲットの統計数を組合せ、唯一の評価スコアを算出することができる。例えば、算出方法は、下記のうちの少なくとも１つを含むがこれらに限定されないものであってもよい。
トラフィックと収入の対変換関数
この方式では、トラフィックに関連するターゲットの損失割合と、収入に関連するターゲットの上昇割合と、に基づいて評価関数を構築することができる。
例えば、評価スコア＝クリック数損失割合／ＣＰＭ上昇割合である。
また、例えば、評価スコア＝クリック数損失割合／総収入上昇割合である。
また、例えば、評価スコア＝ＣＴＲ損失割合／ＣＰＭ上昇割合である。
また、例えば、評価スコア＝ＣＴＲ損失割合／総収入上昇割合である。
指数融合
この方式では、トラフィックに関連するターゲットの損失割合と、収入に関連するターゲットの上昇割合と、に基づいて評価関数を構築することができる。
例えば、評価スコア＝ｅｘｐ（クリック数損失割合）―ｅｘｐ（ＣＰＭ上昇割合）である。
また、例えば、評価スコア＝ｅｘｐ（クリック数損失割合）―ｅｘｐ（総収入上昇割合）である。
また、例えば、評価スコア＝ｅｘｐ（ＣＴＲ損失割合）―ｅｘｐ（ＣＰＭ上昇割合）である。
また、例えば、評価スコア＝ｅｘｐ（ＣＴＲ損失割合）―ｅｘｐ（総収入増加割合）である。
ここで、ｅｘｐ（）は自然定数ｅを底とする指数関数を表すことができる。
片側抑制融合
この方式では、トラフィックに関するターゲットの実験データ例と、収入に関するターゲットのベースラインデータと、に基づいて評価関数を構築することができる。
例えば、
Figure 2021166109
ここでは、rewardchargeは、収入ゲインを表すことができ、ΔCTRは、クリックゲインを表すことができる。CPMexprは、ＣＰＭの実験データを表すことができ、CPMbaseは、ＣＰＭのベースラインデータを表すことができる。ここで、パラメータａとパラメータｎは、複数のターゲットの統計値（収入ゲイン、クリックゲイン）を最終的な単一次元reward（評価指標）に変換するための値を調整するために、手動で経験値を設定することができる。パラメータａの値は調整可能であり、例えばａの初期値は１００に等しくてもよい。パラメータｎの値を調整することもできる。CTRbaseは、ＣＴＲのベースラインデータを表すことができ、CTRexprは、ＣＴＲの実験データを表すことができる。ｅｘｐ（）は自然定数ｅを底とする指数関数を表すことができる。
パラメータ更新モジュールにおけるスコアの算出方法は、融合順序付けの算出方法と異なることができ、経験的な組み合わせなどで設定された評価関数で直接計算し、このスコアを最終的な順序付けに対する複数のターゲットでの評価スコアとすることができる。その上で、進化アルゴリズム、例えばＥＳ（Ｅｖｏｌｕｔｉｏｎ Ｓｔｒａｔｅｇｙ、進化戦略）、ＣＭＡ―ＥＳ（Ｃｏｖａｒｉａｎｃｅ Ｍａｔｒｉｘ Ａｄａｐｔａｔｉｏｎ Ｅｖｏｌｕｔｉｏｎ Ｓｔｒａｔｅｇｙ、共分散行列適応進化戦略）などによって反復して融合順序付けモデルのパラメータを更新し、最終的に融合順序付けモデルを複数のターゲットで最適解に近づける。このシーンでは、収入と推薦クリックをグローバルに最大化する。
本開示の実施形態による検索の順序付け方法、ユーザの関連ニーズと収益力のバランスを取ることができ、検索エンジンにおいてユーザにより質の高い製品パフォーマンスを提供するとともに実現効率を向上させることができ、ユーザニーズに合致した結果の中から価値の高い推薦結果を誘導し拡大することができる、検索エンジンにおける検索提案と検索推薦の順序付け方法を実現することができる。現在主流の検索エンジンと比べ、全体的なユーザーパフォーマンスを保証し、ユーザーのニーズを満たすと同時に、収入を効果的に向上させる。
図５は本開示の１つの実施形態による融合順序付けモデルの訓練装置のブロック図である。
この装置は、候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力して融合順序付け結果を得るための融合順序付けモジュール５１と、該融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集するためのフィードバック収集モジュール５２と、該フィードバック情報と、複数のターゲットを用いて構築された関数である組合せ関数とを用いて、該初期の融合順序付けモデルを更新し、更新された融合順序付けモデルを得るための更新モジュール５３と、を備えることができる。
本開示のもう１つの実施形態は融合順序付けモデルの訓練装置を提供し、この融合順序付けモデルの訓練装置は、図５に示す実施形態の各モジュールを含むことができる。１つの実施形態では、候補の検索結果に含まれる複数のターゲットの予測スコアは、複数のターゲットの予測モデルを用いて得られる。
１つの実施形態では、該複数のターゲットは、トラフィックに関連する第１の種類のターゲットと、収入に関連する第２の種類のターゲットとを含む。
１つの実施形態では、該第１の種類のターゲットは、クリック数とクリック率のうちの少なくとも１つを含み、該第２のターゲットは、ＣＰＭと総収入のうちの少なくとも１つを含む。
１つの実施形態では、該融合順序付けモデルは、第１の種類のターゲットと第２の種類のターゲットとの予測スコアを線形加算して、融合順序付けスコアを算出する線形モデルと、第１の種類のターゲット及び第２の種類のターゲットの予測スコアを離散化又は拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出するための深層モデルと、第１の種類のターゲットと第２の種類のターゲットとの予測スコアを、指数及び対数のうち少なくとも１つの形式で組み合わせて、融合順序付けスコアを算出するためのフィッティングモデルと、のうちの少なくとも１つを含むことができる。
１つの実施形態では、該組合せ関数は、トラフィック損失割合と収入の上昇の割合とに基づいて構築されたトラフィックと収入の対変換関数と、トラフィック損失割合と収入上昇割合とに基づいて構築された指数融合関数と、トラフィックゲインと収入ゲインとに基づいて構築された片側抑制融合関数と、のうちの少なくとも１つを含むことができる。
本開示の実施形態による各融合順序付けモデルの訓練装置における各ユニットまたはモジュールの機能は、上述した融合順序付けモデルの訓練方法における対応する記述を参照することができ、ここでは再度言及しない。
図６は本開示の１つの実施形態による検索の順序付け装置のブロック図である。該装置は、候補の検索結果に含まれる複数のターゲットの予測スコアを、更新された融合順序付けモデルに入力して更新された融合順序付け結果を得る融合順序付けモジュール６１を備えることができ、ここで、更新された融合順序付けモデルは、本開示のいずれか１つの実施形態による融合順序付けモデルの訓練方法により訓練して得られたものである。
図７は本開示のもう１つの実施形態による検索の順序付け装置のブロック図である。本実施形態の検索順序付け装置は、上述した装置の実施形態の各構成要素を含むことができる。本実施形態では、１つの可能なインプリメンテーションにおいて、該装置はさらに、複数のターゲットの予測モデルを用いて、該候補の検索結果に含まれる複数のターゲットの予測スコアを取得するための予測モジュール７１を備えることができる。
１つの実施形態において、該装置はさらに、検索エンジンにおいて、融合順序付け結果を含む検索提案及び検索推薦のうち少なくとも１つを提示するための提示モジュール７２を備えることができる。
本開示の実施形態による各検索順序付け装置における各ユニットやモジュールの機能は、上述した検索順序付け方法の対応する説明に記載されているので、ここではさらに言及しない。
本開示の実施形態によれば、本開示は、電子デバイスと可読記憶媒体をさらに提供する。
図８は、本開示の実施形態を実現するための例示的電子デバイス８００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。
図８に示すように、デバイス８００は、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム命令、又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる計算ユニット８０１を備える。ＲＡＭ８０３には、デバイス８００の動作に必要な各種のプログラム及びデータをさらに記憶することができる。計算ユニット８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とは、バス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース８０５もバス８０４に接続されている。
デバイス８００における複数のコンポーネントは、Ｉ／Ｏインタフェース８０５に接続されており、その複数のコンポーネントは、キーボードやマウスなどの入力ユニット８０６と、種々なディスプレイやスピーカなどの出力ユニット８０７と、磁気ディスクや光学ディスクなどの記憶ユニット８０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット８０９と、を備える。通信ユニット８０９は、デバイス８００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。
計算ユニット８０１は、処理及び計算能力を有する様々な汎用及び専用のうち少なくとも１つの処理コンポーネントであってもよい。計算ユニット８０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを備えるが、これらに限定されない。計算ユニット８０１は、上述で説明された各方法及び処理、例えば融合順序付けモデルの訓練方法、検索の順序付け方法を実行する。例えば、いくつかの実施形態では、融合順序付けモデルの訓練方法または検索の順序付け方法を、記憶ユニット８０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ＲＯＭ８０２及び通信ユニット８０９のうち少なくとも１つを介して、デバイス８００にロード及びインストールのうち少なくとも１つをすることができる。コンピュータプログラムがＲＡＭ８０３にロードされて計算ユニット８０１によって実行される場合に、前述した融合順序付けモデルの訓練方法または検索の順序付け方法の一つ又は複数のステップを実行することができる。追加可能に、他の実施形態では、計算ユニット８０１は、他の任意の適当な方式（例えば、ファームウェア）により融合順序付けモデルの訓練方法または検索の順序付け方法を実行するように構成することができる。
ここで記載されているシステムまたは技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及びこれらの組み合わせのうち少なくとも１つによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び解釈のうち少なくとも１つがされる１つまたは複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用または汎用のプログラマブルプロセッサであってもよい。
本開示の方法を実行するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及びブロック図のうち少なくとも１つに規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。
本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて使用されるプログラムを含み、または記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。
ユーザーとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、当該コンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニターなど）、ユーザーが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウスまたはトラックボールなど）を備えるができる。ユーザーとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザーに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックなど）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力など）によって、ユーザーからの入力を受付取るができる。
ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。
コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント−サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。
上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。
上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本開示の要旨および原理原則内における変更、均等な置換および改善等は、いずれも本開示の保護範囲に含まれるべきである。

Claims (21)

  1. 候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力して融合順序付け結果を得ることと、
    前記融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集することと、
    前記フィードバック情報と、前記複数のターゲットを用いて構築された関数である組合せ関数とを用いて、前記初期の融合順序付けモデルを更新し、更新された融合順序付けモデルを得ることと、を含む、
    融合順序付けモデルの訓練方法。
  2. 前記候補の検索結果に含まれる複数のターゲットの予測スコアは、複数のターゲットの予測モデルを用いて得られる、
    請求項１に記載の融合順序付けモデルの訓練方法。
  3. 前記複数のターゲットは、トラフィックに関連する第１の種類のターゲットと、収入に関連する第２の種類のターゲットとを含む、
    請求項１に記載の融合順序付けモデルの訓練方法。
  4. 前記第１の種類のターゲットは、クリック数とクリック率のうちの少なくとも１つを含み、
    第２の種類のターゲットは、ＣＰＭと総収入のうちの少なくとも１つを含む、
    請求項３に記載の融合順序付けモデルの訓練方法。
  5. 前記融合順序付けモデルは、
    第１の種類のターゲットと第２の種類のターゲットとの予測スコアを線形加算して、融合順序付けスコアを算出するための線形モデルと、
    第１の種類のターゲット及び第１の種類のターゲットの予測スコアを離散化又は拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出するための深層モデルと、
    第１の種類のターゲットと第２の種類のターゲットの予測スコアとを、指数及び対数のうち少なくとも１つの形式で組み合わせて、融合順序付けスコアを算出するためのフィッティングモデルと、
    のうちの少なくとも１つを含む、
    請求項１〜４のいずれか１項に記載の融合順序付けモデルの訓練方法。
  6. 前記組合せ関数は、
    トラフィック損失割合と収入上昇割合とに基づいて構築されたトラフィックと収入の対変換関数と、
    トラフィック損失割合と収入上昇割合とに基づいて構築された指数融合関数と、
    トラフィックゲインと収入ゲインとに基づいて構築された片側抑制融合関数と、
    のうちの少なくとも１つを含む、
    請求項１〜４のいずれか１項に記載の融合順序付けモデルの訓練方法。
  7. 候補の検索結果に含まれる複数のターゲットの予測スコアを、更新された融合順序付けモデルに入力し、更新された融合順序付け結果を得ることを含み、
    前記更新された融合順序付けモデルは、請求項１〜６のいずれか１項に記載の方法を用いて訓練されたものである、
    検索の順序付け方法。
  8. 複数のターゲットの予測モデルを用いて、前記候補の検索結果に含まれる複数のターゲットの予測スコアを取得することをさらに含む、
    請求項７に記載の検索の順序付け方法。
  9. 検索エンジンにおいて、融合順序付け結果を含む検索提案及び検索推薦のうち少なくとも１つを提示することをさらに含む、
    請求項７または８に記載の検索の順序付け方法。
  10. 候補の検索結果に含まれる複数のターゲットの予測スコアを初期の融合順序付けモデルに入力して融合順序付け結果を得るための融合順序付けモジュールと、
    前記融合順序付け結果に含まれる複数のターゲットのフィードバック情報を収集するためのフィードバック収集モジュールと、
    前記フィードバック情報と、前記複数のターゲットを用いて構築された関数である組合せ関数とを用いて、前記初期の融合順序付けモデルを更新し、更新された融合順序付けモデルを得る更新モジュールと、を備える、
    融合順序付けモデルの訓練装置。
  11. 前記候補の検索結果に含まれる複数のターゲットの予測スコアは、複数のターゲットの予測モデルを用いて得られる、
    請求項１０に記載の融合順序付けモデルの訓練装置。
  12. 前記複数のターゲットは、トラフィックに関連する第１の種類のターゲットと、収入に関連する第２の種類のターゲットとを含む、
    請求項１０に記載の融合順序付けモデルの訓練装置。
  13. 前記第１の種類のターゲットは、クリック数とクリック率のうちの少なくとも１つを含み、
    第２の種類のターゲットは、ＣＰＭと総収入のうちの少なくとも１つを含む、
    請求項１２に記載の融合順序付けモデルの訓練装置。
  14. 前記融合順序付けモデルは、
    第１の種類のターゲットと第２の種類のターゲットとの予測スコアを線形加算して、融合順序付けスコアを算出するための線形モデルと、
    第１の種類のターゲット及び第１の種類のターゲットの予測スコアを離散化又は拡張し、多層ニューラルネットワークにより融合順序付けスコアを算出するための深層モデルと、
    第１の種類のターゲットと第２の種類のターゲットの予測スコアとを、指数及び対数のうち少なくとも１つの形式で組み合わせて、融合順序付けスコアを算出するためのフィッティングモデルと、
    のうちの少なくとも１つを含む、
    請求項１０〜１３のいずれか１項に記載の融合順序付けモデルの訓練装置。
  15. 前記組合せ関数は、
    トラフィック損失割合と収入上昇割合とに基づいて構築されたトラフィックと収入の対変換関数と、
    トラフィック損失割合と収入上昇割合とに基づいて構築された指数融合関数と、
    トラフィックゲインと収入ゲインとに基づいて構築された片側抑制融合関数と、
    のうちの少なくとも１つを含む、
    請求項１０〜１３のいずれか１項に記載の融合順序付けモデルの訓練装置。
  16. 候補の検索結果に含まれる複数のターゲットの予測スコアを更新された融合順序付けモデルに入力し、更新された融合順序付け結果を得るための融合順序付けモジュールを備え、
    前記更新された融合順序付けモデルは、請求項１〜６のいずれか１項に記載の方法を用いて訓練されたものである、
    検索の順序付け装置。
  17. 複数のターゲットの予測モデルを用いて、前記候補の検索結果に含まれる複数のターゲットの予測スコアを取得するための予測モジュールをさらに備える、
    請求項１６に記載の検索の順序付け装置。
  18. 検索エンジンにおいて、融合順序付け結果を含む検索提案及び検索推薦のうち少なくとも１つを提示するための提示サブモジュールをさらに備える、
    請求項１６または１７に記載の検索の順序付け装置。
  19. 電子デバイスであって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項９までのいずれか１項に記載の方法を実行させる、
    電子デバイス。
  20. コンピュータに請求項１から請求項９までのいずれか１項に記載の方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。
  21. コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項１０までのいずれか１項に記載の方法を実現することを特徴とするプログラム。
JP2021121052A 2020-12-18 2021-07-21 融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム Active JP7321216B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011506705.2A CN112507196A (zh) 2020-12-18 2020-12-18 融合排序模型的训练方法、搜索排序方法、装置和设备
CN202011506705.2 2020-12-18

Publications (2)

Publication Number Publication Date
JP2021166109A true JP2021166109A (ja) 2021-10-14
JP7321216B2 JP7321216B2 (ja) 2023-08-04

Family

ID=74921759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021121052A Active JP7321216B2 (ja) 2020-12-18 2021-07-21 融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US11782999B2 (ja)
EP (1) EP4016432A1 (ja)
JP (1) JP7321216B2 (ja)
KR (1) KR20210144622A (ja)
CN (1) CN112507196A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695502A (zh) * 2022-12-15 2023-02-03 国网浙江省电力有限公司 适用于电力可靠通信的数据处理方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240487A (zh) * 2021-05-11 2021-08-10 北京沃东天骏信息技术有限公司 流量调控方法和装置
CN113434789B (zh) * 2021-06-29 2023-01-24 平安科技（深圳）有限公司 基于多维度文本特征的搜索排序方法及相关设备
CN114417194A (zh) * 2021-12-30 2022-04-29 北京百度网讯科技有限公司 推荐系统排序方法、参数预测模型训练方法及装置
CN114154046B (zh) * 2022-02-07 2022-08-12 深圳华强电子交易网络有限公司 一种网站搜索排名方法及系统
CN114579861A (zh) * 2022-03-03 2022-06-03 腾讯科技（深圳）有限公司 信息推送方法、装置、电子设备及可读存储介质
CN116805384A (zh) * 2022-03-14 2023-09-26 华为技术有限公司 自动搜索方法、自动搜索的性能预测模型训练方法及装置
CN115034388B (zh) * 2022-07-07 2023-04-28 北京百度网讯科技有限公司 排序模型的量化参数的确定方法、装置及电子设备
CN116304974B (zh) * 2023-02-17 2023-09-29 国网浙江省电力有限公司营销服务中心 多渠道数据融合方法及系统
CN116680481B (zh) * 2023-08-03 2024-01-12 腾讯科技（深圳）有限公司 搜索排序方法、装置、设备、存储介质及计算机程序产品
CN117112640B (zh) * 2023-10-23 2024-02-27 腾讯科技（深圳）有限公司 一种内容排序方法以及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522665A (ja) * 2005-12-30 2009-06-11 グーグル インコーポレイテッド 推定した広告品質を用いた広告の選別、ランク付けおよび奨励
US20120197711A1 (en) * 2011-01-31 2012-08-02 Yan Zhou Ranking Vendors by Combining Quantitative and Qualitative Characteristics of Third-Party Advertising
WO2013066929A1 (en) * 2011-10-31 2013-05-10 Alibaba Group Holding Limited Method and apparatus of ranking search results, and search method and apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610306B2 (en) * 2003-06-30 2009-10-27 International Business Machines Corporation Multi-modal fusion in content-based retrieval
US20070043583A1 (en) * 2005-03-11 2007-02-22 The Arizona Board Of Regents On Behalf Of Arizona State University Reward driven online system utilizing user-generated tags as a bridge to suggested links
US20070255755A1 (en) * 2006-05-01 2007-11-01 Yahoo! Inc. Video search engine using joint categorization of video clips and queries based on multiple modalities
US8073741B2 (en) * 2007-06-27 2011-12-06 Jemstep, Inc. Method, device, and system for analyzing and ranking web-accessible data targets
US20110125572A1 (en) * 2009-11-25 2011-05-26 Yahoo! Inc. Optimization of sponsored search systems with real-time user feedback
US20110270672A1 (en) * 2010-04-28 2011-11-03 Dustin Hillard Ad Relevance In Sponsored Search
US10657581B2 (en) * 2015-02-02 2020-05-19 Beijing Didi Infinity Technology And Development Co., Ltd. Methods and systems for order processing
CN105224959B (zh) * 2015-11-02 2019-03-26 北京奇艺世纪科技有限公司 排序模型的训练方法和装置
CN105701216B (zh) * 2016-01-13 2017-03-08 北京三快在线科技有限公司 一种信息推送方法及装置
US20190197487A1 (en) * 2017-12-22 2019-06-27 Microsoft Technology Licensing, Llc Automated message generation for hiring searches
CN108090208A (zh) 2017-12-29 2018-05-29 广东欧珀移动通信有限公司 融合数据处理方法及装置
CN109377445B (zh) * 2018-10-12 2023-07-04 北京旷视科技有限公司 模型训练方法、替换图像背景的方法、装置和电子系统
CN110569427B (zh) * 2019-08-07 2022-03-01 智者四海（北京）技术有限公司 一种多目标排序模型训练、用户行为预测方法及装置
CN111309939B (zh) 2020-02-03 2023-02-28 天津智融创新科技发展有限公司 视频推荐排序方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522665A (ja) * 2005-12-30 2009-06-11 グーグル インコーポレイテッド 推定した広告品質を用いた広告の選別、ランク付けおよび奨励
US20120197711A1 (en) * 2011-01-31 2012-08-02 Yan Zhou Ranking Vendors by Combining Quantitative and Qualitative Characteristics of Third-Party Advertising
WO2013066929A1 (en) * 2011-10-31 2013-05-10 Alibaba Group Holding Limited Method and apparatus of ranking search results, and search method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695502A (zh) * 2022-12-15 2023-02-03 国网浙江省电力有限公司 适用于电力可靠通信的数据处理方法及装置
CN115695502B (zh) * 2022-12-15 2023-03-10 国网浙江省电力有限公司 适用于电力可靠通信的数据处理方法及装置

Also Published As

Publication number Publication date
JP7321216B2 (ja) 2023-08-04
KR20210144622A (ko) 2021-11-30
EP4016432A1 (en) 2022-06-22
CN112507196A (zh) 2021-03-16
US20210365517A1 (en) 2021-11-25
US11782999B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
JP2021166109A (ja) 融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム
US11714831B2 (en) Data processing and classification
US9767182B1 (en) Classification of search queries
US20210141839A1 (en) Information search method, apparatus, and system
CN105247507B (zh) 用于确定品牌的影响力得分的方法、系统和存储介质
US8078617B1 (en) Model based ad targeting
WO2015188699A1 (zh) 推荐项目的方法和装置
JP7356973B2 (ja) 複数の文書をランキングするための方法、コンピュータ・プログラムおよびコンピュータ・システム
US9798820B1 (en) Classification of keywords
US11288709B2 (en) Training and utilizing multi-phase learning models to provide digital content to client devices in a real-time digital bidding environment
KR20160144384A (ko) 딥 러닝 모델을 이용한 상황 의존 검색 기법
WO2017166944A1 (zh) 一种提供业务访问的方法及装置
CN104933081A (zh) 一种搜索建议提供方法及装置
JP2021166098A (ja) 検索語の推薦方法と装置、目的モデルの訓練方法と装置、電子デバイス、記憶媒体、及びプログラム
US20210406993A1 (en) Automated generation of titles and descriptions for electronic commerce products
US20180096067A1 (en) Creation and optimization of resource contents
CN112818230B (zh) 内容推荐方法、装置、电子设备和存储介质
CN109947902A (zh) 一种数据查询方法、装置和可读介质
CN112328798A (zh) 文本分类方法以及装置
CN112765452A (zh) 搜索推荐方法、装置及电子设备
CN111563198B (zh) 一种物料召回方法、装置、设备及存储介质
Midhunchakkaravarthy et al. Feature fatigue analysis of product usability using Hybrid ant colony optimization with artificial bee colony approach
CN111414455B (zh) 舆情分析方法、装置、电子设备及可读存储介质
CN116383340A (zh) 信息搜索方法、装置、电子设备和存储介质
CN111881255B (zh) 同义文本获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230725

R150 Certificate of patent or registration of utility model

Ref document number: 7321216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150