JP2017010514A - 検索エンジン及びその実現方法 - Google Patents

検索エンジン及びその実現方法 Download PDF

Info

Publication number
JP2017010514A
JP2017010514A JP2015232575A JP2015232575A JP2017010514A JP 2017010514 A JP2017010514 A JP 2017010514A JP 2015232575 A JP2015232575 A JP 2015232575A JP 2015232575 A JP2015232575 A JP 2015232575A JP 2017010514 A JP2017010514 A JP 2017010514A
Authority
JP
Japan
Prior art keywords
escape
query request
dictionary
candidate
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015232575A
Other languages
English (en)
Other versions
JP6161679B2 (ja
Inventor
ガオリン ファーン
Gaolin Fang
ガオリン ファーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2017010514A publication Critical patent/JP2017010514A/ja
Application granted granted Critical
Publication of JP6161679B2 publication Critical patent/JP6161679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Abstract

【課題】検索結果エスケープ問題を効果的に解決する方法、検索エンジン、システム及びコンピュータ記憶媒体を提供する。【解決手段】ユーザで入力されたクエリ要求を受信するステップと、クエリ要求にマッチした候補結果を取得するステップと、クリックエスケープモデルに基づいてクエリ要求と各候補結果との間の意味的な関連性を確定するステップと、意味的な関連性に応じて候補結果をソートするステップとを含む。クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含む。【選択図】図4

Description

本発明はコンピュータ技術分野に関し、具体的には情報検索分野に関し、特に検索エンジン及びその実現方法に関する。
インターネットは様々なリソースに対するアクセスポートを提供し、これらのリソースは例えば、画像ファイル、音声ファイル、映像ファイル及びウェブページ等を含む。ユーザは検索システムまたは検索エンジンを介してアクセスしようとするリソースを検索することができる。
検索過程では、一般的には、ユーザがクエリ(Query)を入力し、検索エンジンがクエリにマッチした結果を返す。クエリは1つまたは複数の検索用語(Term)またはフレーズを含むテキストクエリであってもよい。検索エンジンは例えばテキストに関連するマッチング方法で検索クエリと対応する検索結果を返す。
従来のテキストマッチング手段は主に、クエリと検索結果に対してのクエリと検索結果テキストの共有部分の割合、BM25の関連性方式等がある。しかしながら、これらのマッチング手段は上記のエスケープ問題を解決することができない。
従来技術における上記欠陥や不備に鑑みて、検索結果エスケープ問題を効果的に解決する技術案を提供することが期待されている。
第1の態様において、本願の実施例は検索エンジンの実現方法を提供する。当該方法は、ユーザで入力されたクエリ要求を受信するステップと、クエリ要求にマッチした候補結果を取得するステップ、クリックエスケープモデルに基づいてクエリ要求と各候補結果との間の意味的な関連性を確定するステップと、意味的な関連性に応じて候補結果をソートするステップを含んでおり、ここで、クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含む。
第2の態様において、本願の実施例は検索エンジンを更に提供しており、ユーザで入力されたクエリ要求を受信する受信ユニットと、前記クエリ要求にマッチした候補結果を検索する検索ユニットと、クリックエスケープモデルに基づいて前記クエリ要求と各候補結果との間の意味的な関連性を確定する意味的な関連性確定ユニットと、及び前記意味的な関連性に応じて候補結果をソートするソートユニットと、を備える。ここで、クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、前記エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、前記非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含む。
本願の実施例に係る検索エンジン及びその実現方法は、クリックによりURLと関連するHTTP要求リンクを取得することにより、全面的なURLと関連するウェブページ内容を取得ることができ、それにより悪意のあるホームページアドレスを正確に検出することができる。本願の実施例の技術案によれば、意味的な関連性に応じて検索された候補結果をソートし、検索結果のソート効果を向上させ、ユーザの検索ニーズを満たさない結果(すなわちエスケープ結果)が検索結果リストの前列に出現することを避けることができ、それによりユーザの良好な使用体験を確保する。
以下の図面を参照しながら非限定的な実施例を詳しく説明することにより、本願の他の特徴、目的及び利点はより明らかになる。
図1は本願の実施例を適用できる例示的なシステムアーキテクチャ100を示す。 図2は本願の実施例に係るクリックエスケープモデルを構築する方法の例示的なフローチャートを示す。 図3は本願の実施例に係るワードアライメントを利用して隣接する前後の単語を取得する例示的な実現形態を示す。 図4は本願の実施例に係る検索エンジンの実現方法の例示的なフローチャートを示す。 図5は本願の実施例に係るクリックエスケープモデルに基づいてクエリ要求と候補結果との間の意味的な関連性を確定する方法の例示的なフローチャートを示す。 図6は本願の実施例に係る語句を処理した結果の概略図を示す。 図7は本願の実施例に係るクリックエスケープモデルに基づいて分割された単語の類似度重みを調整する方法をの例示的なフローチャートを示す。 図8は本願の実施例に係る検索エンジンの例示的な構造ブロック図を示す。 図9は本願の実施例を実現するのに適用するサーバのコンピュータシステムの構造概略図を示す。
以下、図面及び実施例を参照しながら、本願をさらに詳しく説明する。ただし、ここで説明する具体的な実施例は係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないことを理解すべきである。なお、説明の便宜上、図面に本発明と関連する部分のみが示されている。
ただし、衝突がない限り、本願における実施例及び実施例における特徴は互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本願を詳しく説明する。
背景技術に記述されたように、テキスト検索では、通常、テキストの局所マッチングのせいで、エスケープ問題をもたらす。例えば、蚊取り線香を検索すれば、結果に蚊取り線香ボックスを含む場合があり、携帯電話を検索すれば、結果に携帯電話カバーを含む場合があり、常山(地名)を検索すれば、結果にジョウザンハクサイを含む場合がある等が挙げられる。このような問題はテキストを利用して写真を検索する場合に特に著しい。例えば、「スターA」の写真を検索する場合に、結果には、スターAの撮影写真、スターAの高解像度写真、スターAのコンサート、スターAの車等を含む。これらの結果には、スターAの車がエスケープされた結果であり、ユーザが望む結果ではない。
従来技術の欠陥に鑑みて、本願の実施例は、上記エスケープ問題を解決するために、意味エスケープの程度に応じて検索結果をソートする手段を提供する。通常、検索過程で出てきた結果では、クリック回数が高い結果はユーザの望む結果である可能性が高い。言い換えれば、クリック回数が高い結果はユーザのクエリQueryに対して、エスケープが発生しない確率が非常に高い。逆に、何回も出てきたが、クリック回数が低いまたはクリックがない結果は通常ユーザが望まない結果であり、つまり、これらの結果はユーザのQueryに対してエスケープの発生する確率が非常に高い。さらに、エスケープされたデータを分析すると、多くのエスケープは隣接する前後の単語で発生し、距離が遠い前後の単語に対してほとんど影響しないことが分かった。従って、上記分析に基づいて、本願の各実施例に係る検索エンジンの実現方法を提案する。
本願の実施例を適用できる例示的なシステムアーキテクチャ100を示す図1を参照する。
図1に示すように、システムアーキテクチャ100は、端末装置101、102、ネットワーク103及びサーバ104を含んでもよい。ネットワーク103は端末装置101、102とサーバ104との間に通信リンクを提供する媒体である。ネットワーク103は例えば有線、無線通信リンク又は光ファイバケーブル等の様々な接続タイプを含んでもよい。
ユーザ110は、例えば情報検索、Webブラウジング、データダウンロード等の様々なサービスをアクセスするために、端末装置101、102を使用してネットワーク103を介してサーバ104と対話することができる。端末装置101、102には、様々なクライアントアプリケーションをインストールすることができ、例えばユニフォームリソースロケータURLクラウドサービスをアクセスできるアプリケーションが挙げられており、ブラウザ、セキュリティアプリケーション等を含むが、これらに限定されていない。
端末装置101、102は様々な電子機器であってもよく、例えばスマートフォン、タブレットコンピュータ、携帯情報端末、電子書籍リーダー等の様々な持ち運び可能なポータブルデバイス、及びパソコン、スマートテレビ、クエリサービス端末等の様々な固定端末機器を含むが、これらに限定されていない。
サーバ104は様々なサービスを提供するサーバであってもよい。サーバはユーザのサービス要求に応じてサービスを提供することができる。なお、1つのサーバが1種または多種のサービスを提供することができ、同一のサービスが複数のサーバにより提供することができる。本願の実施例では、係るサーバ104は検索サーバであってもよい。
なお、図1における端末装置、ネットワーク及びサーバの数は例示的なものに過ぎない。実際の必要に応じて、任意の数の端末装置、ネットワーク及びサーバを有してもよい。
本願の実施例に係る検索エンジンの実現方法を記述するために、まず本願の実施例に提案されるクリックエスケープモデルの構築を記述する。前記で分析されたように、クリック回数が高い検索結果は対応するクエリQueryに対して、エスケープが発生しない確率が高く、クリック回数が低いまたはクリックがない検索結果は対応するQueryに対して、エスケープが発生する確率が高い。さらに、多くのエスケープは隣接する前後の単語において発生し、距離が遠い前後の単語に対してほとんど影響しない。従って、本願の実施例では、クエリ要求と検索結果(例えばウェブページタイトルで示す)Query−Title対のクリック数を学習するとともに、エスケープが発生した前後の単語を考慮することによりクリックエスケープモデルを構築する。具体的には、クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含んでもよく、ここで、エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含む。
図2は本願の実施例に係るクリックエスケープモデルを構築する方法の例示的なフローチャートを示す。
図2に示すように、ステップ210では、Query−Title対のクリック表示比を取得する。
歴史Query−Title対を学習することによりクリックエスケープモデルを構築することができる。これらの歴史Query−Title対はQueryログに保存することができる。Queryログは例えば毎回のユーザクエリ会話に使用するクエリ要求Query、表示している検索結果及びユーザの検索結果へのクリック操作等を記録する。これらの検索結果は例えばウェブページタイトルTitleで表してもよく、従って、Query−Title対とはクエリ−検索結果対である。
それぞれのQuery−Title対の表示状況及びクリック状況を統計することにより、Query−Title対のクリック表示比を取得することができる。ここでは、クリック表示比はクリック数と表示数との比であり、ここで、表示数は検索結果Titleがクエリ要求Queryに応じて表示される回数を示し、クリック数は検索結果Titleがクエリ要求Queryに応じて表示される時に、ユーザにクリックされる回数を示す。
上記から明らかなように、クリック回数が高い検索結果は、対応するクエリQueryに対して、エスケープが発生しない確率が高く、クリック回数が低いまたはクリックがない検索結果は対応するQueryに対して、エスケープが発生する確率が高い。従って、Query−Title対のクリック表示比はTitleのQueryに対してのエスケープ度またはエスケープ確率を良好に表徴する。当業者は、例えば表示クリック比またはクリック回数に基づく他のパラメータでエスケープ度またはエスケープ確率を表してもよく、本願がこの点について制限しないことが理解可能である。
続いて、ステップ220では、ワードアライメントを利用して検索結果TitleからクエリQuery語句における用語とアライメントする単語と隣接する前後の単語を取得する。
それぞれのQuery−Title対に対して、まずQueryとTitleをそれぞれ単語分割してもよい。それからワードアライメントを利用して、Queryにおけるそれぞれの単語に対して、そのTitleにおける対応位置を見つける。ここでのワードアライメントは同義アライメントも含む。例えば、完全に対応する単語が出ていないと、その同義語を考慮する。最後に、TitleからQueryにおける最初のワード及び最後のワードとアライメントする単語と隣接する前後の単語を取得する。
情報検索では、これらの機能語の別称は、ストップワード(stopword)である。ストップワードと呼ばれるのはテキスト処理過程でこれらの機能語を発見したと、直ちに処理を停止して当該機能語を除去するからである。これらの単語を除去してインデックス量を減少させ、検索効率を増やし、且つ検索の効果を向上させる。ストップワードは主に英文の文字、数字、数学の文字、句読点及び使用頻度が高い単一漢字等を含む。
図2に戻り、ステップ230では、クリック表示比に応じてエスケープ辞書及び/または非エスケープ辞書を構築する。具体的には、クリック表示比が第1の閾値より低いQuery−Title対における対応用語及びその前後の単語をエスケープ辞書に加え、及び/またはクリック表示比が第2の閾値より高いQuery−Title対における対応用語及びその前後の単語を非エスケープ辞書に加える。第1の閾値は第2の閾値と同じであってもよく異なっていてもよい。
履歴Query−Title対におけるそれぞれのQuery−Title対に対して図2に示される処理を実行し、クリック表示比が第1の閾値より低いすべてのQuery−Title対における用語を累算し、また対応する前後の単語を合併することによりエスケープ辞書を作成することができ、すべてのクリック表示比が第2の閾値より高いQuery−Title対における用語を累算し、また対応する前後の単語を合併することにより非エスケープ辞書を作成することができる。上記エスケープ辞書及び非エスケープ辞書の生成過程では、Queryにおける用語を拡張していないため、ここで生成されたエスケープ辞書は生なエスケープ辞書と呼ばれてもよく、相応な非エスケープ辞書は生な非エスケープ辞書と呼ばれてもよい。
代替的または追加的に、いくつかの実施例では、統計された前後の単語をより大きな範囲に拡張するために、Queryにおける用語の意味カテゴリーを汎化することにより、汎化エスケープ辞書及び/または汎化非エスケープ辞書を生成することができる。
多種の方法で用語に対して意味カテゴリーの表記を行ってもよく、例えば、汎用の最大エントロピー分類器で用語を分類認識することができる。意味カテゴリーは例えば、エンターテイメントスター、スポーツスター、科技人物、観光名所、ビデオ、自動車、アニメーション、動物、植物等のカテゴリーを含んでもよいが、これらに限定されていない。
続いて、表記された意味カテゴリーで生なエスケープ辞書及び生な非エスケープ辞書と対応する汎化エスケープ辞書及び汎化非エスケープ辞書を構築することができる。一実現形態では、生なエスケープ辞書/生な非エスケープ辞書における生な単語を汎化された意味カテゴリーに置き換えてもよく、それにより汎化エスケープ辞書/汎化非エスケープ辞書を生成する。
以上は、本願の実施例に係るクリック意味モデルの構築を記述したが、以下、フローチャートを参照しながらクリック意味モデルに基づいて検索エンジンの検索結果を改善する手段を記述する。
図4は本願の実施例に係る検索エンジンの実現方法の例示的なフローチャートを示。図4に示される方法は検索エンジンが所在するサーバ(例えば図1のサーバ104)で実行されてもよい。
図4に示すように、ステップ410では、ユーザが入力したクエリ要求を受信する。
ユーザは様々な端末装置(例えば図1に示される端末装置101、102)により検索クエリを行うことができる。これらの端末装置はクエリ要求を入力するように、ユーザにユーザインタフェース(例えば、ブラウザインタフェース)を表示することができる。ユーザは例えばタッチパネル、電子ペン、キーボード、マイクロホン等の様々な入力ツールでクエリ要求を入力することができる。クエリ要求はテキストクエリ、音声クエリまたは他のタイプのクエリであってもよい。クエリ要求が非テキストクエリである場合に、光学式文字認識OCR、音声認識等の様々な適当な技術で、非テキストクエリをテキストクエリに変換することができる。続いて、端末装置は元に受信された又は変換されたクエリ要求を検索サーバ(例えば、図1のサーバ104)に送信することができる。
続いて、ステップ420では、受信されたクエリ要求にマッチした候補結果を検索する。
多種の手法でクエリ要求にマッチした候補結果を検索してもよい。いくつかの実現形態では、テキストマッチング、例えば単語マッチングの方法でクエリ要求にマッチした候補結果を検索してもよい。単語マッチング方法のいくつかの常用のアルゴリズムは、例えば、BM25(Best Match、ベストマッチ)アルゴリズム、proximity(Term proximity scoring、用語近接得点)アルゴリズム等を含んでもよい。単語マッチングアルゴリズムで検索された文書とクエリ要求とのマッチング程度を計算し、さらにマッチング程度に基づいてクエリ要求にマッチした候補結果を提供することができる。上記検索方法は従来既知の様々なアルゴリズムで実現することができ、ここで省略する。
さらに、ステップ430では、クリックエスケープモデルに基づいてクエリ要求と各候補結果との間の意味的な関連性を確定する。
実際の検索では、クエリ要求にマッチした候補結果に対して、一般的には、一定数量の候補結果を選択して詳細な処理を行う。例えば、2000個の候補結果を選択して、これらの結果における各候補結果とクエリ要求との意味的な関連性を分析してもよい。
図2及び図3を参照しながら記述されたように、クリックエスケープモデルはクエリ要求と検索結果Query−Title対のクリック数を学習するとともに、エスケープが発生した前後の単語を考慮することにより構築される。具体的には、クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含んでもよく、ここで、エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含む。
従って、クリックエスケープモデルに基づいて確定された意味的な関連性はQuery−Title対のクリック数を考慮するとともに、エスケープが発生した前後の単語を考慮し、それにより確定された意味的な関連性は候補結果のクエリ要求に対してのエスケープ確率を正確に表すことができる。クリックエスケープモデルに基づいて意味的な関連性を確定する詳細な方法は以下に記述される。
最後に、ステップ440では、意味的な関連性に応じて候補結果をソートする。
本ステップでは、各候補結果とクエリ要求の意味的な関連性の降順に応じて、検索して取得された候補結果をソートして表示し、このようにすると、前に表示されているものは常にクエリ要求と比較的に関連する検索結果であり、それによりユーザが表示されている検索結果から迅速に所望の関連文書を取得し、自分の検索ニーズを満たし、検索効率を向上させることができる。本ステップが必要に応じて他の順でソート処理を行ってもよいことを理解すべきである。
図5は本願の実施例に係るクリックエスケープモデルに基づいてクエリ要求と候補結果との間の意味的な関連性を確定する方法の例示的なフローチャートを示す。すなわち、図5は図4におけるステップ430の例示的な実現形態を示す。
図5に示すように、ステップ510では、クエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性を確定する。
候補結果はすなわち様々なウェブページ情報であり、文書(document)で表してもよい。一般的に、文書は複数の語句からなり、構造から区分すると、例えばタイトル(Title)、アンカーテキスト(Anchor text)及び正文等を含む。タイトルは、文書のテーマを簡単で簡潔に記述する。アンカーテキストはアンカーテキストリンクとも称され、リンクの一形態であり、ハイパーリンクと類似し、キーワードを1つのリンクとして別のウェブページにアクセスするという形態のリンクはアンカーテキストと呼ばれる。アンカーテキストは実際にテキストキーワードとURLリンクとの関係を作ったものである。正文は一般的に多くの内容を含む。
候補結果は一般的に多くの語句を有するため、クエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性をそれぞれ確定してもよい。これらの語句は、例えば、タイトル、アンカーテキスト、正文におけるコアセンテンス等から選ばれてもよい。正文におけるコアセンテンスは従来の既知技術または未来に開発される多種の手法で確定されてもよい。一実現形態では、正文中の一番目のセンテンスがそのコアセンテンスであると見なされてもよい。
続いて、ステップ520では、確定されたクエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性に基づいてクエリ要求と当該候補結果との間の意味的な関連性を確定する。
多種の手法によりクエリ要求と候補結果との間の最終の意味的な関連性を確定することができる。一実現形態では、確定された複数の意味的な関連性からその最大値をクエリ要求と当該候補結果との間の意味的な関連性として選択してもよい。他の実現形態では、確定された複数の意味的な関連性の平均値をクエリ要求と当該候補結果との間の意味的な関連性としてもよい。当業者は、他の関数関係で、確定された複数の意味的な関連性に基づいてクエリ要求と当該候補結果の最終の意味的な関連性を確定してもよく、本願はこの点について制限しない。
ステップ510は本願の実施例に係るクエリ要求と候補結果のある1つの語句との間の意味的な関連性を確定する方法の例示的な実現形態を更に示す。この実現形態では、意味的な関連性は主に、語句の間のテーママッチング類似度及び語句の間のエスケープ要素の2つの部分からなる。
具体的には、ステップ511では、あらかじめ構築されたクリックエスケープモデルに基づいて、センテンス間のテキストテーママッチングモデルを利用してクエリ要求と候補結果の語句との間のテーママッチング類似度を計算する。
2つの語句の間のテーママッチング類似度は多種の計量方式で表徴することができる。いくつかの実現形態では、フレームワークが統一するベクトル空間モデル類似度計算方法で語句の間のテーママッチング類似度を計算してもよい。
例えば、2つのセンテンスはそれぞれ以下のようなS1、S2で表してもよい。
(1)
(2)
上記の式では、センテンスを単語分割し、例えば1番目のセンテンスS1はm個の単語に分けられ、2番目のセンテンスS2はn個の単語に分けられる。分けられた単語に対して品詞性を表記することにより、各単語分割位置で1つの単語集合を取得する。例えば、1番目のセンテンスS1の単語分割位置
での単語集合は
である。当該単語集合は単語分割位置
と対応する原単語、関連単語及び小粒度構成部分を含む。
本文では、関連単語は原単語の意味と同じ用語(または同義語と称される)または意味が近い用語を指し、関連単語と総称される。多種の方法、例えばQuery−Titleクリック対に基づく手法で、原単語の関連単語をマイニングしてもよい。上記の関連単語マイニング方法は従来既知の様々な方案で実現することができ、ここで省略する。
センテンスを空間ベクトルとして表した後に、多種の計量方式で2つのベクトルの間の類似度、すなわち語句の間のテーママッチング類似度を計算することができる。これらの計量方式は、コサイン距離(またはコサイン類似度と称される)、ユークリッド距離、ピアソンPearson相関係数または補正されたPearson相関係数法を含むが、これらに限定されていない。これらの類似度または関連性の計算方法は本分野で既知のものである。以下、コサイン距離のみを例として詳しく説明する。
コサイン距離はベクトル空間における2つのベクトル角のコサイン値を、2つの対象間のばらつきの大きさを測定する計量手段とするものである。例えば、下記の式で2つの語句の間のテーママッチング類似度を計算することができる。
(3)
は単語
の類似度重みを表し、
は2つのセンテンスが対応する重み係数にマッチしたか否かを表し、2つのセンテンスS1、S2の疑問文のタイプがマッチした場合に、対応する重み係数が第1値、例えば1であり、さもないと、第2値、例えば0.8である。
図6は語句が上記のように処理された結果の概略図を示す。
上記の式(3)に基づけば2つのセンテンスの間のテーママッチング類似度を計算することができる。
本願の実施例では、あらかじめ構築されたクリックエスケープモデルに基づいて、センテンス間のテキストテーママッチングモデルを利用してクエリ要求と候補結果の語句との間のテーママッチング類似度を計算することは、クリックエスケープモデルを利用して候補結果の語句におけるいくつかの単語の類似度重みを調整することとして表してもよい。
単語の初期類似度重みはテキストマイニング分野の既知技術で割り当てることができる。多重の重み割り当て手法を有してもよく、一般的に使用されるのは例えばTF−IDF(term frequency-inverse document frequency)を含む。
TF−IDFは情報検索と情報マイニング用の通常の重みづけ技術である。検索、文献分類及び他の関連分野で幅広く応用されている。TF−IDFの主な思想は、ある単語またはフレーズが1つの文章に出現する頻度TFが高く、且つ他の文章に出現する頻度が非常に低い場合に、この単語又はフレーズが良好なカテゴリー区別能力を持つと見なされ、分類に適用される。TFターム頻度(Term Frequency)とはある1つの所定の用語が当該ファイル中に出現する回数である。IDF逆文書頻度(Inverse Document Frequency)の主な思想は、見出し語を含む文書が少なければ少ないほど、IDFが大きければ大きいほど、見出し語が良好なカテゴリー区別能力を持つと表明される。TF及びIDFを使用してある文章においてあるキーワードの重要性を計算することができる。TF及びIDFに基づいて、様々な関数関係で用語の重みを構成することができる。
いくつかの実現形態では、用語の初期重みは下記の式で計算することができる。
(4)
その中、
は分割された単語
のターム頻度であり、分割された単語
が当該文書に出現する回数と当該文書の分割された単語の合計数との比として表してもよく、
は分割された単語
の逆文書頻度であり、Nは文書合計数であり、
は分割された単語
が出現した文書の数である。
本願のいくつかの実施例では、各語句における分割された単語に対して初期重みを確定した後に、候補結果の語句におけるいくつかの分割された単語の類似度重みをクリックエスケープモデルに基づいて調整してもよい。
図7は本願の実施例に係るクリックエスケープモデルに基づいて分割された単語の類似度重みを調整する方法の例示的なフローチャートを示す。
図7に示すように、ステップ710では、ワードアライメントを利用して候補結果の語句からクエリ要求における用語とアライメントする単語と隣接する前の言葉及び後の言葉を確定する。当該ステップは上記の図2を参照しながら記述したクリックエスケープモデルを構築するステップ220と類似するため、ここで省略する。
続いて、ステップ720では、エスケープ辞書及び/または非エスケープ辞書に基づいて候補結果の語句における前の単語及び後の単語と対応する類似度重みを調整する。
このステップでは、認識された隣接する前の単語及び隣接する後の単語に対して、これらの隣接する前の単語と隣接する後の単語の類似度重みを調整するように、エスケープ辞書及び非エスケープ辞書を調べる。
具体的には、非エスケープ辞書は候補結果の語句における対応用語及びその隣接する前の単語または隣接する後の単語を含む場合に、当該隣接する前の単語または隣接する後の単語の類似度重みを下げる。エスケープ辞書は候補結果の語句における対応用語及びその隣接する前の単語または隣接する後の単語を含む場合に、当該隣接する前の単語または隣接する後の単語の類似度重みを上げる。非エスケープ辞書とエスケープ辞書はいずれも対応用語及びその隣接する前の単語または隣接する後の単語がない場合に、その類似度重みを調整しなくてもよい。
用語の類似度重みをクリックエスケープモデルに基づいて調整した後に、以上に記述されたセンテンス間のテキストテーママッチングモデルでクエリ要求と候補結果の語句との間のテーママッチング類似度を計算することができる。
例えば、下記の式でクエリ要求と候補結果の語句との間のテーママッチング類似度を計算することができる。
(5)
続いて、図5に示すように、ステップ512では、クエリ要求と候補結果の語句との間のマッチング状况に基づいてエスケープ要素を確定する。
ステップ511ではセンテンス間のテーママッチング類似度を確定する場合に、微視的に考慮すると、クリックエスケープモデルに基づいて具体的な用語の類似度重みを調整した。このステップ512では、クエリ要求と候補結果の語句との間のマッチング状况に基づき、すなわち、巨視的に考慮して1つのエスケープ要素を確定する。
クエリ要求と候補結果の語句との間のマッチング状况は、例えば、クエリ要求における最も重要な用語が候補結果の語句に出現していない状況、前後の単語のマッチングが存在する状況及び前後の単語の完全なマッチングが存在していない状況を含んでもよい。
クエリ要求における最も重要な用語が候補結果の語句に出現していない場合に、一般的に、両者の間の関連性が低く、及びエスケープの可能性が高いことを表す。この場合に、エスケープ要素を第1値、例えば0.7として確定することができる。クエリ要求における用語の重要性は上記のように確定された類似度重みに基づいて確定することができる。例えば、TF−IDF技術で確定された重みに基づいて直接に確定することができる。
前後の単語のマッチングが存在するとは用語の字面マッチング以外に、候補結果に当該用語の隣接する前の単語または隣接する後の単語が更に存在することを指す。言い換えれば、この場合の候補結果もエスケープする可能性がある。従って、エスケープ要素を第1値より大きい第2値、例えば0.95として確定することができる。
前後の単語の完全なマッチングが存在しないとは用語の字面マッチング以外に、候補結果に当該用語の隣接する前の単語及び隣接する後の単語が存在しないことを指す。言い換えれば、この場合の候補結果はエスケープする可能性がほとんどない。従って、エスープ要素を第2値より大きい第3値、例えば1として確定することができる。
最後に、ステップ513では、エスケープ要素及びテーママッチング類似度に基づいてクエリ要求と候補結果の語句との間の意味的な関連性を計算する。
エスケープ要素及びテーママッチング類似度に基づいて、多種の関数関係に応じて意味的な関連性を構築することができる。一実現形態では、下記の式でクエリ要求と候補結果の語句との間の意味的な関連性を計算することができる。
ただし、図面には特定の順序で本発明の方法の操作を説明したが、当該特定の順序でこれらの操作を実行しなければならないこと、または所望の結果を達成するためにすべての提示された操作を実行しなければならないことを要求または暗示するわけではない。逆に、フローチャートに示されているステップは実行順序を変更してもよい。追加的または代替的に、いくつかのステップを省略したり、複数のステップを1つのステップに結合して実行したり、及び/または1つのステップを複数のステップに分けて実行したりしてもよい。
更に、本願の実施例に係る検索エンジンの例示的な構造ブロック図を示す図8を参照する。
図8に示すように、検索エンジン800は受信ユニット810、検索ユニット820、意味的な関連性確定ユニット830及びソートユニット840を備える。
受信ユニット810はユーザが入力したクエリ要求を受信するように配置されてもよい。検索ユニット820はクエリ要求にマッチした候補結果を検索するように配置されてもよい。意味的な関連性確定ユニット830はクリックエスケープモデルに基づいてクエリ要求と各候補結果との間の意味的な関連性を確定するように配置されてもよい。ソートユニット840は意味的な関連性に応じて候補結果をソートするように配置されてもよい。ここで、クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含む。
いくつかの実施例では、意味的な関連性確定ユニット830は、各候補結果に対して、クエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性を確定するための計算ユニット831を備えてもよく、ここで、語句は、候補結果のタイトル、アンカーテキスト及び正文におけるコアセンテンスのうちの少なくとも1つを含む。意味的な関連性確定ユニット830は確定されたクエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性に基づいてクエリ要求と候補結果との間の意味的な関連性を確定するための確定ユニット832を更に備える。
いくつかの実現では、計算ユニット831は、クリックエスケープモデルに基づいて、センテンス間のテキストテーママッチングモデルを利用してクエリ要求と候補結果の語句との間のテーママッチング類似度を計算するためのテーママッチング類似度モジュール(図示せず)を備えてもよい。
テーママッチング類似度モジュールは、具体的に、ワードアライメントを利用して候補結果の語句からクエリ要求における用語とアライメントする単語と隣接する前の単語及び後の単語を確定すること、エスケープ辞書及び/または非エスケープ辞書に基づいて候補結果の語句における前の単語及び後の単語と対応する類似度重みを調整すること、及び調整後の類似度重みに基づいて、センテンス間のテキストテーママッチングモデルを利用してクエリ要求と候補結果の語句との間のテーママッチング類似度を計算することに用いられてもよい。
計算ユニット831は、クエリ要求と候補結果の語句との間のマッチング状况に基づいてエスケープ要素を確定するためのエスケープ要素モジュール(図示せず)を更に備えてもよい。
エスケープ要素モジュールは、具体的に、マッチング状况はクエリ要求における最も重要な用語が候補結果の語句に出現していない状況である場合に、エスケープ要素を第1値として確定すること、マッチング状况は前後の単語のマッチングが存在している状況である場合に、エスケープ要素を第2値として確定すること、マッチング状况は前後の単語の完全なマッチングが存在していない状況である場合に、エスケープ要素を第3値として確定することに用いられてもよく、ここで、第1値が第2値より小さく、且つ第2値が第3値より小さい。
計算ユニット831は、エスケープ要素及びテーママッチング類似度に基づいてクエリ要求と候補結果の語句との間の意味的な関連性を計算するための合成モジュール(図示せず)を更に備えてもよい。
いくつかの実施例では、クリックエスケープモデルにおけるエスケープ辞書及び非エスケープ辞書はクエリ要求・検索結果Query−Title対のクリック数を学習することにより構築される。
いくつかの実現形態では、エスケープ辞書及び非エスケープ辞書は、下記の方法で構築された生なエスケープ辞書及び生な非エスケープ辞書を含み、すなわち、Query−Title対のクリック表示比を取得するステップと、ワードアライメントを利用して検索結果からクエリ語句における用語とアライメントする単語と隣接する前後の単語を取得するステップと、クリック表示比が第1の閾値より低いQuery−Title対における対応の用語及びその前後の単語を生なエスケープ辞書に加えるステップと、クリック表示比が第2の閾値より高いQuery−Title対における対応の用語及びその前後の単語を生な非エスケープ辞書に加えるステップを含み、ここで、クリック表示比がクリック数と表示数との比であり、表示数は検索結果がクエリ要求に応じて表示される回数を指し、クリック数は検索結果がクエリ要求に応じて表示される時に、ユーザにクリックされた回数を指す。
代替的または追加的に、エスケープ辞書及び非エスケープ辞書は下記の方法で構築された汎化エスケープ辞書及び汎化非エスケープ辞書を更に含み、すなわち、クエリ要求における用語に対して意味カテゴリーを表記するステップと、表記された意味カテゴリーを利用して生なエスケープ辞書及び生な非エスケープ辞書に対応する汎化エスケープ辞書及び汎化非エスケープ辞書を構築するステップを含む。
検索エンジン800に記載された各ユニットまたはサブユニットは上記の方法のフローチャートを参照しながら記述した方法における各ステップと対応することが理解すべきである。従って、上記の方法に対して記述された操作及び特徴は同様に検索エンジン800及びそれに含まれるユニットに適用でき、ここで省略する。
本願の実施例を実現するのに適用するサーバのコンピュータシステムの構造概略図を示す図9を参照する。
図9に示すように、コンピュータシステム900は、読み出し専用メモリ(ROM)902に記憶されているプログラム又は記憶部908からランダムアクセスメモリ(RAM)903にロードされたプログラムに基づいて様々な適当な動作及び処理を実行することができる中央処理ユニット(CPU)901を含む。RAM903には、システム900の操作に必要な様々なプログラム及びデータが更に記憶されている。CPU901、ROM902及びRAM903はバス904を介して互いに接続されている。入力/出力(I/O)インターフェース905もバス904に接続されている。
キーボード、マウス等を含む入力部906、陰極線管(CRT)、液晶ディスプレイ(LCD)等及びスピーカ等を含む出力部907、ハードディスク等を含む記憶部908、及びLANカード、モデム等を含むネットワークインターフェースカードの通信部909は、I/Oインターフェース905に接続されている。通信部909は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ910は必要に応じてI/Oインターフェース905に接続される。リムーバブルメディア911、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリ等は、必要に応じてドライバ910に取り付けられ、ドライバ910から読み出されたコンピュータプログラムが必要に応じて記憶部908にインストールされる。
特に、本願に開示されている実施例によれば、上記で図2〜図7を参照しながら記述された過程はコンピュータのソフトウェアプログラムとして実現することができる。例えば、本願に開示されている実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、図2〜図7の方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部909を介してネットワークからダウンロードしてインストールされ、及び/またはリムーバブルメディア911からインストールされることができる。
図面におけるフローチャート及びブロック図は、本発明の各実施例に係るシステム、方法及びコンピュータプログラム製品による実現可能なアーキテクチャー、機能及び操作を示す。ここで、フローチャートまたはブロック図における各枠は1つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、前記モジュール、プログラムセグメント、またはコードの一部は規定された論理機能を達成するための1つまたは複数の実行可能な命令を含む。なお、いくつかの代替実現形態として、枠に表記された機能は図面に表記された順序と異なる順序で実行してもよい。例えば、2つの接続に示される枠は実際的に、係る機能に応じて、ほぼ並行的に実行されてもよく、反対の順序で実行されてもよい。なお、ブロック図及び/またはフローチャートにおける各枠、及びブロック図及び/またはフローチャートにおける枠の組合せは規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、または、専用ハードウェアとコンピュータ命令の組合せで実行してもよい。
本願の実施例に記述されたユニットまたはモジュールはソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記述されたユニットまたはモジュールをプロセッサに設定してもよく、これらのユニットまたはモジュールの名称はある場合に当該ユニットまたはモジュール自身を限定するものではない。
一方、本願はコンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体は上記した実施例における前記装置に含まれるコンピュータ可読記憶媒体であってもよく、独立に存在して、装置に組み立てされていないコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は1つ又は1つ以上のプログラムを記憶し、前記プログラムは1つ又は1つ以上のプロセッサで本願に記述された式の入力方法を実行することに用いられる。
以上の記述は本願の最適実施例及び使用された技術的原理の説明に過ぎない。当業者が理解すべきであることは、本願に係る発明の範囲は上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術的解決手段も含むべきである。例えば、上記の特徴と本願に開示された(これに限定されていない)類似の機能を持っている技術的特徴を互いに置き換えてなる技術案が挙げられる。


201:Query−Title対のクリック表示比を取得する
220:ワードアライメントを利用して検索結果からクエリ語句における用語とアライメントする単語と隣接する前後の単語を取得する。
230:クリック表示比が第1の閾値より低いQuery−Title対における対応用語及びその前後の単語を生なエスケープ辞書に加え、クリック表示比が第2の閾値より高いQuery−Title対における対応用語及びその前後の単語を生な非エスケープ辞書に加える。

S1 クエリ
S2 結果

410:ユーザで入力されたクエリ要求を受信する
420:クエリ要求にマッチした候補結果を検索する
430:クリックエスケープモデルに基づいてクエリ要求と各候補結果との間の意味的な関連性を確定する
440:意味的な関連性に応じて候補結果をソートする

510:クエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性を確定する
511:クリックエスケープモデルに基づいて、センテンス間のテキストテーママッチングモデルを利用してクエリ要求と候補結果の語句との間のテーママッチング類似度を計算する
512:クエリ要求と候補結果の語句との間のマッチング状况に基づいてエスケープ要素を確定する
513:エスケープ要素及びテーママッチング類似度に基づいてクエリ要求と候補結果の語句との間の意味的な関連性を計算する
520:確定されたクエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性に基づいてクエリ要求と候補結果との間の意味的な関連性を確定する

マッチングが成功した
マッチングが成功した
マッチングが成功した

710:ワードアライメントを利用して候補結果の語句からクエリ要求における用語とアライメントする隣接前文及び後文を確定する。
720:エスケープ辞書及び/または非エスケープ辞書に基づいて候補結果の語句における対応の前文及び後文の類似度重みを調整する。

810受信ユニット
820検索ユニット
840ソートユニット
830意味的な関連性確定ユニット
831計算ユニット
832確定ユニット

905I/Oインターフェース
906入力部
907出力部
908記憶部
909通信部
910ドライバ
911リムーバブルメディア

Claims (22)

  1. ユーザで入力されたクエリ要求を受信するステップと、
    前記クエリ要求にマッチした候補結果を検索するステップと、
    クリックエスケープモデルに基づいて前記クエリ要求と各候補結果との間の意味的な関連性を確定するステップと、
    前記意味的な関連性に応じて候補結果をソートするステップと、を含んでおり、
    ここで、前記クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、前記エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、前記非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含むことを特徴とする検索エンジンの実現方法。
  2. 前記クエリ要求と各候補結果との間の意味的な関連性を確定するステップにおいては、各候補結果に対して、
    前記クエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性を確定するステップと、
    確定されたクエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性に基づいて前記クエリ要求と前記候補結果との間の意味的な関連性を確定するステップと、を含んでおり、
    ここで、前記語句は、候補結果のタイトル、アンカーテキスト及び正文におけるコアセンテンスのうちの少なくとも1つを含むことを特徴とする請求項1に記載の方法。
  3. 前記クエリ要求と候補結果の語句との間の意味的な関連性を確定するステップにおいては、
    前記クリックエスケープモデルに基づいて、センテンス間のテキストテーママッチングモデルを利用して前記クエリ要求と候補結果の語句との間のテーママッチング類似度を計算するステップと、
    前記クエリ要求と候補結果の語句との間のマッチング状况に基づいてエスケープ要素を確定するステップと、
    前記エスケープ要素及び前記テーママッチング類似度に基づいてクエリ要求と候補結果の語句との間の意味的な関連性を計算するステップと、を含むことを特徴とする請求項2に記載の方法。
  4. 前記クリックエスケープモデルに基づいて前記クエリ要求と候補結果の語句との間のテーママッチング類似度を計算するステップにおいては
    ワードアライメントを利用して候補結果の語句から前記クエリ要求における用語とアライメントする単語と隣接する前の単語及び後の単語を確定するステップと、
    前記エスケープ辞書及び/または非エスケープ辞書に基づいて候補結果の語句における対応の前の単語及び後の単語の類似度重みを調整するステップと、
    調整後の類似度重みに基づいて、センテンス間のテキストテーママッチングモデルを利用して前記クエリ要求と候補結果の語句との間のテーママッチング類似度を計算するステップと、を含むことを特徴とする請求項3に記載の方法。
  5. エスケープ辞書及び/または非エスケープ辞書に基づいて候補結果の語句における対応の前文及び後文の類似度重みを調整するステップいおいては、
    非エスケープ辞書が候補結果の語句における対応用語及びその前の単語または後の単語を含む場合に、当該前の単語または後の単語の類似度重みを下げるステップと、
    エスケープ辞書が候補結果の語句における対応用語及びその前の単語または後の単語を含む場合に、当該前の単語または後の単語の類似度重みを上げるステップと、を含むことを特徴とする請求項4に記載の方法。
  6. 前記センテンス間のテキストテーママッチングモデルは下記のベクトル空間モデルであることを特徴とする請求項4に記載の方法。
  7. 前記クエリ要求と候補結果の語句との間のマッチング状况に基づいてエスケープ要素を確定するステップにおいては、
    マッチング状况はクエリ要求における最も重要な用語が候補結果の語句に出現していない場合に、エスケープ要素を第1値として確定するステップと、
    マッチング状况は前後の単語のマッチングが存在している場合に、エスケープ要素を第2値として確定するステップと、
    マッチング状况は前後の単語の完全なマッチングが存在していない場合に、エスケープ要素を第3値として確定するステップと、を含み、
    ここで、前記第1値が第2値より小さく、且つ前記第2値が第3値より小さいことを特徴とする請求項3に記載の方法。
  8. 下記の式でクエリ要求と候補結果の語句との間の意味的な関連性を計算することを特徴とする請求項3に記載の方法。
  9. 前記クリックエスケープモデルにおけるエスケープ辞書及び非エスケープ辞書はクエリ要求・検索結果Query−Title対のクリック数を学習することにより構築されることを特徴とする請求項1に記載の方法。
  10. 前記エスケープ辞書及び非エスケープ辞書は、下記の方法で構築された生なエスケープ辞書及び生な非エスケープ辞書を含み、すなわち、
    Query−Title対のクリック表示比を取得するステップと、
    ワードアライメントを利用して検索結果からクエリ語句における用語とアライメントする単語と隣接する前後の単語を取得するステップと、
    クリック表示比が第1の閾値より低いQuery−Title対における対応の用語及びその前後の単語を生なエスケープ辞書に加えるステップと、
    クリック表示比が第2の閾値より高いQuery−Title対における対応の用語及びその前後の単語を生な非エスケープ辞書に加えるステップと、を含んでおり、
    ここで、前記クリック表示比がクリック数と表示数との比であり、表示数は検索結果がクエリ要求に応じて表示される回数を指し、クリック数は検索結果がクエリ要求に応じて表示される時に、ユーザにクリックされた回数を示すことを特徴とする請求項9に記載の方法。
  11. 前記エスケープ辞書及び非エスケープ辞書は下記の方法で構築された汎化エスケープ辞書及び汎化非エスケープ辞書を更に含み、すなわち、
    クエリ要求における用語に対して意味カテゴリーを表記するステップと、
    表記された意味カテゴリーを利用して生なエスケープ辞書及び生な非エスケープ辞書に対応する汎化エスケープ辞書及び汎化非エスケープ辞書を構築するステップを含むことを特徴とする請求項10に記載の方法。
  12. 前記ワードアライメントは同義ワードアライメントを含むことを特徴とする請求項4または10に記載の方法。
  13. ユーザで入力されたクエリ要求を受信する受信ユニットと、
    前記クエリ要求にマッチした候補結果を検索する検索ユニットと、
    クリックエスケープモデルに基づいて前記クエリ要求と各候補結果との間の意味的な関連性を確定する意味的な関連性確定ユニットと、
    前記意味的な関連性に応じて候補結果をソートするソートユニットと、を備えており、
    ここで、前記クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、前記エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、前記非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含むことを特徴とする検索エンジン。
  14. 前記意味的な関連性確定ユニットは、
    各候補結果に対して、前記クエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性を確定することに用いられる計算ユニットと、
    確定されたクエリ要求と候補結果の1つまたは複数の語句との間の意味的な関連性に基づいて前記クエリ要求と前記候補結果との間の意味的な関連性を確定する確定ユニットと、を備えており、
    ここで、前記語句は、候補結果のタイトル、アンカーテキスト及び正文におけるコアセンテンスのうちの少なくとも1つをことを含む特徴とする請求項13に記載の検索エンジン。
  15. 前記計算ユニットは、
    前記クリックエスケープモデルに基づいて、センテンス間のテキストテーママッチングモデルを利用して前記クエリ要求と候補結果の語句との間のテーママッチング類似度を計算するテーママッチング類似度モジュールと、
    前記クエリ要求と候補結果の語句との間のマッチング状况に基づいてエスケープ要素を確定するエスケープ要素モジュールと、
    前記エスケープ要素及び前記テーママッチング類似度に基づいてクエリ要求と候補結果の語句との間の意味的な関連性を計算する合成モジュールとを備えることを特徴とする請求項14に記載の検索エンジン。
  16. 前記テーママッチング類似度モジュールは、
    ワードアライメントを利用して候補結果の語句から前記クエリ要求における用語とアライメントする単語と隣接する前の単語及び後の単語を確定し、
    前記エスケープ辞書及び/または非エスケープ辞書に基づいて候補結果の語句における対応の前の単語及び後の単語の類似度重みを調整し、
    調整後の類似度重みに基づいて、センテンス間のテキストテーママッチングモデルを利用して前記クエリ要求と候補結果の語句との間のテーママッチング類似度を計算することを特徴とする請求項15に記載の検索エンジン。
  17. 前記エスケープ要素モジュールは、
    マッチング状况はクエリ要求における最も重要な用語が候補結果の語句に出現していない場合に、エスケープ要素を第1値として確定し、
    マッチング状况は前後の単語のマッチングが存在している場合に、エスケープ要素を第2値として確定し、
    マッチング状况は前後の単語の完全なマッチングが存在していない場合に、エスケープ要素を第3値として確定し、
    ここで、前記第1値が第2値より小さく、且つ前記第2値が第3値より小さいことを特徴とする請求項15に記載の検索エンジン。
  18. 前記クリックエスケープモデルにおけるエスケープ辞書及び非エスケープ辞書はクエリ要求・検索結果Query−Title対のクリック数を学習することにより構築されることを特徴とする請求項13に記載の検索エンジン。
  19. 前記エスケープ辞書及び非エスケープ辞書は、下記の方法で構築された生なエスケープ辞書及び生な非エスケープ辞書を含み、すなわち、
    Query−Title対のクリック表示比を取得するステップと、
    ワードアライメントを利用して検索結果からクエリ語句における用語とアライメントする単語と隣接する前後の単語を取得するステップと、
    クリック表示比が第1の閾値より低いQuery−Title対における対応の用語及びその前後の単語を生なエスケープ辞書に加えるステップと、
    クリック表示比が第2の閾値より高いQuery−Title対における対応の用語及びその前後の単語を生な非エスケープ辞書に加えるステップと、を含んでおり、
    ここで、前記クリック表示比がクリック数と表示数との比であり、表示数は検索結果がクエリ要求に応じて表示される回数を指し、クリック数は検索結果がクエリ要求に応じて表示される時に、ユーザにクリックされた回数を示すことを特徴とする請求項18に記載の検索エンジン。
  20. 前記エスケープ辞書及び非エスケープ辞書は下記の方法で構築された汎化エスケープ辞書及び汎化非エスケープ辞書を更に含み、すなわち、
    クエリ要求における用語に対して意味カテゴリーを表記するステップと、
    表記された意味カテゴリーを利用して生なエスケープ辞書及び生な非エスケープ辞書に対応する汎化エスケープ辞書及び汎化非エスケープ辞書を構築するステップと、を含む請求項19に記載の検索エンジン。
  21. 検索エンジンを実現するシステムであって、
    プロセッサと、
    記憶部を備えており、
    前記記憶部はコンピュータ可読命令を記憶し、前記コンピュータ可読命令が前記プロセッサより実行される場合に、前記プロセッサは、
    ユーザで入力されたクエリ要求を受信し、
    前記クエリ要求にマッチした候補結果を検索し、
    クリックエスケープモデルに基づいて前記クエリ要求と各候補結果との間の意味的な関連性を確定し、
    前記意味的な関連性に応じて候補結果をソートしており、
    ここで、前記クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、前記エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、前記非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含むことを特徴とするシステム。
  22. 不揮発性のコンピュータ記憶媒質であって、コンピュータ可読命令を記憶しており、前記コンピュータ可読命令がプロセッサより実行される場合に、前記プロセッサは、
    前記記憶部はコンピュータ可読命令を記憶し、前記コンピュータ可読命令が前記プロセッサより実行される場合に、前記プロセッサは、
    ユーザで入力されたクエリ要求を受信し、
    前記クエリ要求にマッチした候補結果を検索し、
    クリックエスケープモデルに基づいて前記クエリ要求と各候補結果との間の意味的な関連性を確定し、
    前記意味的な関連性に応じて候補結果をソートしており、
    ここで、前記クリックエスケープモデルはエスケープ辞書及び/または非エスケープ辞書を含み、前記エスケープ辞書はエスケープが発生したと確定された検索結果の対応用語及びその前後の単語を含み、前記非エスケープ辞書はエスケープが発生していないと確定された検索結果の対応用語及びその前後の単語を含むことを特徴とする不揮発性のコンピュータ記憶媒質。
JP2015232575A 2015-06-18 2015-11-30 検索エンジン及びその実現方法 Active JP6161679B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510342427.4 2015-06-18
CN201510342427.4A CN104899322B (zh) 2015-06-18 2015-06-18 搜索引擎及其实现方法

Publications (2)

Publication Number Publication Date
JP2017010514A true JP2017010514A (ja) 2017-01-12
JP6161679B2 JP6161679B2 (ja) 2017-07-12

Family

ID=54031984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232575A Active JP6161679B2 (ja) 2015-06-18 2015-11-30 検索エンジン及びその実現方法

Country Status (5)

Country Link
US (1) US10275533B2 (ja)
EP (1) EP3107006A1 (ja)
JP (1) JP6161679B2 (ja)
KR (1) KR101721338B1 (ja)
CN (1) CN104899322B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022050379A (ja) * 2021-02-09 2022-03-30 ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120949B2 (en) * 2015-10-29 2018-11-06 Google Llc Indexing native application data
CN105893533B (zh) * 2016-03-31 2021-05-07 北京奇艺世纪科技有限公司 一种文本匹配方法及装置
CN105975639B (zh) * 2016-07-04 2019-12-06 北京百度网讯科技有限公司 搜索结果排序方法和装置
CN106776782B (zh) * 2016-11-21 2020-05-22 北京百度网讯科技有限公司 基于人工智能的语义相似度获取方法及装置
CN108090099B (zh) * 2016-11-22 2022-02-25 科大讯飞股份有限公司 一种文本处理方法及装置
CN106776863A (zh) * 2016-11-28 2017-05-31 合网络技术(北京)有限公司 文本相关度的确定方法、查询结果的推送方法及装置
CN108241667B (zh) * 2016-12-26 2019-10-15 百度在线网络技术(北京)有限公司 用于推送信息的方法和装置
CN107402954B (zh) 2017-05-26 2020-07-10 百度在线网络技术(北京)有限公司 建立排序模型的方法、基于该模型的应用方法和装置
US10783149B2 (en) * 2017-08-02 2020-09-22 Microsoft Technology Licensing, Llc Dynamic productivity content rendering based upon user interaction patterns
CN109408794A (zh) * 2017-08-17 2019-03-01 阿里巴巴集团控股有限公司 一种频次词典建立方法、分词方法、服务器和客户端设备
CN109426357B (zh) * 2017-09-01 2023-05-12 百度在线网络技术(北京)有限公司 信息输入方法和装置
CN107704535A (zh) * 2017-09-21 2018-02-16 广州大学 基于主题相似度的网页信息获取方法、装置及系统
CN107590132B (zh) * 2017-10-17 2020-08-11 语联网(武汉)信息技术有限公司 一种自动更正部分文字的方法-由英文词性判断
CN108090121A (zh) * 2017-11-07 2018-05-29 曙光信息产业(北京)有限公司 图书评论挖掘系统及方法
CN107967256B (zh) * 2017-11-14 2021-12-21 北京拉勾科技有限公司 词语权重预测模型生成方法、职位推荐方法及计算设备
CN110147426B (zh) * 2017-12-01 2021-08-13 北京搜狗科技发展有限公司 一种查询文本的分类标签确定方法及相关装置
CN110019888A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种搜索方法及装置
CN110134850A (zh) * 2018-02-09 2019-08-16 北京搜狗科技发展有限公司 一种搜索方法及装置
CN108538291A (zh) 2018-04-11 2018-09-14 百度在线网络技术(北京)有限公司 语音控制方法、终端设备、云端服务器及系统
CN109033140B (zh) * 2018-06-08 2020-05-29 北京百度网讯科技有限公司 一种确定搜索结果的方法、装置、设备和计算机存储介质
US11204972B2 (en) * 2018-06-25 2021-12-21 Ebay Inc. Comprehensive search engine scoring and modeling of user relevance
CN110737756B (zh) 2018-07-03 2023-06-23 百度在线网络技术(北京)有限公司 确定针对用户输入数据的应答的方法、装置、设备和介质
CN109508394A (zh) * 2018-10-18 2019-03-22 青岛聚看云科技有限公司 一种多媒体文件搜索排序模型的训练方法及装置
WO2020082272A1 (en) * 2018-10-24 2020-04-30 Alibaba Group Holding Limited Intelligent customer services based on a vector propagation on a click graph model
CN109359302B (zh) * 2018-10-26 2023-04-18 重庆大学 一种领域化词向量的优化方法及基于其的融合排序方法
CN109213937B (zh) * 2018-11-29 2020-07-24 深圳爱问科技股份有限公司 智能搜索方法及装置
CN111259225B (zh) * 2018-12-03 2023-04-25 阿里巴巴集团控股有限公司 新媒体信息展示方法、装置、电子设备及计算机可读介质
CN111382265B (zh) * 2018-12-28 2023-09-19 中国移动通信集团贵州有限公司 搜索方法、装置、设备和介质
CN111381685B (zh) * 2018-12-29 2024-03-22 北京搜狗科技发展有限公司 一种句联想方法和装置
CN109815396B (zh) * 2019-01-16 2021-09-21 北京搜狗科技发展有限公司 搜索词权重确定方法及装置
KR102208412B1 (ko) * 2019-06-03 2021-01-26 정제성 복합 센서를 이용하여 걸음 수에 대한 정상 측정 여부의 판단이 가능한 전자 단말 장치 및 그 동작 방법
CN112149005B (zh) * 2019-06-27 2023-09-01 腾讯科技(深圳)有限公司 用于确定搜索结果的方法、装置、设备和可读存储介质
CN112579535A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 一种文件匹配方法、装置、电子设备及存储介质
CN111128376B (zh) * 2019-11-21 2023-06-16 泰康保险集团股份有限公司 一种推荐评估表单的方法和装置
CN113010633B (zh) * 2019-12-20 2023-01-31 海信视像科技股份有限公司 一种信息交互方法及设备
CN111159499B (zh) * 2019-12-31 2022-04-29 南方电网调峰调频发电有限公司 一种基于字符串间相似性的电力系统模型搜索排序方法
CN113139034A (zh) * 2020-01-17 2021-07-20 深圳市优必选科技股份有限公司 一种语句匹配方法、语句匹配装置及智能设备
CN113282779A (zh) 2020-02-19 2021-08-20 阿里巴巴集团控股有限公司 图像搜索方法、装置、设备
CN113536156A (zh) * 2020-04-13 2021-10-22 百度在线网络技术(北京)有限公司 搜索结果排序方法、模型构建方法、装置、设备和介质
CN111753167B (zh) * 2020-06-22 2024-01-12 北京百度网讯科技有限公司 搜索处理方法、装置、计算机设备和介质
CN111897994A (zh) * 2020-07-15 2020-11-06 腾讯音乐娱乐科技(深圳)有限公司 搜索方法、装置及服务器和计算机可读存储介质
CN112084210A (zh) * 2020-09-28 2020-12-15 中国建设银行股份有限公司 数据处理方法、装置、电子设备及存储介质
CN112183110A (zh) * 2020-09-28 2021-01-05 贵州云腾志远科技发展有限公司 一种基于数据中心的人工智能数据应用系统及应用方法
CN112507091A (zh) * 2020-12-01 2021-03-16 百度健康(北京)科技有限公司 检索信息的方法、装置、设备以及存储介质
CN113434661A (zh) * 2021-06-29 2021-09-24 平安科技(深圳)有限公司 公文拟稿提示方法、装置、电子设备及存储介质
CN117112773A (zh) * 2023-09-08 2023-11-24 中航机载系统共性技术有限公司 一种基于nlp的适航非结构化数据的搜索方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320879A (ja) * 1995-05-26 1996-12-03 Nec Corp 適合フィードバック装置
JP2006251935A (ja) * 2005-03-08 2006-09-21 Ricoh Co Ltd 文書検索装置、文書検索方法、および文書検索プログラム
JP2009110231A (ja) * 2007-10-30 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 文章検索サーバコンピュータ,文章検索方法,文章検索プログラム,そのプログラムを記録した記録媒体
JP2010205189A (ja) * 2009-03-05 2010-09-16 Nec Corp 検索結果文書のスコアリングシステム、スコア算出装置、スコアリング方法、及びスコアリングプログラム
US20110125578A1 (en) * 2000-04-04 2011-05-26 Aol Inc. Filtering system for providing personalized information in the absence of negative data
JP2012515379A (ja) * 2009-01-12 2012-07-05 アリババ・グループ・ホールディング・リミテッド 情報をクエリするための方法およびシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776697B1 (ko) * 2006-01-05 2007-11-16 주식회사 인터파크지마켓 고객 구매행동 분석에 기반한 지능화된 상품 검색 방법 및 시스템
US7830815B1 (en) * 2006-10-25 2010-11-09 At&T Intellectual Property Ii Method and apparatus for measuring and extracting proximity in networks
US8583633B2 (en) * 2007-11-30 2013-11-12 Ebay Inc. Using reputation measures to improve search relevance
US8152495B2 (en) 2008-10-01 2012-04-10 Ametek, Inc. Peripheral discharge tube axial fan
US20110208735A1 (en) * 2010-02-23 2011-08-25 Microsoft Corporation Learning Term Weights from the Query Click Field for Web Search
US20110270828A1 (en) * 2010-04-29 2011-11-03 Microsoft Corporation Providing search results in response to a search query
US8473507B2 (en) * 2011-01-14 2013-06-25 Apple Inc. Tokenized search suggestions
CN102722498B (zh) * 2011-03-31 2015-06-03 北京百度网讯科技有限公司 搜索引擎及其实现方法
CN102737022B (zh) * 2011-03-31 2015-01-07 百度在线网络技术(北京)有限公司 获取和搜索相关知识信息的方法及装置
CN102521321B (zh) * 2011-12-02 2013-07-31 华中科技大学 基于检索词歧义性和用户偏好的视频搜索方法
US9009148B2 (en) * 2011-12-19 2015-04-14 Microsoft Technology Licensing, Llc Clickthrough-based latent semantic model
CN103425691B (zh) * 2012-05-22 2016-12-14 阿里巴巴集团控股有限公司 一种搜索方法和系统
CN102982125B (zh) * 2012-11-14 2016-03-02 百度在线网络技术(北京)有限公司 一种用于确定同义文本的方法和装置
CN103902694B (zh) * 2014-03-28 2017-04-12 哈尔滨工程大学 基于聚类和查询行为的检索结果排序方法
CN105278970A (zh) * 2014-06-16 2016-01-27 中兴通讯股份有限公司 一种数据处理方法、装置和终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320879A (ja) * 1995-05-26 1996-12-03 Nec Corp 適合フィードバック装置
US20110125578A1 (en) * 2000-04-04 2011-05-26 Aol Inc. Filtering system for providing personalized information in the absence of negative data
JP2006251935A (ja) * 2005-03-08 2006-09-21 Ricoh Co Ltd 文書検索装置、文書検索方法、および文書検索プログラム
JP2009110231A (ja) * 2007-10-30 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 文章検索サーバコンピュータ,文章検索方法,文章検索プログラム,そのプログラムを記録した記録媒体
JP2012515379A (ja) * 2009-01-12 2012-07-05 アリババ・グループ・ホールディング・リミテッド 情報をクエリするための方法およびシステム
JP2010205189A (ja) * 2009-03-05 2010-09-16 Nec Corp 検索結果文書のスコアリングシステム、スコア算出装置、スコアリング方法、及びスコアリングプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022050379A (ja) * 2021-02-09 2022-03-30 ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
JP7301922B2 (ja) 2021-02-09 2023-07-03 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム

Also Published As

Publication number Publication date
JP6161679B2 (ja) 2017-07-12
CN104899322A (zh) 2015-09-09
EP3107006A1 (en) 2016-12-21
KR101721338B1 (ko) 2017-03-29
US10275533B2 (en) 2019-04-30
US20160371379A1 (en) 2016-12-22
KR20160149978A (ko) 2016-12-28
CN104899322B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
JP6161679B2 (ja) 検索エンジン及びその実現方法
US11232140B2 (en) Method and apparatus for processing information
US10599721B2 (en) Method and apparatus for automatically summarizing the contents of electronic documents
US10037320B2 (en) Context-aware approach to detection of short irrelevant texts
WO2017000402A1 (zh) 网页生成方法和装置
US20190050396A1 (en) Method, apparatus and device for recognizing text type
US8280829B2 (en) Efficient algorithm for pairwise preference learning
US20160085740A1 (en) Generating training data for disambiguation
US20060287988A1 (en) Keyword charaterization and application
WO2012075884A1 (zh) 书签智能分类的方法和服务器
US9860337B1 (en) Machine-based identification of content with differing opinions
CN106354856B (zh) 基于人工智能的深度神经网络强化搜索方法和装置
CN107885717B (zh) 一种关键词提取方法及装置
US20170235836A1 (en) Information identification and extraction
WO2021051934A1 (zh) 基于人工智能的合同关键条款提取方法、装置及存储介质
CN112579729A (zh) 文档质量评价模型的训练方法、装置、电子设备和介质
CN110674635B (zh) 一种用于文本段落划分的方法和装置
KR101931859B1 (ko) 전자문서의 대표 단어 선정 방법, 전자 문서 제공 방법, 및 이를 수행하는 컴퓨팅 시스템
US20170235835A1 (en) Information identification and extraction
CN111160007A (zh) 基于bert语言模型的搜索方法、装置、计算机设备及存储介质
CN111737607B (zh) 数据处理方法、装置、电子设备以及存储介质
CN113434636A (zh) 基于语义的近似文本搜索方法、装置、计算机设备及介质
RU2711123C2 (ru) Способ и система компьютерной обработки одной или нескольких цитат в цифровых текстах для определения их автора
CN114742058B (zh) 一种命名实体抽取方法、装置、计算机设备及存储介质
CN112926297B (zh) 处理信息的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R150 Certificate of patent or registration of utility model

Ref document number: 6161679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250