JP2022083997A - 機械学習を利用した応答時間予測によって検索システムを運営する方法および装置 - Google Patents

Abstract

【課題】 機械学習を利用した応答時間予測を利用して検索システムを運営する方法および装置を提供する。【解決手段】 検索システム運営方法は、検索と関連する特徴を基盤とした機械学習予測モデルを利用して、与えられた検索要請に対する応答時間を予測する段階、および前記応答時間の予測結果に基づいて、前記検索要請を処理するための演算リソースを制御する段階を含む。【選択図】図４

Description

以下の説明は、検索システムの効率性と安全性を高めるための運営技術に関するのだ。

インターネットの常用化により、インターネットを利用して多様な主題の情報を簡単かつ迅速に検索することができるようになった。

インターネット利用者のほとんどは、ブラウザを通じてインターネットに接続した後、インターネットポータルサイトで情報を検索する。

利用者がインターネットポータルサイトの検索ウィンドウに検索語を入力すれば、インターネットポータルサイトは、検索語に対応する多様な情報をデータベースから抽出して検索結果として利用者に提供する。

検索技術の一例として、特許文献１（公開日２００８年７月２日）には、利用者が入力した検索語を分析して利用者の意図に適した検索結果を提供する、検索システムおよび方法が開示されている。

韓国公開特許第１０－２００８－００６０４６２号公報

機械学習予測モデルを利用して、より効率的かつ安定的な自動化された検索環境を提供することができる方法および装置を提供する。

機械学習予測モデルを利用して、検索要請に対する応答時間をより精密に予測することができる方法および装置を提供する。

コンピュータが実行する検索システム運営方法であって、前記コンピュータは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記検索システム運営方法は、前記少なくとも１つのプロセッサが、検索と関連する特徴を基盤とした機械学習予測モデルを利用して、与えられた検索要請に対する応答時間を予測する段階、および前記少なくとも１つのプロセッサが、前記応答時間の予測結果に基づいて、前記検索要請を処理するための演算リソースを制御する段階を含む、検索システム運営方法を提供する。

一側面によると、前記制御する段階は、前記応答時間が基準値を超過するスロークエリ（ｓｌｏｗ ｑｕｅｒｙ）であると予測される場合、前記検索要請に対するランキング演算の負荷を調節してよい。

他の側面によると、前記制御する段階は、前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算を２つの段階に分けて処理する演算方式を適用する段階を含んでよい。

また他の側面によると、前記制御する段階は、前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算に参加する特徴のうちの一部を取り除くランキング特徴損失（ｒａｎｋｉｎｇ ｆｅａｔｕｒｅ ｄｒｏｐｏｕｔ）方式を適用する段階を含んでよい。

また他の側面によると、前記制御する段階は、前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算のためのキャッシュ満了時間（ｃａｃｈｅ ｅｘｐｉｒｅ ｔｉｍｅ）を延長する段階を含んでよい。

また他の側面によると、前記制御する段階は、前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請によるトラフィックを遮断する段階を含んでよい。

また他の側面によると、前記予測する段階は、前記機械学習予測モデルを利用して前記検索要請に対する検索結果の有無を予測する段階を含み、前記制御する段階は、前記検索結果有無の予測結果に基づいて、前記検索要請に対するランキング演算の負荷を調節する段階を含んでよい。

また他の側面によると、前記予測する段階は、前記検索要請に対応する検索類型に応じて前記機械学習予測モデルとして構築された複数のモデルのうちのいずれか１つのモデルを選択して前記応答時間を予測してよい。

また他の側面によると、前記予測する段階は、前記検索要請に含まれた検索語が単一索引語で構成される場合、索引語ＤＦ（ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）を基盤とした機械学習予測モデルを利用して前記応答時間を予測する段階、および前記検索語が多重索引語で構成される場合、索引語単語埋め込み（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ）を基盤とした機械学習予測モデルを利用して前記応答時間を予測する段階を含んでよい。

また他の側面によると、前記機械学習予測モデルは、検索ログから抽出されたデータによって応答時間に影響を及ぼす少なくとも１つの検索パラメータを学習データとして利用したモデルで構成されてよい。

また他の側面によると、前記機械学習予測モデルは、検索ログから抽出された索引語の単語埋め込みを学習データとして利用したディープラーニングモデルで構成されてよい。

また他の側面によると、前記機械学習予測モデルは、前記索引語の単語埋め込みとともに、前記検索ログから抽出可能な検索方式（ｓｅａｒｃｈ ｍｅｔｈｏｄ）、クエリ分析類型（ｑｕｅｒｙ ａｎａｌｙｚｅ ｔｙｐｅ）、ランキング特徴組み合わせ（ｒａｎｋｉｎｇ ｆｅａｔｕｒｅ ｃｏｍｂｉｎａｔｉｏｎ）、後処理類型（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ ｔｙｐｅ）のうちの少なくとも１つのパラメータを前記学習データとして利用してよい。

また他の側面によると、前記機械学習予測モデルは、検索ログから抽出された索引語のＤＦ値を学習データとして利用した回帰モデルで構成されてよい。

また他の側面によると、前記機械学習予測モデルは、線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）モデル、重回帰（ｍｕｌｔｉｐｌｅ ｒｅｇｒｅｓｓｉｏｎ）モデル、または多重ロジスティック回帰（ｍｕｌｔｉｐｌｅ ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）モデルで構成されてよい。

さらに他の側面によると、前記機械学習予測モデルは、前記索引語のＤＦ値とともに、前記検索ログから抽出可能な検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つのパラメータを前記学習データとして利用してよい。

前記検索システム運営方法をコンピュータに実行させるためのコンピュータプログラムを提供する。

コンピュータであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、検索と関連する特徴を基盤とした機械学習予測モデルを利用して、与えられた検索要請に対する応答時間を予測する応答予測部、および前記応答時間の予測結果に基づいて、前記検索要請を処理するための演算リソースを制御するリソース制御部を含む、コンピュータを提供する。

本発明の実施形態によると、機械学習予測モデルを利用して検索要請に対する応答時間を精密に予測することにより、検索システムの効率性と安全性を高めることができる。

本発明の実施形態によると、機械学習予測モデルを利用して検索要請に対する応答時間を予測し、スロークエリ（ｓｌｏｗ ｑｕｅｒｙ）であると予測される場合には、検索演算の負荷を調節したりシステムの可用性を防御したりすることができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータの例を示したブロック図である。 本発明の一実施形態における、コンピュータのプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、コンピュータが実行することができる方法の例を示したフローチャートである。 本発明の一実施形態における、機械学習予測モデルが含まれた検索システムの全体構造を示した図である。 本発明の一実施形態における、索引語ＤＦ基盤の線形回帰モデル構造を示した例示図である。 本発明の一実施形態における、索引語ＤＦ基盤の重回帰モデル構造を示した例示図である。 本発明の一実施形態における、索引語ＤＦ基盤の重回帰モデル構造を示した例示図である。 本発明の一実施形態における、索引語ＤＦ基盤の多重ロジスティック回帰モデル構造を示した例示図である。 本発明の一実施形態における、索引語ＤＦ基盤の多重ロジスティック回帰モデル構造を示した例示図である。 本発明の一実施形態における、索引語単語埋め込み基盤のＣＮＮモデル構造を示した例示図である。 本発明の一実施形態における、索引語単語埋め込み基盤のＣＮＮモデル構造を示した例示図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る検索システム運営装置は、少なくとも１つのコンピュータによって実現されてよく、本発明の実施形態に係る検索システム運営方法は、検索システム運営装置に含まれる少なくとも１つのコンピュータによって実行されてよい。このとき、コンピュータにおいては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータは、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係る検索システム運営方法を実行してよい。上述したコンピュータプログラムは、コンピュータと結合して検索システム運営方法をコンピュータに実行させるために、コンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されてはならない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明するためのものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されてはならない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータで実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータのうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータによって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、検索サービス、コンテンツ提供サービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービスなど）を提供するシステムであってよい。

図２は、本発明の一実施形態における、コンピュータの例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ２００によって実現されてよい。

このようなコンピュータ２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ２００のメモリ２１０にロードされてよい。

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ２００が他の電子機器（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を介してコンピュータ２００の通信インタフェース２３０を通じてコンピュータ２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ２００と１つの装置で構成されてもよい。

また、他の実施形態において、コンピュータ２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。

以下では、機械学習を利用した応答時間予測によって検索システムを運営する方法およびシステムの具体的な実施形態について説明する。

図３は、本発明の一実施形態における、コンピュータのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、コンピュータが実行することのできる方法の例を示したフローチャートである。

本実施形態に係るコンピュータ２００は、クライアントを対象に、クライアント上にインストールされた専用アプリケーションやコンピュータ２００と関連するウェブ／モバイルサイトへの接続によって検索サービスを提供してよい。コンピュータ２００には、コンピュータで実現された検索システム運営装置が構成されてよい。

コンピュータ２００のプロセッサ２２０は、図４に係る検索システム運営方法を実行するための構成要素として、図３に示すように、応答予測部３１０とリソース制御部３２０を含んでよい。実施形態によって、プロセッサ２２０の構成要素は、選択的にプロセッサ２２０に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２０の構成要素は、プロセッサ２２０の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２２０およびプロセッサ２２０の構成要素は、図３の検索システム運営方法が含む段階４１０～４２０を実行するようにコンピュータ２００を制御してよい。例えば、プロセッサ２２０およびプロセッサ２２０の構成要素は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ２２０の構成要素は、コンピュータ２００に記録されたプログラムコードが提供する命令にしたがってプロセッサ２２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、コンピュータ２００が検索要請に対する応答時間を予測するように上述した命令にしたがってコンピュータ２００を制御するプロセッサ２２０の機能的表現として、応答予測部３１０が利用されてよい。

プロセッサ２２０は、コンピュータ２００の制御と関連する命令がロードされたメモリ２１０から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、プロセッサ２２０が以下で説明する段階４１０～４２０を実行するように制御するための命令を含んでよい。

以下で説明する段階４１０～４２０は、図４に示した順序とは異なる順序で実行されてもよいし、段階４１０～４２０のうちの一部が省略されたり追加の過程がさらに含まれたりしてもよい。

図４を参照すると、段階４１０で、応答予測部３１０は、与えられた検索要請に対して、機械学習予測モデルを利用して応答時間を予測してよい。応答予測部３１０は、検索システムの応用階層（ｓｅａｒｃｈ ａｐｐｌｉｃａｔｉｏｎ ｓｅｒｖｅｒ）から検索階層（ｓｅａｒｃｈ ｃｏｌｌｅｃｔｉｏｎ ｓｅｒｖｅｒ）に検索を実行するとき、応用階層で検索階層の応答時間を予測してよい。

利用者がフロントエンド（ｆｒｏｎｔ－ｅｎｄ）で検索語を入力する場合、バックエンド（ｂａｃｋ－ｅｎｄ）では数万台の検索サーバが複雑な演算過程を経ながら検索語に対応する検索結果を提供するようになる。しかし、検索要請に含まれる検索語によって、索引語（ｔｅｒｍ）ＤＦ（ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）、検索方式（ｓｅａｒｃｈ ｍｅｔｈｏｄ）、クエリ分析類型（ｑｕｅｒｙ ａｎａｌｙｚｅ ｔｙｐｅ）、ランキング特徴組み合わせ（ｒａｎｋｉｎｇ ｆｅａｔｕｒｅ ｃｏｍｂｉｎａｔｉｏｎ）、後処理類型（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ ｔｙｐｅ）などが異なるため、検索要請を処理する時間、すなわち、応答時間も異なる。検索サーバで検索される文書の量が多いほど、検索スペック（ロジック）が複雑なほど、文書ランキング演算が多いほど、より多くのシステムリソースを消耗するため応答時間が長くなる。

このような応答時間が基準値を超過するスロークエリの場合、利用者が感じるサービス品質（ＱｏＳ）は格段に低下し、スロークエリが瞬間的に大量に流入する場合には検索システムの停止状態（ｏｕｔａｇｅ）を誘発することもあるため、スロークエリに対する防御措置が必要である。

このために、応答予測部３１０は、機械学習予測モデルを利用して検索要請の応答時間を予測してよい。コンピュータ２００は、応答時間と関連性をもつ少なくとも１つの特徴を学習データとして利用して応答時間を予測する機械学習予測モデルを含んでよく、応答予測部３１０は、コンピュータ２００上の機械学習予測モデルを利用して、与えられた検索要請の応答時間を予測してよい。一例として、応答予測部３１０は、索引語ＤＦを学習データとして構築された線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）モデルを利用して応答時間を予測してよい。他の例として、応答予測部３１０は、索引語ＤＦとともに、検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つの他の特徴を学習データとして構築された重回帰（ｍｕｌｔｉｐｌｅ ｒｅｇｒｅｓｓｉｏｎ）モデルを利用して応答時間を予測してよい。また他の例として、応答予測部３１０は、索引語ＤＦとともに、検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つの他の特徴を学習データとして構築された多重ロジスティック回帰（ｍｕｌｔｉｐｌｅ ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）モデルを利用して応答時間を予測してよい。また他の例として、応答予測部３１０は、索引語ＤＦではない、索引語自体の単語埋め込み（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ）を学習データとするディープラーニングモデルとして、索引語単語埋め込みとともに、検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つの他の特徴を学習データとして構築されたＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを利用して応答時間を予測してよい。

コンピュータ２００は、応答時間予測モデルとして構築された複数の機械学習予測モデルを含んでよく、応答予測部３１０は、機械学習予測モデルのうち、検索要請に対応する検索類型に応じて適切なモデルを選択的に利用して応答時間を予測してよい。一例として、応答予測部３１０は、検索語が単一索引語で構成される場合には、索引語ＤＦ基盤の機械学習予測モデルを利用して応答時間を予測してよく、検索語が多重索引語で構成される場合には、索引語単語埋め込み基盤の機械学習予測モデルを利用して応答時間を予測してよい。

さらに、応答予測部３１０は、検索要請に対する応答時間の予測はもちろん、検索結果の有無を予測してよい。応答時間を予測する機械学習予測モデルと同様に、検索結果の有無と関連性をもつ少なくとも１つの特徴を学習データとして利用して検索結果の有無を予測する機械学習予測モデルを構築してよく、応答予測部３１０は、コンピュータ２００上に構築された機械学習予測モデルを利用して、与えられた検索要請に対する検索結果の有無を予測してよい。

段階４２０で、リソース制御部３２０は、応答時間予測結果に基づいて、検索要請を処理するための演算リソースを制御してよい。

リソース制御部３２０は、検索システムの効率性を高めるために、スロークエリであると予測される場合、検索品質を害さない範囲内で検索階層のランキング演算の負荷を調節した、軽量化された検索を実行してよい。一例として、リソース制御部３２０は、応答時間予測結果によってスロークエリであると予測される場合、ランキング演算を一度に処理する方式ではなく、２つの段階に分けて処理する２段階ランキング（２－ｐｈａｓｅ ｒａｎｋｉｎｇ）演算方式を適用してよい。２段階ランキング演算方式とは、検索ランキングの演算費用、すなわち、文書のスコア値を計算するコンピューティング費用が低いアルゴリズムを利用して１次整列を実行して検索結果に該当する文書の候補群を選別した後、選別された候補群に対して、正常なクエリに対する検索方式として合意されたアルゴリズムを利用して２次整列（最終検索結果）を実行する方法である。他の例として、リソース制御部３２０は、応答時間予測結果によってスロークエリであると予測される場合、検索ランキング演算に参加する特徴のうちの一部を取り除くランキング特徴損失（ｒａｎｋｉｎｇ ｆｅａｔｕｒｅ ｄｒｏｐｏｕｔ）方式を適用してよい。ランキング特徴損失方式とは、文書のスコア値を計算するランキング演算を実行する過程において、ランキング演算に参加する特徴のうちで重要度が低いか多くのコンピューティングリソースを占める一部の特徴を取り除く方法である。また他の例として、リソース制御部３２０は、応答時間予測結果によってスロークエリであると予測される場合、ランキング演算のためのキャッシュ満了時間（ｃａｃｈｅ ｅｘｐｉｒｅ ｔｉｍｅ）を延長してよい。検索サーバではキャッシュ満了時間を動的に設定してよく、リソース制御部３２０は、スロークエリであると予測されれば、検索サーバに設定されたキャッシュ満了時間を動的に調節してよい。

リソース制御部３２０は、検索システムの安全性を高めるための方法として、検索階層の可用性を防御してよい。一例として、リソース制御部３２０は、トラフィックの急増のような有事の状況において、検索システムに基準値以上の負荷を与えるスロークエリを選択的に遮断する（ｂｌｏｃｋｉｎｇ）ことにより、検索システムの可用性を保障してよい。言い換えれば、リソース制御部３２０は、有事の際に、検索システムの応用階層から検索階層に伝達されるスロークエリトラフィックを遮断してよい。

リソース制御部３２０は、検索要請に対する予測結果として検索結果の有無を確認してよく、検索結果の有無に基づいて、正常なクエリの検索方式として合意されたアルゴリズムの代わりに、２段階ランキング演算方式またはランキング特徴損失方式を利用した、軽量化された検索を実行してよい。

したがって、本実施形態では、機械学習予測モデルを利用して検索要請の応答時間を予測し、スロークエリであると予測される場合には検索費用を調節してタイムアウトの可能性を最小化することができ、有事の際にはスロークエリトラフィックを選択的に遮断して検索システムを防御することができる。

以下では、応答時間と検索結果の有無を予測するモデルについて具体的に説明する。

図５は、本発明の一実施形態における、機械学習予測モデルが含まれた検索システムの全体構造を示した図である。

図５を参照すると、検索システム５００の応用階層であるＳＡＳ（ｓｅａｒｃｈ ａｐｐｌｉｃａｔｉｏｎ ｓｅｒｖｅｒ）５２０では、標準化された入力／出力インタフェースが適用されてよい。呼び出しサーバ５１０は、検索要請を処理するためにＳＡＳ５２０を呼び出すようになるが、このとき、検索語、検索方式、後処理類型、整列などのようにＳＡＳ５２０を呼び出すときに必ず存在しなればならない必須パラメータと選択的に存在するパラメータまで数十種類のＳＡＳ要請パラメータが存在する。

検索システム５００は、機械学習予測モデルを構築するためのディープラーニング分散プラットフォーム５３０を含んでよい。ディープラーニング分散プラットフォーム５３０は、ＳＡＳ５２０のログを活用して、応答時間を予測する機械学習予測モデルを構築してよい。

ディープラーニング分散プラットフォーム５３０は、ＳＡＳ５２０のログでＳＡＳ５２０を呼び出したＵＲＬと、該当のＵＲＬを処理するのにかかった応答時間を抽出してよく、応答時間と関連性のある検索特徴として少なくとも１つのＳＡＳ要請パラメータを取得してよい。

ディープラーニング分散プラットフォーム５３０は、ＳＡＳ５２０のログデータを学習データフォーマットに変更してよい。モデル構築のための学習データは、各検索特徴の性質と設計するモデルに適した形態に加工する。データの性質は、数値型データと範疇型データとに大別されてよく、例えば、索引語ＤＦは数値型データに該当し、検索方式と後処理類型パラメータは範疇型データに該当してよい。数値型データの場合は、スケーリング（ｓｃａｌｉｎｇ）変換による正規化によってデータを加工してよく、範疇型データの場合は、バイナリ（ｂｉｎａｒｙ）フォーマットやワンホットエンコード（ｏｎｅ－ｈｏｔ ｅｎｃｏｄｉｎｇ）フォーマットに変換する作業によってデータを加工してよい。ディープラーニング分散プラットフォーム５３０は、加工されたデータの散布図、分布、統計などを分析してノイズデータを取り除くことにより、学習データとして活用するデータを選別してよい。

ディープラーニング分散プラットフォーム５３０は、ＳＡＳ５２０のログから取得した学習データを利用して機械学習予測モデルを学習してよく、学習されたモデルは、サービングプラットフォーム５４０を利用して応答時間や検索結果の有無を予測するためのモデルとして検索システム５００上に登録することにより、リアルタイムＡＰＩに基づく動的インファレンスが可能な環境を生成することができる。

機械学習予測モデルが構築された後、ＳＡＳ５２０が与えられた検索要請に対して検索エンジン５５０を呼び出せば、検索エンジン５５０は、検索要請に該当する入力文字列を機械学習予測モデルの入力データフォーマットに変換してサービングプラットフォーム５４０に伝達してよい。サービングプラットフォーム５４０は、検索エンジン５５０から伝達された入力データに対して機械学習予測モデルを利用して該当の検索要請の応答時間を予測した後、予測結果を検索エンジン５５０を経てＳＡＳ５２０に返還してよい。

ＳＡＳ５２０は、応答時間予測結果によってスロークエリであると予測される場合、検索環境を最適化することのできるロジックの軽量化された検索を実行してよい。

スロークエリであると予測されて軽量化された検索を実行した検索要請のログをモデルに反映するようになれば、以後からは、同じ検索要請がスロークエリであると予測されないフィードバックループ問題が発生することがある。

ＳＡＳ５２０で検索要請と関連するログを記録するにあたり、スロークエリであると予測された検索要請のログに対しては、正常な検索要請とは区分される個別のフラギング（ｆｌａｇｇｉｎｇ）を処理することにより、フィードバックループ問題を解決することができる。

図６は、索引語ＤＦを基盤として応答時間を予測する線形回帰モデル６００を示している。

索引語ＤＦは、索引で該当の索引語が登場する文書の数、言い換えれば、ポスティングリストの長さを意味する。ＴＦ－ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）基盤の情報検索モデルにおいて、索引語ＤＦは、検索語に多数の索引語があるときに特定の索引語の重要度を選り分ける尺度となる。簡単に言うと、ＤＦが高ければ、該当の索引語が複数の文書に分布するため主題を特定するのに好ましくない反面、ＤＦが低ければ、具体的な意味を有するため、主題を特定するのに好ましい索引語に該当する。索引語ＤＦは、検索要請を処理する過程で生成されるのではなく、文書コレクションで検索ボリュームを生成する時点に生成される値であるため、検索時点に相対的に低い費用で求めることのできる値である。

例えば、図６を参照すると、応答時間を予測する機械学習予測モデルの一例として、線形回帰モデル６００は、索引語ＤＦ６１１を示す数値型データを入力特徴とし、応答時間６２０を出力特徴のラベルとする学習モデル構造を有する。

線形回帰モデル６００は、１つの入力層（ｉｎｐｕｔ ｌａｙｅｒ）、１つの隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）、および１つの出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）からなるモデル構造で実現されてよい。

図７は、索引語ＤＦを基盤として応答時間を予測する重回帰モデル７００を示している。

応答時間予測の正確度を高めるためには、索引語ＤＦとともに、検索ログから取得可能なハッシュ（ｈａｓｈ）やインデックス（ｉｎｄｅｘ）、例えば、検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つの特徴を追加してよい。

応答時間を予測する機械学習予測モデルの一例として、少なくとも１つの隠れ層で構成された重回帰モデル７００を適用してよい。例えば、図７を参照すると、重回帰モデル７００は、索引語ＤＦ７１１、検索方式７１２、クエリ分析類型７１３、ランキング特徴組み合わせ７１４、後処理類型７１５を入力特徴とし、応答時間７２０を出力特徴のラベルとする学習モデル構造を有する。

検索方式７１２、クエリ分析類型７１３、ランキング特徴組み合わせ７１４、後処理類型７１５は、各パラメータの類型がｎ個である場合、サイズがｎであるスパーベクトル（ｓｐａｒｓｅ ｖｅｃｔｏｒ）で構成されてよい。検索方式７１２や後処理類型７１５のような範疇型データはバイナリまたはワンホットエンコードにベクトル化し、索引語ＤＦ７１１は正規化によって１つの数値ベクトルで表現してよい。

図８に示すように、重回帰モデル７００は、複数の入力層、１つの隠れ層、および１つの出力層からなるモデル構造であって、応答時間に影響を及ぼす複数のパラメータを入力特徴とし、入力特徴の間の因果関係に対する確率を出力特徴で表現するモデルで実現されてよい。

図９は、索引語ＤＦを基盤として応答時間を予測する多重ロジスティック回帰モデル９００を示している。

多クラス分類の問題に使用されるロジスティック回帰を適用して、応答時間を予測するための機械学習予測モデル、すなわち、多重ロジスティック回帰モデル９００を構築してよい。

図９を参照すると、多重ロジスティック回帰モデル９００は、図７の重回帰モデル７００と同じであるが、入力特徴として使用される索引語ＤＦ９１１と出力特徴として使用される応答時間９２０もワンホットエンコードによってベクトル化してよい。出力ラベルとなる応答時間９２０は、０．１秒区間に分けた合計１０１のサイズを有するベクトルで表現されてよい。

図１０に示すように、多重ロジスティック回帰モデル９００は、複数の入力層、複数の隠れ層、および複数の出力層からなるモデル構造であって、応答時間に影響を与える複数のパラメータを入力特徴とし、入力特徴の間の因果関係に対する１０１種類の確率を出力特徴で表現するモデルで実現されてよい。

索引語ＤＦ基盤の予測モデル６００、７００、９００の場合、多重索引語からなる検索要請あるいは制限検索要請（フィルタリング）では、応答時間予測の正確度が低下することがある。

多重索引語からなる検索要請あるいは制限検索要請（フィルタリング）に対する応答時間予測の正確度を高めるためには、索引語ＤＦではなく、索引語自体を単語埋め込みしてモデルに適用してよい。

図１１は、索引語単語埋め込みを基盤として応答時間を予測するＣＮＮモデル１１００を示している。

回帰方式とは異なり、ＳＡＳ５２０のログを文章情報形態で表現し、ＣＮＮモデル１１００を利用して応答時間を分類する多クラス分類（ｍｕｌｔｉ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）方式を適用してよい。

単語埋め込みを基盤とするＣＮＮモデル１１００は、各層の入力／出力データの形状を維持することができ、単語の空間情報を維持しながら隣接単語との特徴を効果的に認識することができる。また、ＣＮＮモデル１１００は、複数のフィルタによって文章の特徴を抽出および学習することができ、抽出された文章の特徴を強化させることができ、データのサイズを減らすプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）を適用することができる。

例えば、図１１を参照すると、ＣＮＮモデル１１００は、索引語単語埋め込み１１１１、検索方式１１１２、クエリ分析類型１１１３、ランキング特徴組み合わせ１１１４、後処理類型１１１５を入力特徴とし、応答時間１１２０を出力特徴のラベルとする学習モデル構造を有する。

検索方式１１１２、クエリ分析類型１１１３、ランキング特徴組み合わせ１１１４、後処理類型１１１５は、各パラメータの類型がｎ個である場合、サイズがｎであるスパーベクトル（ｓｐａｒｓｅ ｖｅｃｔｏｒ）で構成されてよい。索引語単語埋め込み１１１１は、索引語自体をベクトルで表現してＩＤ化したものであり、出力ラベルとなる応答時間１１２０は、０．１秒区間に分けた合計１０１のサイズのベクトルで表現されてよい。

ＣＮＮモデル１１００は、検索ログから取得可能なデータをベクトル化し、ベクトル化されたデータに対する応答時間を予測する指導学習モデルで実現されてよい。

図１２に示すように、ＣＮＮモデル１１００は、畳み込み、マックスプーリング（ｍａｘｐｏｏｌｉｎｇ）、平坦化（ｆｌａｔｔｅｎ）、ＦＣ（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ）を含むモデル構造であって、応答時間に影響を与える複数のパラメータを入力特徴とし、入力特徴の間の因果関係に対する１０１種類の確率を出力特徴として表現するモデルで実現されてよい。

索引語単語埋め込み基盤のＣＮＮモデル１１００の場合、検索要請に対する応答時間を予測することができる。言い換えれば、畳み込みとマックスプーリングを繰り返し実行して文章の特性を抽出し、抽出された特性に対してＦＣ層を経て応答時間確率を示す１０１種類のクラスを求めることができる。

検索結果の有無を予測する機械学習予測モデルを索引語単語埋め込み基盤のＣＮＮモデル１１００で構築してよく、プロセッサ２２０は、該当のＣＮＮモデル（１１００）を利用して、与えられた検索要請に対する検索結果の有無を予測することも可能である。検索結果の有無を予測するＣＮＮモデル１１００の場合、検索結果の有無を示す２種類のクラスを求めることができる。

このように、本発明の実施形態によると、機械学習予測モデルを利用して検索要請に対する応答時間を予測することによってより正確な予測を提供することができ、特に、応答時間予測結果によってスロークエリであると予測される場合、検索演算の負荷を調節したりシステムの可用性を防御したりすることにより、検索システムの効率性と安全性を高めることができる。さらに、本発明の実施形態によると、索引語ＤＦとともに追加の検索パラメータを学習データとして利用したり、索引語ＤＦではなく索引語自体の単語埋め込みを学習データとして利用したりする予測モデルを適用することにより、検索要請の応答時間をより精密に予測することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられてよい。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

２２０：プロセッサ
３１０：応答予測部
３２０：リソース制御部

Claims (20)

1. コンピュータが実行する検索システム運営方法であって、
   前記コンピュータは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
   前記検索システム運営方法は
   前記少なくとも１つのプロセッサが、検索と関連する特徴を基盤とした機械学習予測モデルを利用して、与えられた検索要請に対する応答時間を予測する段階、および
   前記少なくとも１つのプロセッサが、前記応答時間の予測結果に基づいて、前記検索要請を処理するための演算リソースを制御する段階
   を含む、検索システム運営方法。
2. 前記制御する段階は、
   前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算の負荷を調節すること
   を特徴とする、請求項１に記載の検索システム運営方法。
3. 前記制御する段階は、
   前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算を２つの段階に分けて処理する演算方式を適用する段階
   を含む、請求項１に記載の検索システム運営方法。
4. 前記制御する段階は、
   前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算に参加する特徴のうちの一部を取り除くランキング特徴損失方式を適用する段階
   を含む、請求項１に記載の検索システム運営方法。
5. 前記制御する段階は、
   前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算のためのキャッシュ満了時間を延長する段階
   を含む、請求項１に記載の検索システム運営方法。
6. 前記制御する段階は、
   前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請によるトラフィックを遮断する段階
   を含む、請求項１に記載の検索システム運営方法。
7. 前記予測する段階は、
   前記機械学習予測モデルを利用して前記検索要請に対する検索結果の有無を予測する段階
   を含み、
   前記制御する段階は、
   前記検索結果の有無の予測結果に基づいて、前記検索要請に対するランキング演算の負荷を調節する段階
   を含む、請求項１～６のうちのいずれか一項に記載の検索システム運営方法。
8. 前記予測する段階は、
   前記検索要請に対応する検索類型に応じて前記機械学習予測モデルとして構築された複数のモデルのうちのいずれか１つのモデルを選択して前記応答時間を予測すること
   を特徴とする、請求項１～６のうちのいずれか一項に記載の検索システム運営方法。
9. 前記予測する段階は、
   前記検索要請に含まれた検索語が単一索引語で構成される場合、索引語ＤＦ基盤の機械学習予測モデルを利用して前記応答時間を予測する段階、および
   前記検索語が多重索引語で構成される場合、索引語単語埋め込み基盤の機械学習予測モデルを利用して前記応答時間を予測する段階
   を含む、請求項１～６のうちのいずれか一項に記載の検索システム運営方法。
10. 前記機械学習予測モデルは、検索ログから抽出されたデータによって応答時間に影響を及ぼす少なくとも１つの検索パラメータを学習データとして利用したモデルで構成されること
    を特徴とする、請求項１～９のうちのいずれか一項に記載の検索システム運営方法。
11. 前記機械学習予測モデルは、検索ログから抽出された索引語の単語埋め込みを学習データとして利用したディープラーニングモデルで構成されること
    を特徴とする、請求項１～９のうちのいずれか一項に記載の検索システム運営方法。
12. 前記機械学習予測モデルは、前記索引語の単語埋め込みとともに、前記検索ログから抽出可能な検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つのパラメータを前記学習データとして利用すること
    を特徴とする、請求項１１に記載の検索システム運営方法。
13. 前記機械学習予測モデルは、検索ログから抽出された索引語のＤＦ値を学習データとして利用した回帰モデルで構成されること
    を特徴とする、請求項１１に記載の検索システム運営方法。
14. 前記機械学習予測モデルは、線形回帰モデル、または重回帰モデル、または多重ロジスティック回帰モデルで構成されること
    を特徴とする、請求項１３に記載の検索システム運営方法。
15. 前記機械学習予測モデルは、前記索引語のＤＦ値とともに、前記検索ログから抽出可能な検索方式、クエリ分析類型、ランキング特徴組み合わせ、後処理類型のうちの少なくとも１つのパラメータを前記学習データとして利用すること
    を特徴とする、請求項１３に記載の検索システム運営方法。
16. 請求項１～１５のうちのいずれか一項に記載の検索システム運営方法をコンピュータに実行させるためのコンピュータプログラム。
17. コンピュータであって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    検索と関連する特徴を基盤とした機械学習予測モデルを利用して、与えられた検索要請に対する応答時間を予測する応答予測部、および
    前記応答時間の予測結果に基づいて、前記検索要請を処理するための演算リソースを制御するリソース制御部
    を含む、コンピュータ。
18. 前記リソース制御部は、
    前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算を２つの段階に分けて処理する演算方式を適用すること
    を特徴とする、請求項１７に記載のコンピュータ。
19. 前記リソース制御部は、
    前記応答時間が基準値を超過するスロークエリであると予測される場合、前記検索要請に対するランキング演算に参加する特徴のうちの一部を取り除く方式を適用すること
    を特徴とする、請求項１７に記載のコンピュータ。
20. 前記応答予測部は、
    前記検索要請に含まれた検索語が単一索引語で構成される場合、索引語ＤＦ基盤の機械学習予測モデルを利用して前記応答時間を予測し、
    前記検索語が多重索引語で構成される場合、索引語単語埋め込み基盤の機械学習予測モデルを利用して前記応答時間を予測すること
    を特徴とする、請求項１７～１９のうちのいずれか一項に記載のコンピュータ。

Images