JP2010033442A - 検索システム評価装置、及び、検索システム評価方法 - Google Patents

Abstract

【課題】検索システム自体に対する評価が可能な検索システム評価装置および検索システム評価方法を提供する。
【解決手段】主セッション特定部２０１は、記録装置１ｇに格納された検索ログデータから、一の検索端末による一連の検索操作（主セッション）を特定する。サブセッション特定部２０３は、主セッション特定部２０１によって特定された一連の検索操作（主セッション）を構成しており検索システム毎の一連の検索操作を示す一又は複数の検索セッション（サブセッション）を、一連の検索操作（主セッション）から特定する。評価値算出部２０５は、サブセッション特定部２０３によって特定された検索セッション（サブセッション）の数に応じて評価値を算出する。
【選択図】図２

Description

本発明は、インターネット上の検索システムを評価する検索システム評価装置および検索システム評価方法に関する。

特許文献１には、検索システムによる検索結果に対する評価値を検索キーワードに基づいて算出する技術が開示されている。特許文献１のシステムは、アクセス要求側を示すアクセス要求側識別データとアクセス要求側にアクセスされたアクセス先を示すアクセス先識別データとを関連づけたＷｅｂログに基づいて同一のアクセス要求側による連続的なアクセスを表すアクセスシーケンスを抽出する機能と、検索システムを示すアクセス先識別データと入力される検索キーワードとがＷｅｂログにおいて関連付けされている場合に、Ｗｅｂログに基づいて検索キーワードを抽出する機能と、検索システムの検索結果に対する質的評価規則に基づいてアクセスシーケンスに対応する質的評価値を算出し、検索キーワードと質的評価値との対応関係を示す関係データを求める機能とを有する。
特開２００４−２５２９１１号公報

特許文献１の技術によれば、検索システムによる検索結果に対する評価値が検索キーワード毎に算出される。しかし、複数の検索システムのそれぞれを評価する場合、このような検索キーワード毎の評価値を用いて検索システム自体を評価するのは困難である。そこで本発明の目的は、検索システム自体に対する評価が可能な検索システム評価装置および検索システム評価方法を提供することである。

本発明の検索システム評価装置は、インターネットを介した情報検索に用いられる一又は複数の検索システムの利用満足度をそれぞれ評価するための評価値を算出する検索システム評価装置であって、上記情報検索の履歴を示す検索ログデータを格納する記録装置と、上記記録装置に格納された上記検索ログデータから、一の検索端末による一連の検索操作を特定する第１の特定手段と、上記第１の特定手段によって特定された一連の検索操作を構成しており上記検索システム毎の一連の検索操作を示す一又は複数の検索セッションを、上記一連の検索操作から特定する第２の特定手段と、上記第２の特定手段によって特定された検索セッションの数に応じて上記評価値を算出する算出手段とを備える、ことを特徴とする。そして、上記算出手段は、上記第２の特定手段によって特定された上記検索セッションの数が複数の場合に、連続して行われた二つの検索セッションのうち最先の検索セッションの検索システムに対する上記評価値を減算する、ことを特徴とする。

従って、検索システムの利用状況を示す検索ログデータから検索システムの利用満足度を評価するための評価値が、一の検索端末による一連の検索操作に含まれる検索セッション（一の検索システムによる一連の検索操作）の数に応じて算出される。このように、一の検索端末による一連の検索操作において、一の検索システムのみが用いられたか、又は、この一の検索システム以外の他の検索システムが用いられたかに基づいて、検索システムに対する評価が可能となる。他の検索システムが用いられたということは、評価対象となっている検索システムに対する満足度が低い、ということを意味していると考えられるので、検索システムに対する評価を、従来のように評価対象となっている検索システム自体に対する検索操作（例えば、検索時間や閲覧サイト数等）に基づいて行うよりも、本発明のように他の検索システムが用いられたか否かに応じて行えば、好適な評価が可能となる。

また、本発明の検索システム評価装置では、上記評価値を算出するための一又は複数の指標データを上記記録装置に格納された上記検索ログデータに基づいて取得する取得手段を更に備え、上記算出手段は、上記取得手段によって取得された上記一又は複数の指標データの内容に応じて上記評価値を算出する。このように、指標データ（例えば、検索システム自体に対する検索操作を示すデータ）が検索システムに対する評価値の算出に更に用いられるので、検索システムに対するより好適な評価が可能となる。

インターネットを介した情報検索に用いられる一又は複数の検索システムの利用満足度をそれぞれ評価するための評価値を算出する検索システム評価装置を用いた検索システム評価方法であって、上記検索システム評価装置の記録装置に格納されており上記情報検索の履歴を示す検索ログデータから、一の検索端末による一連の検索操作を上記検索システム評価装置が特定する第１の特定ステップと、上記検索システム毎の一連の検索操作を示しており上記第１の特定ステップにおいて特定された一連の検索操作を構成する一又は複数の検索セッションを、上記一連の検索操作から上記検索システム評価装置が特定する第２の特定ステップと、上記第２の特定ステップにおいて特定された検索セッションの数に応じて上記評価値を上記検索システム評価装置が算出する算出ステップとを備える、ことを特徴とする。

従って、検索システムの利用状況を示す検索ログデータから検索システムの利用満足度を評価するための評価値が、一の検索端末による一連の検索操作に含まれる検索セッション（一の検索システムによる一連の検索操作）の数に応じて算出される。このように、一の検索端末による一連の検索操作において、一の検索システムのみが用いられたか、又は、この一の検索システム以外の他の検索システムが用いられたかに基づいて、検索システムに対する評価が可能となる。他の検索システムが用いられたということは、評価対象となっている検索システムに対する満足度が低い、ということを意味していると考えられるので、検索システムに対する評価を、従来のように評価対象となっている検索システム自体に対する検索操作（例えば、検索時間や閲覧サイト数等）に基づいて行うよりも、本発明のように他の検索システムが用いられたか否かに応じて行えば、好適な評価が可能となる。

本発明によれば、検索システム自体に対する評価が可能な検索システム評価装置および検索システム評価方法が提供できる。

以下、図面を参照して、本発明に係る好適な実施形態について詳細に説明する。なお、図面の説明において、可能な場合には、同一要素には同一符号を付し、重複する説明を省略する。検索システム評価装置１は、インターネット上の検索システムの利用満足度を自動的に評価するための装置である。検索システム評価装置１は、評価結果を検索システム等に通知する。検索システム評価装置１は、図１に示すように、物理的には、ＣＰＵ１ａ（プロセッサ）、ＲＡＭ１ｂ、ＲＯＭ１ｃ、入力装置１ｄ、出力装置１ｅ、通信装置１ｆ及び記録装置１ｇを有しており、これらはバス１ｈに接続されている。ＣＰＵ１ａは、ＲＯＭ１ｃ等の内蔵メモリに格納された所定のコンピュータソフトウェア（図１２及び図１３のフローチャートに示す処理を実行するためのコンピュータプログラムを含む）をＲＡＭ１ｂにロードして実行することにより、検索システム評価装置１を統括的に制御する。

入力装置１ｄは、データ入力用デバイスであり、入力されたデータをＣＰＵ１ａに出力する。出力装置１ｅは、ＬＣＤ等の表示装置やプリンタ等であり、ＣＰＵ１ａから入力されたデータ（検索システムに対する評価結果等）を出力する。通信装置１ｆは、インターネット上の検索システム等と通信を行うためのインターフェイスを有する。記録装置１ｇは、ＣＰＵ１ａの実行可能な上記コンピュータソフトウェアを格納する。記録装置１ｇは、図２に示すデータベース１００，３００，４００を有する。データベース１００は、図４に示すＷｅｂアクセスログ１０１を格納し、データベース３００は、図６に示す検索システムＩＤリスト３０１を格納し、データベース４００は、評価値算出結果４０１を格納する。

ＣＰＵ１ａは、図２および図３に示す機能を実現する。すなわち、検索システム評価装置１は、機能的には、利用状況解析部２００および出力処理部５００を有する。利用状況解析部２００および出力処理部５００は、ＣＰＵ１ａが記録装置１ｇに格納された上記コンピュータソフトウェアを実行し、例えば図１２及び図１３のフローチャートに示す処理を行うことによって実現される機能である。

図２に示すように、利用状況解析部２００は、主セッション特定部２０１（第１の特定手段）、検索情報抽出部２０２、サブセッション特定部２０３（第２の特定手段）、指標データ取得部２０４（取得手段）および評価値算出部２０５（算出手段）を有する。また、図３に示すように、評価値算出部２０５は、第１の判定部２０５ａ、加算部２０５ｂ、第２の判定部２０５ｃ、第１の減算部２０５ｄ、第３の判定部２０５ｅおよび第２の減算部２０５ｆを含む。

主セッション特定部２０１は、データベース１００に格納されたＷｅｂアクセスログ１０１に基づいて図５に示すＷｅｂアクセスログ２０１ａを作成し、この作成したＷｅｂアクセスログ２０１ａを記録装置１ｇに格納する。主セッション特定部２０１は、Ｗｅｂアクセスログ１０１から後述の主セッションを特定し、この主セッションを示す主セッションＩＤデータＤ５を含むＷｅｂアクセスログ２０１ａを作成する。

ここで、図４を参照して、Ｗｅｂアクセスログ１０１について説明する。Ｗｅｂアクセスログ１０１は、インターネットを介して検索操作（検索システムへのアクセス、検索結果としてのインターネットアドレス（ＵＲＬ）へのアクセス等であり、以下同様）の行われた複数の検索システムに対する利用状況を示す検索ログデータであり、ユーザＩＤデータＤ１、日付データＤ２、時間データＤ３およびリクエストデータＤ４（アクセスデータ）を含む。Ｗｅｂアクセスログ１０１は、検索システム評価装置１により作成される。

ユーザＩＤデータＤ１は、インターネットを介して検索操作を行った検索端末を識別するためのデータである。本実施形態においては、ＩＤが「１０００」の検索端末と、ＩＤが「１００１」の検索端末とが例示されている。日付データＤ２は、検索操作が行われた日付を示すデータである。時間データＤ３は、検索操作が行われた時間を示すデータであり、検索操作の開始時刻と終了時刻とを含む。リクエストデータＤ４は、検索システムのＵＲＬと検索キーワードとを含む。本実施形態においては、ＵＲＬが「http://www.AAA.ne.jp」の検索システムと、ＵＲＬが「http://www.BBB.co.jp」の検索システムとが例示されている。また、リクエストデータＤ４は、検索システムにより検索された一または複数のインターネットサイトのうち実際にアクセスされたインターネットサイトのＵＲＬを含む。本実施形態においては、ＵＲＬが「http://www.CCC.ne.jp/CCC.htm」のインターネットサイトと、ＵＲＬが「http://www.DDD.ne.jp/DDD.htm」のインターネットサイトとが例示されており、何れも、ＵＲＬが「http://www.BBB.co.jp」の検索システムによって検索され検索端末によりアクセスされたＵＲＬである。

また、Ｗｅｂアクセスログ１０１は、レコードＲ１〜レコードＲ７等の複数のレコードを含む。Ｗｅｂアクセスログ１０１に含まれるレコードＲ１〜レコードＲ７等の複数のレコードのそれぞれは、リクエストデータＤ４に含まれているＵＲＬ毎に（検索操作毎に）作成されている。

ここで、主セッションＩＤデータＤ５の示す主セッションは、一の検索端末（携帯電話やＰＣ等）による一連の検索操作を示すデータであり、例えば、リファラ（referer）から得られる（リファラに記録された）ものであってもよいし、Ｗｅｂアクセスログ１０１に含まれるレコードＲ１〜レコードＲ７等のレコードのうち、一のレコード、または、ユーザＩＤデータＤ１に示すＩＤが同一であって時間データＤ３に示す時間（一のレコードにおける検索操作の開始時刻から次の検索操作に係るレコードにおける検索操作の開始時刻までの時間）が所定時間内（例えば３０分内）の複数のレコードから成るものであってもよい。

図５に示すＷｅｂアクセスログ２０１ａは、主セッションＩＤデータＤ５がＷｅｂアクセスログ１０１に追加されたデータである。Ｗｅｂアクセスログ２０１ａは、レコードＲ１ａ〜レコードＲ７ａ等の複数のレコードを含む。レコードＲ１ａ〜レコードＲ７ａは、Ｗｅｂアクセスログ１０１のレコードＲ１〜レコードＲ７にそれぞれ対応しており、レコードＲ１〜レコードＲ７のそれぞれに主セッションＩＤデータＤ５の内容が追加されたデータである。

図２に戻って説明する。検索情報抽出部２０２は、図７に示すＷｅｂアクセスログ２０２ａを作成し、この作成したＷｅｂアクセスログ２０２ａを記録装置１ｇに格納する。すなわち、検索情報抽出部２０２は、図６に示す検索システムＩＤリスト３０１に基づいて、記録装置１ｇに格納されたＷｅｂアクセスログ２０１ａ（又は、データベース１００に格納されたＷｅｂアクセスログ１０１）から検索システムＩＤと検索キーワードとを抽出し、この検索システムＩＤを示す検索システムＩＤデータＤ６と、この検索キーワードを示す検索キーワードデータＤ９とを含むＷｅｂアクセスログ２０２ａを作成する。Ｗｅｂアクセスログ２０２ａは、例えばレコードＲ１ｂ〜レコードＲ７ｂ等の複数のレコードを含む。レコードＲ１ｂ〜レコードＲ７ｂは、Ｗｅｂアクセスログ２０１ａのレコードＲ１ａ〜レコードＲ７ａにそれぞれ対応しており、レコードＲ１ａ〜レコードＲ７ａのそれぞれに検索システムＩＤデータＤ６および検索キーワードデータＤ９が追加されたものである。

ここで、図６を参照して、検索システムＩＤリスト３０１について説明する。検索システムＩＤリスト３０１は、検索システム評価装置１により作成される。検索システムＩＤリスト３０１は、検索システムＩＤデータＤ６、検索システムＵＲＬデータＤ７およびクエリパターンデータＤ８を含む。検索システムＩＤデータＤ６は、リクエストデータＤ４に示すインターネットアドレスの検索システムを識別するためのデータであり、検索システムＵＲＬデータＤ７は、リクエストデータＤ４に示す（検索システムＩＤデータＤ６により識別される）検索システムのＵＲＬを示すデータであり、クエリパターンデータＤ８は、検索システムＵＲＬデータＤ７に示す検索システムで用いられているクエリパターンを示すデータである。また、検索システムＩＤリスト３０１は、レコードＲ９およびレコードＲ１０等の複数のレコードを含む。検索システムＩＤリスト３０１に含まれるレコードＲ９およびレコードＲ１０等の複数のレコードは、検索システムＩＤデータＤ６のデータ毎に（すなわち検索システム毎に）作成される。

図２に戻って説明する。サブセッション特定部２０３は、図８に示すＷｅｂアクセスログ２０３ａを作成し、この作成したＷｅｂアクセスログ２０３ａを記録装置１ｇに格納する。すなわち、サブセッション特定部２０３は、記録装置１ｇに格納されたＷｅｂアクセスログ２０１ａやＷｅｂアクセスログ２０２ａに含まれる主セッションＩＤデータＤ５の一の主セッションから後述のサブセッションを特定し、このサブセッションを示すサブセッションＩＤデータＤ１０を含むＷｅｂアクセスログ２０３ａを作成する。

なお、図８のサブセッションＩＤデータＤ１０の示すサブセッションとは、Ｗｅｂアクセスログ２０１ａやＷｅｂアクセスログ２０２ａに含まれる主セッションＩＤデータＤ５に示す主セッションが同一であって（一の主セッションを構成しており）、検索システムＩＤデータＤ６に示す検索システムが同一の一または複数のレコード（検索システム毎の一連の検索操作を示す一または複数のレコード）から成る検索セッションである。図８に示すように、Ｗｅｂアクセスログ２０３ａは、Ｗｅｂアクセスログ２０２ａにサブセッションＩＤデータＤ１０の内容が追加されたデータである。Ｗｅｂアクセスログ２０３ａは、レコードＲ１ｃ〜レコードＲ７ｃ等の複数のレコードを含む。レコードＲ１ｃ〜レコードＲ７ｃは、Ｗｅｂアクセスログ２０２ａのレコードＲ１ｂ〜レコードＲ７ｂにそれぞれ対応しており、レコードＲ１ｂ〜レコードＲ７ｂのそれぞれにサブセッションＩＤデータＤ１０の内容が追加されたデータである。

図２に戻って説明する。指標データ取得部２０４は、データベース１００に格納されたＷｅｂアクセスログ１０１（より具体的には、Ｗｅｂアクセスログ１０１等に基づいて作成され記録装置１ｇに格納されたＷｅｂアクセスログ２０３ａ）に基づいて検索システムに対する利用満足度を評価するための指標データ（集計データ２０４ａに含まれるアクセス回数データＤ１２や滞留時間データＤ１３）を取得する。指標データ取得部２０４は、アクセスされたインターネットアドレスの数を示すアクセス回数データＤ１２をサブセッション毎にリクエストデータＤ４に基づいて取得し、また、検索端末のアクセスが検索システムに滞留した滞留時間を示す滞留時間データＤ１３をサブセッション毎に時間データＤ３に基づいて取得する。

そして、指標データ取得部２０４は、アクセス回数データＤ１２および滞留時間データＤ１３を用いて、図９に示す集計データ２０４ａを作成し、この作成した集計データ２０４ａを記録装置１ｇに格納する。すなわち、指標データ取得部２０４は、Ｗｅｂアクセスログ２０３ａに示されるサブセッション毎に、検索システムに滞留した滞留時間と、検索結果（検索されたインターネットアドレス）へのアクセス回数（アクセスされたインターネットアドレスの数）とをＷｅｂアクセスログ２０３ａから取得し、この滞留時間を示す滞留時間データＤ１３（第１の指標データ）と、このアクセス回数を示すアクセス回数データＤ１２（第２の指標データ）とを含む集計データ２０４ａを作成する。

図９に示すように、集計データ２０４ａは、レコードＲ１２〜レコードＲ１５等の複数のレコードを含み、各レコードは、番号データＤ１１、ユーザＩＤデータＤ１、主セッションＩＤデータＤ５、サブセッションＩＤデータＤ１０、検索キーワードデータＤ９、アクセス回数データＤ１２、検索システムＩＤデータＤ６および滞留時間データＤ１３のそれぞれのデータを含む。番号データＤ１１は、集計データ２０４ａに含まれるレコードＲ１２〜レコードＲ１５等の各レコードを識別するための番号である。なお、番号データＤ１１の番号は、主セッションが同一の場合（主セッションＩＤデータＤ５の値が同一の場合）、時系列的に（サブセッションの開始順に）付与されている。

集計データ２０４ａに示すユーザＩＤデータＤ１、主セッションＩＤデータＤ５、検索キーワードデータＤ９およびサブセッションＩＤデータＤ１０の内容は、Ｗｅｂアクセスログ２０３ａのユーザＩＤデータＤ１、主セッションＩＤデータＤ５、検索キーワードデータＤ９およびサブセッションＩＤデータＤ１０の内容と同様である。

評価値算出部２０５は、サブセッションＩＤデータＤ１０のサブセッションのうち一の主セッションに含まれるサブセッション（サブセッション特定部２０３によって特定されたサブセッション）の数に応じて、検索システムに対する評価結果（このサブセッションに対応する検索システムに対する評価結果）を示す評価値を算出する。この評価値は、後に一例として示す評価値算出結果４０１に含まれる評価値データＤ１４に記録される。評価値算出部２０５は、この評価値の記録された評価値算出結果４０１をデータベース４００に格納する。例えば、評価値算出部２０５は、サブセッション特定部２０３によって特定されたサブセッションの数が複数の場合に、連続して行われた二つのサブセッションのうち最先のサブセッションに対応する検索システムに対する評価値を減算する。

更に、評価値算出部２０５は、図３に示す第１の判定部２０５ａ〜第２の減算部２０５ｆを用いて、指標データ取得部２０４により取得されたアクセス回数データＤ１２や滞留時間データＤ１３等の指標データの内容に応じて、検索システムに対する評価結果を示す評価値を算出する（この算出処理を図１３のフローチャートに示す）。

評価値算出部２０５は、図１０に示すテーブルデータＴ１を参照して集計データ２０４ａから評価値算出結果４０１を作成する。図１０に示すテーブルデータＴ１は、集計データ２０４ａのサブセッションＩＤデータＤ１０に示すサブセッション毎の滞留時間に応じて与えられ検索サイトの評価値に加算される点数を示すデータである。図１０に示すテーブルデータＴ１は、記録装置１ｇに格納されている。評価値算出部２０５は、作成した評価値算出結果４０１をデータベース４００に格納する。

評価値算出結果４０１は、集計データ２０４ａに評価値データＤ１４の内容が追加されたデータである。評価値算出結果４０１は、レコードＲ１２ａ〜レコードＲ１５ａ等の複数のレコードを含む。レコードＲ１２ａ〜レコードＲ１５ａは、集計データ２０４ａのレコードＲ１２〜レコードＲ１５にそれぞれ対応しており、レコードＲ１２〜レコードＲ１５のそれぞれに評価値データＤ１４の内容が追加されたデータである。図１１に示す評価値データＤ１４の評価値は、図１３のフローチャートに従って集計データ２０４ａから算出される値である。

出力処理部５００は、通信装置１ｆや出力装置１ｅを用いて、データベース４００に格納された評価値算出結果４０１を外部に出力する。例えば、出力処理部５００は、評価値算出結果４０１に含まれるレコード（レコードＲ１２ａ〜レコードＲ１５ａ等）を、通信装置１ｆ等を介して各レコードに該当する検索システムに通知する。なお、この場合、出力処理部５００は、評価値データＤ１４の評価値が所定閾値以上となるレコードの検索システムに対し評価値を通知してもよいし、評価値に応じた広告表示（検索システムのＷｅｂページに表示する例えばバナー等の広告表示）の提示を各検索システムに行ってもよい。

次に、図１２を参照して、検索システム評価装置１の動作を説明する。まず、ステップＳ１において、主セッション特定部２０１は、データベース１００に格納されたＷｅｂアクセスログ１０１に基づいてＷｅｂアクセスログ２０１ａを作成し、この作成したＷｅｂアクセスログ２０１ａを記録装置１ｇに格納する。ステップＳ１において、主セッション特定部２０１は、Ｗｅｂアクセスログ１０１から後述の主セッションを特定し、この主セッションを示す主セッションＩＤデータＤ５を含むＷｅｂアクセスログ２０１ａを作成する（ステップＳ１）。

ステップＳ１の後、ステップＳ２において、検索情報抽出部２０２は、Ｗｅｂアクセスログ２０２ａを作成し、この作成したＷｅｂアクセスログ２０２ａを記録装置１ｇに格納する。ステップＳ２において、検索情報抽出部２０２は、検索システムＩＤリスト３０１に基づいて、記録装置１ｇに格納されたＷｅｂアクセスログ２０１ａ（又は、データベース１００に格納されたＷｅｂアクセスログ１０１）から検索システムＩＤと検索キーワードとを抽出し、この検索システムＩＤを示す検索システムＩＤデータＤ６と、この検索キーワードを示す検索キーワードデータＤ９とを含むＷｅｂアクセスログ２０２ａを作成する（ステップＳ２）。

ステップＳ２の後、ステップＳ３において、サブセッション特定部２０３は、Ｗｅｂアクセスログ２０３ａを作成し、この作成したＷｅｂアクセスログ２０３ａを記録装置１ｇに格納する。ステップＳ３において、サブセッション特定部２０３は、記録装置１ｇに格納されたＷｅｂアクセスログ２０１ａやＷｅｂアクセスログ２０２ａに含まれる主セッションＩＤデータＤ５の一の主セッションから後述のサブセッションを特定し、このサブセッションを示すサブセッションＩＤデータＤ１０を含むＷｅｂアクセスログ２０３ａを作成する（ステップＳ３）。

ステップＳ３の後、ステップＳ４において、指標データ取得部２０４は、アクセス回数データＤ１２および滞留時間データＤ１３を用いて、集計データ２０４ａを作成し、この作成した集計データ２０４ａを記録装置１ｇに格納する。ステップＳ４において、指標データ取得部２０４は、Ｗｅｂアクセスログ２０３ａに示されるサブセッション毎に、検索システムに滞留した滞留時間と、検索結果（検索されたインターネットアドレス）へのアクセス回数（アクセスされたインターネットアドレスの数）とをＷｅｂアクセスログ２０３ａから取得し、この滞留時間を示す滞留時間データＤ１３と、このアクセス回数を示すアクセス回数データＤ１２とを含む集計データ２０４ａを作成する（ステップＳ４）。

ステップＳ４の後、ステップＳ５において、評価値算出部２０５は、サブセッションＩＤデータＤ１０のサブセッションのうち一の主セッションに含まれるサブセッション（サブセッション特定部２０３によって特定されたサブセッション）の数に応じて、検索システムに対する評価結果（このサブセッションに対応する検索システムに対する評価結果）を示す評価値を算出し、この算出した評価値を含む評価値算出結果（例えば、評価値算出結果４０１）を作成してデータベース４００に格納する（ステップＳ５）。

次に、図１３を参照して、検索システム評価装置１による評価値の算出処理の一例を説明する。図１３のフローチャートに示す処理は、集計データ２０４ａに含まれているレコード毎（サブセッション毎）に各レコードの検索システムに対する評価値を算出する処理であり、図３に示す評価値算出部２０５の第１の判定部２０５ａ〜評価値算出部２０５ｆによって行われる。ここで、集計データ２０４ａの各レコードの評価値の初期値はゼロとする。

まず、第１の判定部２０５ａは、集計データ２０４ａの複数のレコードのそれぞれに対し、検索結果であるインターネットアドレスが検索端末によりアクセスされたか否か（アクセス回数が１以上かゼロか）をアクセス回数データＤ１２に基づいて判定する（ステップＳ１１）。

ステップＳ１１において、アクセス回数が１以上である（検索結果である一または複数のインターネットアドレスのうちアクセスされたものが少なくとも一つ有る）と判定されたレコードの場合（ステップＳ１１：Ｙｅｓ）、加算部２０５ｂは、ステップＳ１２において、図１０に示すテーブルデータＴ１を参照して、このレコードに含まれる滞留時間データＤ１３の値（滞留時間）に応じた点数を評価値に加算し、ステップＳ１５に移行する（ステップＳ１２）。ステップＳ１１において、アクセス回数がゼロである（検索結果である一または複数のインターネットアドレスのうちアクセスされたものが無い）と判定されたレコードの場合（ステップＳ１１：Ｎｏ）、ステップＳ１３の処理に移行する。

第２の判定部２０５ｃは、アクセス回数がゼロであるとステップＳ１１において判定されたレコードに対し、滞留時間が所定の基準時間以上（例えば３０秒以上とする）であるか否かを集計データ２０４ａの滞留時間データＤ１３の内容に基づいて判定する（ステップＳ１３）。ステップＳ１３において滞留時間がこの基準時間以上であると判定されたレコードの場合（ステップＳ１３：Ｙｅｓ）、第１の減算部２０５ｄは、予め設定された第１の点数（第１の値であり、例えば１０点とする）を評価値から減算し（ステップＳ１４）、ステップＳ１５に移行する。ステップＳ１３において滞留時間が基準時間未満であると判定されたレコードの場合（ステップＳ１３：Ｙｅｓ）、評価値の算出処理が終了される。

第３の判定部２０５ｅは、ステップＳ１２の後に、ステップＳ１１においてアクセス回数が１以上であると判定されたレコードと同じ主セッションに含まれており、このレコードに係る検索システムに対するアクセスに次いでアクセスされた他の検索システム（次検索システムという）に係るレコードがある場合、言い換えれば、ステップＳ１１においてアクセス回数が１以上であると判定されたレコードのサブセッションに次いで行われたサブセッション（次サブセッションという）のレコードがある場合に、この次検索システム（次サブセッションに係る検索システム）により検索されたインターネットアドレスが検索端末にアクセスされたか否かをアクセス回数データＤ１２に基づいて判定する（ステップＳ１５）。

また、第３の判定部２０５ｅは、ステップＳ１４の後に、ステップＳ１３において滞留時間が基準時間以上であると判定されたレコードと同じ主セッションに含まれており、このレコードに係る検索システムに対するアクセスに次いでアクセスされた次検索システムに係るレコードがある場合、言い換えれば、ステップＳ１３において滞留時間が基準時間以上であると判定されたレコードのサブセッションに次いで行われた次サブセッションのレコードがある場合に、この次検索システム（次サブセッションに係る検索システム）により検索されたインターネットアドレスが検索端末にアクセスされたか否かをアクセス回数データＤ１２に基づいて判定する（ステップＳ１５）。

ステップＳ１５においてアクセスされたと判定された場合（ステップＳ１５：Ｙｅｓ）、第２の減算部２０５ｆは、予め設定された第２の点数（第２の値であり、例えば３０点）を評価値から減算し（ステップＳ１６）、評価値の算出処理が終了される。ステップＳ１５においてアクセスされなかったと判定された場合、または、次検索システムに係るレコードがない場合（言い換えると、次サブセッションのレコードがない場合）に（ステップＳ１５：Ｎｏ）、評価値の算出処理が終了される。

図９に示す集計データ２０４ａのレコードＲ１２の場合、アクセス回数データＤ１２の内容からアクセス回数がゼロであり（ステップＳ１１：Ｎｏ）、滞留時間データＤ１３の内容から滞留時間は、「１分２１秒」であって基準時間以上（３０秒以上）なので（ステップＳ１３：Ｙｅｓ）、ステップＳ１４において、初期値ゼロの評価値から第１の点数である１０点が減算され、評価値は「−１０」となる。そして、レコードＲ１２を含む主セッション（主セッションＩＤデータＤ５が「１」の主セッション）は、レコードＲ１２に係る検索システム（検索システムＩＤデータＤ６が「１」の検索システム）に対するアクセスに次いでアクセスされた次検索システム（検索システムＩＤデータＤ６が「２」の検索システム）に係るレコードＲ１３を含み、このレコードＲ１３のアクセス回数データＤ１２の内容が「２」なので（ステップＳ１５：Ｙｅｓ）、「−１０」の評価値から第２の点数である３０点が更に減算され（ステップＳ１６）、最終的な評価値は「−４０」となる。レコードＲ１２におけるこの評価値は、図１１に示すレコードＲ１２ａの評価値データＤ１４の値である。

また、図９に示す集計データ２０４ａのレコードＲ１３の場合、アクセス回数データＤ１２の内容からアクセス回数が「２」なので（ステップＳ１１：Ｙｅｓ）、ステップＳ１２において、図１０に示すテーブルデータＴ１に基づき、レコードＲ１３に含まれる滞留時間データＤ１３の内容「５分１秒」に応じた点数「５０」が評価値に加算され、評価値は「＋５０」となる。そして、レコードＲ１３を含む主セッション（主セッションＩＤデータＤ５が「１」の主セッション）は、レコードＲ１３に係る検索システム（検索システムＩＤデータＤ６が「２」の検索システム）に対するアクセスに次いでアクセスされた次検索システムに係るレコードを含まないので（ステップＳ１５：Ｎｏ）、最終的な評価値は「＋５０」となる。レコードＲ１３におけるこの評価値は、図１１に示すレコードＲ１３ａの評価値データＤ１４の値である。

また、図９に示す集計データ２０４ａのレコードＲ１４の場合、アクセス回数データＤ１２の内容からアクセス回数が「１」なので（ステップＳ１１：Ｙｅｓ）、ステップＳ１２において、図１０に示すテーブルデータＴ１に基づき、レコードＲ１４に含まれる滞留時間データＤ１３の内容「４分３８秒」に応じた点数「４０」が評価値に加算され、評価値は「＋４０」となる。そして、レコードＲ１４を含む主セッション（主セッションＩＤデータＤ５が「２」の主セッション）は、レコードＲ１４に係る検索システム（検索システムＩＤデータＤ６が「２」の検索システム）に対するアクセスに次いでアクセスされた次検索システムに係るレコードを含まないので（ステップＳ１５：Ｎｏ）、最終的な評価値は「＋４０」となる。レコードＲ１４におけるこの評価値は、図１１に示すレコードＲ１４ａの評価値データＤ１４の値である。

なお、レコードＲ１５に対してもレコードＲ１２〜レコードＲ１４と同様に評価値が計算されるが、レコードＲ１５から算出された図１１のレコードＲ１５ａの評価値データＤ１４の値は、ステップＳ１６において第２の点数である３０点が減算された場合の値となっている。

（変形例１） なお、評価値の算出処理は図１３のフローチャートに示すものに限らない。例えば、第１の判定部２０５ａがステップＳ１１の処理を行わずに、加算部２０５ｂがステップＳ１２の処理を行ってもよい。

（変形例２） また、ステップＳ１１およびステップＳ１２が行われることなく、加算部２０５ｂが、アクセス回数（アクセス回数データＤ１２の値）に応じた点数を示すテーブルデータＴ２、閲覧ページ数（検索結果が複数のＷｅｂページにわたって提示された場合に実際に閲覧されたページ数を示す指標データであり、以下同様）に応じた点数を示すテーブルデータＴ３、滞留時間（滞留時間データＤ１３の値）／アクセス回数（アクセス回数データＤ１２の値）の商の値に応じた点数を示すテーブルデータＴ４、滞留時間（滞留時間データＤ１３の値）／閲覧ページ数の商の値に応じた点数を示すテーブルデータＴ５、アクセス回数（アクセス回数データＤ１２の値）／閲覧ページ数の商の値に応じた点数を示すテーブルデータＴ６のいずれかのテーブルデータを参照して評価値の加算処理を行ってもよい。なお、上記商の算出は、分母となる値がゼロの場合には行われない。

（変形例３） また、ステップＳ１１に替えて、第１の判定部２０５ａが、滞留時間（滞留時間データＤ１３の値）、アクセス回数（アクセス回数データＤ１２の値）または閲覧ページ数の何れかが所定閾値を越えたか否かを判定し、越えた場合に評価値の加算処理（ステップＳ１２の処理や上記変形例２の加算処理）が行われ、越えない場合にステップＳ１３に移行されてもよい。なお、アクセス回数が判定される場合の判定基準となる閾値は、一定値であってもよいし、閲覧ページ数に応じた値であってもよい。更に、アクセス回数が判定される場合において、アクセス回数が閾値を越えない場合には、ステップＳ１３およびステップＳ１４に替えて、滞留時間が所定閾値を越えたか否かが第２の判定部２０５ｃにより判定され、越えない場合には、算出処理が終了され、越えた場合には、滞留時間、アクセス回数または閲覧ページ数に応じた点数が、テーブルデータＴ１、テーブルデータＴ２または他の減算用のテーブルデータに基づいて評価値から減算されてもよい。更に、滞留時間が判定される場合、ステップＳ１３の処理は行われずに、ステップＳ１４の処理が行われる。

（変形例４） 連続してアクセスされた二つの検索システムに係る第１および第２のサブセッションが、同一の主セッションに含まれており（主セッションＩＤデータＤ５の内容が同一であり）、且つ、同一の検索キーワード（検索キーワードデータＤ９の内容が同一）の場合、ステップＳ１５およびステップＳ１６に替えて、以下の処理（ａ）〜（ｄ）の何れかが第２の減算部２０５ｆにより行われてもよい。
（ａ）第１のサブセッションの滞留時間が所定閾値を下回り、且つ、第２のサブセッションの滞留時間が所定閾値以上の場合に、第２の減算部２０５ｆは、第１または第２のサブセッションの滞留時間に応じた点数を評価値から減算する。
（ｂ）第１のサブセッションのアクセス回数が所定閾値を下回り、且つ、第２のサブセッションのアクセス回数が所定閾値以上の場合に、第２の減算部２０５ｆは、第１または第２のサブセッションのアクセス回数に応じた点数を評価値から減算する。
（ｃ）第１のサブセッションのアクセス回数が所定閾値を下回り、且つ、第２のサブセッションの滞留時間が所定閾値以上の場合に、第２の減算部２０５ｆは、第１のサブセッションのアクセス回数に応じた点数を評価値から減算する。
（ｄ）第１のサブセッションの滞留時間が所定閾値を下回り、且つ、第２のサブセッションのアクセス回数が所定閾値以上の場合に、第２の減算部２０５ｆは、第１のサブセッションの滞留時間に応じた点数を評価値から減算する。

次に、実施形態に係る検索システム評価装置１の作用・効果を説明する。検索システム評価装置１は、記録装置１ｇと、主セッション特定部２０１、サブセッション特定部２０３、及び、評価値算出部２０５とを備え、インターネットを介した情報検索に用いられる一又は複数の検索システムの利用満足度をそれぞれ評価するための評価値を算出する。記録装置１ｇは、上記情報検索の履歴を示すＷｅｂアクセスログ１０１，２０１ａ，２０２ａ，２０３ａを格納する。主セッション特定部２０１は、記録装置１ｇに格納されたＷｅｂアクセスログ１０１から、一の検索端末による一連の検索操作（主セッション）を特定する。サブセッション特定部２０３は、主セッション特定部２０１によって特定された一の主セッションを構成しており検索システム毎の一連の検索操作を示す一又は複数の検索セッション（サブセッション）を、主セッションから特定する。評価値算出部２０５は、サブセッション特定部２０３によって特定されたサブセッションの数に応じて、検索システムの利用満足度をそれぞれ評価するための評価値を算出する。そして、評価値算出部２０５は、サブセッション特定部２０３によって特定されたサブセッションの数が複数の場合に、連続して行われた二つのサブセッションのうち最先のサブセッションに対応する検索システムに対する評価値を減算する。

従って、検索システムの利用状況を示すＷｅｂアクセスログ１０１等から検索システムの利用満足度を評価するための評価値が、一の主セッション（一の検索端末による一連の検索操作）に含まれるサブセッション（一の検索システムによる一連の検索操作）の数に応じて算出される。このように、一の検索端末による一連の検索操作において、一の検索システムのみが用いられたか、又は、この一の検索システム以外の他の検索システムが用いられたかに基づいて、検索システムに対する評価が可能となる。他の検索システムが用いられたということは、評価対象となっている検索システムに対する満足度が低い、ということを意味していると考えられるので、検索システムに対する評価を、従来のように評価対象となっている検索システム自体に対する検索操作（例えば、検索時間や閲覧サイト数等）に基づいて行うよりも、検索システム評価装置１のように他の検索システムが用いられたか否かに応じて行えば、より好適な評価が可能となる。

検索システム評価装置１は指標データ取得部２０４を更に備える。指標データ取得部２０４は、検索システムに対する評価値を算出するための一又は複数の指標データ（一の検索システムに対する検索操作を示すデータであり、例えば、集計データ２０４ａに含まれるアクセス回数データＤ１２や滞留時間データＤ１３等）を記録装置１ｇに格納されＷｅｂアクセスログ１０１に基づいて作成されたＷｅｂアクセスログ２０３ａ等に基づいて取得する。評価値算出部２０５は、指標データ取得部２０４によって取得された一又は複数の指標データの内容に応じて検索システムに対する評価値を算出する。このように、指標データが検索システムに対する評価値の算出に更に用いられるので、検索システムに対するより好適な評価が可能となる。

また、検索システム評価装置１は、指標データ取得部２０４および評価値算出部２０５を備える。指標データ取得部２０４は、インターネットを介して検索端末により検索操作の行われた検索システムの利用状況を示すＷｅｂアクセスログ１０１から、この検索システムの利用満足度を評価するための一または複数の指標データ（集計データ２０４ａに含まれるアクセス回数データＤ１２や滞留時間データＤ１３）を取得する。評価値算出部２０５は、指標データ取得部２０４により取得された上記指標データに基づいて、上記検索システムの評価結果を示す評価値（評価値算出結果４０１に含まれる評価値データＤ１４）を算出する。

検索システム評価装置１によれば、検索システムの利用状況を示すＷｅｂアクセスログ１０１から検索システムの利用満足度を評価するための指標データが取得され、この取得された指標データに基づいてこの検索システムに対する評価値が算出される。従って、このような評価値を用いれば、検索システム自体に対する評価が容易に行われる。

本発明において、Ｗｅｂアクセスログ１０１は、検索端末が検索操作を行った時間を示す時間データＤ３と、検索システムにより検索され検索端末のアクセスしたインターネットアドレスを示すリクエストデータＤ４とを含む。指標データ取得部２０４は、検索端末のアクセスが検索システムに滞留した滞留時間を示す滞留時間データＤ１３を時間データＤ３に基づいて取得し、検索端末によりアクセスされたインターネットアドレスの数を示すアクセス回数データＤ１２をリクエストデータＤ４に基づいて取得する。そして、評価値算出部２０５は、第１の判定部２０５ａ、加算部２０５ｂ、第２の判定部２０５ｃおよび第１の減算部２０５ｄを有する。第１の判定部２０５ａは、検索システムにより検索され検索端末のアクセスしたインターネットアドレスの有無をアクセス回数データＤ１２に基づいて判定する。加算部２０５ｂは、検索システムにより検索され検索端末のアクセスしたインターネットアドレスがあると第１の判定部２０５ａが判定した場合に、滞留時間データＤ１３の示す滞留時間（この検索システムに検索端末のアクセスが滞留した滞留時間）に応じた値を評価値に加算する。第２の判定部２０５ｃは、検索システムにより検索され検索端末のアクセスしたインターネットアドレスが無いと第１の判定部２０５ａが判定した場合に、滞留時間データＤ１３の示す滞留時間が所定時間以上であるか否かを判定する。第１の減算部２０５ｄは、滞留時間データＤ１３の示す滞留時間が上記の所定時間以上であると第２の判定部２０５ｃが判定した場合に、第１の点数を評価値から減算する。

たとえ検索システムにおける滞留時間が長くても、検索システムによる検索結果がアクセスされなければ、検索システムが利用されたことにはならず、このような検索システムに対する利用満足度は低いことになるが、検索システム評価装置１のように、滞留時間だけでなく、検索結果としてのインターネットアドレスが実際にアクセスされたか否かに応じた評価値が算出できるので、的確な評価が可能となる。

評価値算出部２０５は、第３の判定部２０５ｅおよび第２の減算部２０５ｆを有する。第３の判定部２０５ｅは、加算部２０５ｂが評価値を加算した後、または、第１の減算部２０５ｄが評価値を減算した後に、評価対象の検索システムに対するアクセスに次いでアクセスされた他の検索システムにより検索されたインターネットアドレスを検索端末がアクセスしたか否かをアクセス回数データＤ１２に基づいて判定する。第２の減算部２０５ｆは、上記の他の検索システムにより検索された少なくとも一のインターネットアドレスが検索端末によりアクセスされたと第３の判定部２０５ｅが判定した場合に、第２の点数を評価値から減算する。

評価対象の検索システムに次いでアクセスされた他の検索システムがある場合、この他の検索システムが利用されたのは、評価対象の検索システムに対する利用満足度が低いためであると考えられる。このように、評価対象の検索システムに対する利用状況だけでなく、他の検索システムが利用されたか否かに応じた評価値が算出できるので、的確な評価が可能となる。

実施形態に係る検索システム評価装置の構成を示す図である。 実施形態に係る検索システム評価装置の構成を示す図である。 実施形態に係る検索システム評価装置の構成を示す図である。 実施形態に係るＷｅｂアクセスログの内容を例示する図である。 実施形態い係るＷｅｂアクセスログの内容を例示する図である。 実施形態に係る検索システムＩＤリストの内容を例示する図である。 実施形態に係るＷｅｂアクセスログの内容を例示する図である。 実施形態に係るＷｅｂアクセスログの内容を例示する図である。 実施形態に係る集計データの内容を例示する図である。 実施形態に係るテーブルデータの内容を例示する図である。 実施形態に係る評価値算出結果の内容を例示する図である。 実施形態に係る検索システム評価装置の動作を説明するためのフローチャートである。 実施形態に係る検索システム評価装置の動作を説明するためのフローチャートである。

符号の説明

１…検索システム評価装置、１００…データベース、１０１…Ｗｅｂアクセスログ、１ａ…ＣＰＵ、１ｂ…ＲＡＭ、１ｃ…ＲＯＭ、１ｄ…入力装置、１ｅ…出力装置、１ｆ…通信装置、１ｇ…記録装置、１ｈ…バス、２００…利用状況解析部、２０１…主セッション特定部、２０１ａ…Ｗｅｂアクセスログ、２０２…検索情報抽出部、２０２ａ…Ｗｅｂアクセスログ、２０３…サブセッション特定部、２０３ａ…Ｗｅｂアクセスログ、２０４…指標データ取得部、２０４ａ…集計データ、２０５…評価値算出部、２０５ａ…第１の判定部、２０５ｂ…加算部、２０５ｃ…第２の判定部、２０５ｄ…第１の減算部、２０５ｅ…第３の判定部、２０５ｆ…第２の減算部、３００…データベース、３０１…検索システムＩＤリスト、４００…データベース、４０１…評価値算出結果、５００…出力処理部、Ｄ１…ユーザＩＤデータ、Ｄ１０…サブセッションＩＤデータ、Ｄ１１…番号データ、Ｄ１２…アクセス回数データ、Ｄ１３…滞留時間データ、Ｄ１４…評価値データ、Ｄ２…日付データ、Ｄ３…時間データ、Ｄ４…リクエストデータ、Ｄ５…主セッションＩＤデータ、Ｄ６…検索システムＩＤデータ、Ｄ７…検索システムＵＲＬデータ、Ｄ８…クエリパターンデータ、Ｄ９…検索キーワードデータ、Ｔ１…テーブルデータ

Claims (4)

1. インターネットを介した情報検索に用いられる一又は複数の検索システムの利用満足度をそれぞれ評価するための評価値を算出する検索システム評価装置であって、
   前記情報検索の履歴を示す検索ログデータを格納する記録装置と、
   前記記録装置に格納された前記検索ログデータから、一の検索端末による一連の検索操作を特定する第１の特定手段と、
   前記第１の特定手段によって特定された一連の検索操作を構成しており前記検索システム毎の一連の検索操作を示す一又は複数の検索セッションを、前記一連の検索操作から特定する第２の特定手段と、
   前記第２の特定手段によって特定された検索セッションの数に応じて前記評価値を算出する算出手段と
   を備える、ことを特徴とする検索システム評価装置。
2. 前記算出手段は、前記第２の特定手段によって特定された前記検索セッションの数が複数の場合に、連続して行われた二つの検索セッションのうち最先の検索セッションの検索システムに対する前記評価値を減算する、ことを特徴とする請求項１に記載の検索システム評価装置。
3. 前記評価値を算出するための一又は複数の指標データを前記記録装置に格納された前記検索ログデータに基づいて取得する取得手段を更に備え、
   前記算出手段は、前記取得手段によって取得された前記一又は複数の指標データの内容に応じて前記評価値を算出する、ことを特徴とする請求項２に記載の検索システム評価装置。
4. インターネットを介した情報検索に用いられる一又は複数の検索システムの利用満足度をそれぞれ評価するための評価値を算出する検索システム評価装置を用いた検索システム評価方法であって、
   前記検索システム評価装置の記録装置に格納されており前記情報検索の履歴を示す検索ログデータから、一の検索端末による一連の検索操作を前記検索システム評価装置が特定する第１の特定ステップと、
   前記検索システム毎の一連の検索操作を示しており前記第１の特定ステップにおいて特定された一連の検索操作を構成する一又は複数の検索セッションを、前記一連の検索操作から前記検索システム評価装置が特定する第２の特定ステップと、
   前記第２の特定ステップにおいて特定された検索セッションの数に応じて前記評価値を前記検索システム評価装置が算出する算出ステップと
   を備える、ことを特徴とする検索システム評価方法。
   

Images