JP2013058148A - 集約装置、集約方法及び集約プログラム - Google Patents
集約装置、集約方法及び集約プログラム Download PDFInfo
- Publication number
- JP2013058148A JP2013058148A JP2011197193A JP2011197193A JP2013058148A JP 2013058148 A JP2013058148 A JP 2013058148A JP 2011197193 A JP2011197193 A JP 2011197193A JP 2011197193 A JP2011197193 A JP 2011197193A JP 2013058148 A JP2013058148 A JP 2013058148A
- Authority
- JP
- Japan
- Prior art keywords
- collection
- content
- request
- storage unit
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002776 aggregation Effects 0.000 title claims abstract description 78
- 238000004220 aggregation Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 49
- 230000004044 response Effects 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 27
- 230000004931 aggregating effect Effects 0.000 claims 1
- 235000019609 freshness Nutrition 0.000 description 17
- 238000012790 confirmation Methods 0.000 description 16
- 230000009193 crawling Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】コンテンツ提供サーバの負荷増大を防止可能にすること。
【解決手段】集約装置が、ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と取得済みのコンテンツとを記憶する記憶部を有する。そして、集約装置が、記憶部に記憶されている収集要求及び取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整し、調整した収集条件に従ってコンテンツを取得する。そして、集約装置が、取得したコンテンツを記憶部に格納し、処理対象の収集要求における収集条件を満たすコンテンツを記憶部から取得し、取得したコンテンツを含む応答情報を収集要求の送信元である収集装置に送信する。
【選択図】図１
【解決手段】集約装置が、ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と取得済みのコンテンツとを記憶する記憶部を有する。そして、集約装置が、記憶部に記憶されている収集要求及び取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整し、調整した収集条件に従ってコンテンツを取得する。そして、集約装置が、取得したコンテンツを記憶部に格納し、処理対象の収集要求における収集条件を満たすコンテンツを記憶部から取得し、取得したコンテンツを含む応答情報を収集要求の送信元である収集装置に送信する。
【選択図】図１
Description
本発明は、集約装置、集約方法及び集約プログラムに関する。
従来、Ｗｅｂサーバ等によって提供されるテキストデータや画像データなどのコンテンツを周期的に収集するクローラ（Crawler）装置が知られている。クローラ装置によって収集されたコンテンツは、検索エンジン等によって用いられることが多い。このようなクローラ装置は、例えば、検索エンジンが提供する検索サービスに応じて、コンテンツの収集ロジックや収集対象とするコンテンツが異なる。例えば、所定のウェブページに含まれるリンクをたどってウェブページを収集するクローラ装置もあれば、更新頻度の高い特定のウェブページに限定して収集するクローラ装置もある。
しかしながら、上記従来のクローラ装置では、コンテンツ提供サーバの負荷を増大させる場合がある。具体的には、クローラ装置によって収集ロジックが異なるので、検索サービスを提供する各企業は、複数のクローラ装置を用いる場合がある。ただし、複数のクローラ装置が全て異なるコンテンツを収集するとは限らず、異なるクローラ装置が同一のコンテンツを収集する場合もある。このため、コンテンツ提供サーバは、各クローラ装置から何度もアクセスされることで負荷が増大することとなる。
本願は、上記に鑑みてなされたものであって、コンテンツ提供サーバの負荷増大を防止可能にすることを課題とする。
本願に係る集約装置は、ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と、取得済みのコンテンツとを記憶する記憶部と、前記記憶部に記憶されている収集要求及び取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整部と、前記調整部によって調整された収集条件に従ってコンテンツを取得する取得部と、前記取得部によって取得されたコンテンツを前記記憶部に格納する取得結果格納部と、前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信部とを備えたことを特徴とする。
本願に係る集約装置、集約方法及び集約プログラムは、コンテンツ提供サーバの負荷増大を防止することができるという効果を奏する。
以下に、本願に係る集約装置、集約方法及び集約プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面に参照しつつ詳細に説明する。なお、この実施形態により本願に係る集約装置、集約方法及び集約プログラムが限定されるものではない。
（第１の実施形態）
図１〜図５Ｂを用いて、本願に係る集約装置、集約方法及び集約プログラムの第１の実施形態について説明する。なお、第１の実施形態では、クローラ装置が収集対象とするコンテンツがＷｅｂサーバによって提供されるウェブページであり、かかるＷｅｂサーバとクローラ装置との管理者が異なるものとする。
図１〜図５Ｂを用いて、本願に係る集約装置、集約方法及び集約プログラムの第１の実施形態について説明する。なお、第１の実施形態では、クローラ装置が収集対象とするコンテンツがＷｅｂサーバによって提供されるウェブページであり、かかるＷｅｂサーバとクローラ装置との管理者が異なるものとする。
〔１−１．構成〕
まず、図１を用いて、第１の実施形態に係る集約装置の構成例について説明する。図１に例示するように、第１の実施形態に係る集約装置１００は、クローラ装置１０１〜１０ｎと接続され、さらにネットワーク網を介して第三者Ｗｅｂサーバ２０１〜２０ｎと接続される。クローラ装置１０１〜１０ｎは、「ボット（Bot）」、「ロボット」、「スパイダー」等と呼ばれることもあり、第三者Ｗｅｂサーバ２０１〜２０ｎによって提供される所定のウェブページ（例えば、トップページ）に含まれるリンクをたどって各種ウェブページを収集するための収集要求（リクエスト）を送信する。第三者Ｗｅｂサーバ２０１〜２０ｎは、各種ウェブページを提供する。
まず、図１を用いて、第１の実施形態に係る集約装置の構成例について説明する。図１に例示するように、第１の実施形態に係る集約装置１００は、クローラ装置１０１〜１０ｎと接続され、さらにネットワーク網を介して第三者Ｗｅｂサーバ２０１〜２０ｎと接続される。クローラ装置１０１〜１０ｎは、「ボット（Bot）」、「ロボット」、「スパイダー」等と呼ばれることもあり、第三者Ｗｅｂサーバ２０１〜２０ｎによって提供される所定のウェブページ（例えば、トップページ）に含まれるリンクをたどって各種ウェブページを収集するための収集要求（リクエスト）を送信する。第三者Ｗｅｂサーバ２０１〜２０ｎは、各種ウェブページを提供する。
集約装置１００は、クローラ装置１０１〜１０ｎからウェブページの収集要求を受け付け、かかる収集要求を集約して第三者Ｗｅｂサーバ２０１〜２０ｎからウェブページを収集し、収集したウェブページを含む応答情報をクローラ装置１０１〜１０ｎに送信するコンピュータである。かかる集約装置１００は、図１に例示するように、Ｉ／Ｏ（Input／Output）ポート１１０と、条件／内容ＤＢ（DataBase）１２０と、キュー１３０と、要求格納部１４１と、調整部１４２と、取得部１４３と、取得結果格納部１４４と、リクエスト確認部１４５と、送信部１４６とを有する。
Ｉ／Ｏポート１１０は、ＮＩＣ（Network Interface Card）等のインタフェースであり、クローラ装置１０１〜１０ｎとの間で各種データを送受信する。条件／内容ＤＢ１２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。なお、条件／内容ＤＢ１２０については、図２を用いて後述する。キュー１３０は、例えば、デジタル回路等であり、クローラ装置１０１〜１０ｎから送信される収集要求をキューとして記憶する。
要求格納部１４１〜送信部１４６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。また、例えば、要求格納部１４１〜送信部１４６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。これらの要求格納部１４１〜送信部１４６は、以下に説明する情報処理の機能や作用を実現又は実行する。
なお、以下では、クローラ装置１０１〜１０ｎを区別する必要がない場合には、これらを総称して「クローラ装置１０」と表記する場合がある。また、第三者Ｗｅｂサーバ２０１〜２０ｎを区別する必要がない場合には、これらを総称して「第三者Ｗｅｂサーバ２０」と表記する場合がある。
〔１−２．条件／内容ＤＢ１２０〕
次に、図２を用いて、条件／内容ＤＢ１２０の一例について説明する。条件／内容ＤＢ１２０は、クローラ装置１０から送信される収集要求や、第三者Ｗｅｂサーバ２０から取得済みのウェブページ等を記憶する。図２に示した例では、条件／内容ＤＢ１２０は、「ＵＲＬ（Uniform Resource Locator）」及び「対象デバイス」毎に、「トランザクションＩＤ」、「リクエスト情報」、「共通条件」、「コンテンツ情報」、「状況情報」等の情報を対応付けて記憶する。なお、図２に示すように、条件／内容ＤＢ１２０は、１個の「ＵＲＬ」に対して、複数の「トランザクションＩＤ」及び「リクエスト情報」を記憶する場合がある。
次に、図２を用いて、条件／内容ＤＢ１２０の一例について説明する。条件／内容ＤＢ１２０は、クローラ装置１０から送信される収集要求や、第三者Ｗｅｂサーバ２０から取得済みのウェブページ等を記憶する。図２に示した例では、条件／内容ＤＢ１２０は、「ＵＲＬ（Uniform Resource Locator）」及び「対象デバイス」毎に、「トランザクションＩＤ」、「リクエスト情報」、「共通条件」、「コンテンツ情報」、「状況情報」等の情報を対応付けて記憶する。なお、図２に示すように、条件／内容ＤＢ１２０は、１個の「ＵＲＬ」に対して、複数の「トランザクションＩＤ」及び「リクエスト情報」を記憶する場合がある。
「ＵＲＬ」は、クローラ装置１０１〜１０ｎから送信される収集要求に含まれる情報であり、収集対象とするウェブページ群のうち最上層のウェブページを示す。「トランザクションＩＤ」は、収集要求を識別するための識別情報を示す。
「リクエスト情報」は、収集要求に含まれる情報であり、収集対象とするウェブページ群を特定するための収集条件を示す。図２に示した例では、「リクエスト情報」には、「対象デバイス」、「鮮度（freshness）」、「優先（priority）」、「階層」、「リダイレクト上限回数」等が含まれる。「対象デバイス」は、フルブラウザを搭載するＰＣ（Personal computer）向けのウェブページを収集対象とするか、又は、モバイルブラウザを搭載する携帯電話機向けのウェブページを収集対象とするかを示す。「鮮度」は、取得済みのウェブページを応答情報に含めてもよい場合に収集要求に設定される情報であり、応答情報に含めることが許容されるウェブページの取得日時から現時点までの経過時間を示す。「優先」は、収集要求を処理する順番等の優先度を示す。「階層」は、「ＵＲＬ」によって示されるリクエストにかかるウェブページから、かかるウェブページに関連付けられたウェブページまでのリンクの回数を示す。「リダイレクト上限回数」は、収集対象とするウェブページ間におけるリダイレクトの上限回数を示す。
「共通条件」は、同一のＵＲＬ及び対象デバイス毎に集約されたリクエスト情報を示す。図２に示した例では、この「共通条件」には、「ＭＡＸ階層」、「ＭＡＸリダイレクト」等が含まれる。「ＭＡＸ階層」は、同一のＵＲＬ及び同一の対象デバイスに対応付けて記憶されている「階層」の最大値を示す。「ＭＡＸリダイレクト」は、同一のＵＲＬ及び同一の対象デバイスに対応付けて記憶されている「リダイレクト上限回数」の最大値を示す。「コンテンツ情報」は、第三者Ｗｅｂサーバ２０から取得されたウェブページを示す。「状況情報」は、ウェブページの収集処理（クロール処理）が処理済みであるか否かを示す。図２に示した例において、「状況情報」が「未」である場合には、収集処理が行われていないことを示し、「状況情報」が「済」である場合には、収集処理が完了したことを示す。
〔１−３．作用（収集要求格納処理）〕
次に、図３を用いて、第１の実施形態に係る集約装置１００による収集要求格納処理の手順について説明する。図３に示すように、要求格納部１４１の取得結果確認部１４１ａは、クローラ装置１０から収集要求を受信した場合に（ステップＳ１０１，Ｙｅｓ）、かかる収集要求におけるリクエスト情報（収集条件）を満たすウェブページが条件／内容ＤＢ１２０に存在するか否かを判定する（ステップＳ１０２）。
次に、図３を用いて、第１の実施形態に係る集約装置１００による収集要求格納処理の手順について説明する。図３に示すように、要求格納部１４１の取得結果確認部１４１ａは、クローラ装置１０から収集要求を受信した場合に（ステップＳ１０１，Ｙｅｓ）、かかる収集要求におけるリクエスト情報（収集条件）を満たすウェブページが条件／内容ＤＢ１２０に存在するか否かを判定する（ステップＳ１０２）。
そして、取得結果確認部１４１ａによって存在しないと判定された場合に（ステップＳ１０２，Ｎｏ）、トランザクション生成部１４１ｂは、クローラ装置１０から受信した収集要求に基づいて、収集処理のトランザクションを生成する（ステップＳ１０３）。このとき、トランザクション生成部１４１ｂは、収集要求を識別するためのトランザクションＩＤを生成してもよいし、収集要求を識別するための情報が収集要求に含まれる場合には、かかる情報をトランザクションＩＤとしてもよい。
続いて、格納部１４１ｃは、収集要求に設定されているＵＲＬやリクエスト情報とトランザクションＩＤとを条件／内容ＤＢ１２０に格納し（ステップＳ１０４）、条件／内容ＤＢ１２０の共通条件を更新する（ステップＳ１０５）。
図２に示した例を用いて説明する。ここでは、条件／内容ＤＢ１２０に各種情報が記憶されていないものとする。また、取得結果確認部１４１ａが、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」と、ＰＣ向けのウェブページを収集対象とする情報（対象デバイス）と、２４時間以内に取得されたウェブページを応答情報に含めてもよいことを示す情報（鮮度）と、収集処理の優先度が高いことを示す情報（優先）と、ＵＲＬによって示されるリクエストにかかるウェブページからのリンク回数が３回以内であるウェブページを収集対象とする情報（階層）と、リダイレクト回数が３回以内のウェブページを収集対象とする情報（リダイレクト上限回数）とが設定されている収集要求を受信したものとする。かかる場合に、格納部１４１ｃは、図２に示したトランザクションＩＤが「００１」であるレコードのように、ＵＲＬ及びリクエスト情報を条件／内容ＤＢ１２０に格納する。この時点では、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応するリクエスト情報がトランザクションＩＤ「００１」のレコードだけであるので、格納部１４１ｃは、トランザクションＩＤ「００１」の階層「３」をＭＡＸ階層に格納するとともに、トランザクションＩＤ「００１」のリダイレクト上限回数「３」をＭＡＸリダイレクトに格納する。
また、図２に示した例では、取得結果確認部１４１ａは、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」と、ＰＣ向けのウェブページを収集対象とする情報（対象デバイス）とが設定されている収集要求をクローラ装置１０から順次受信する。そして、格納部１４１ｃは、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応付けて、トランザクションＩＤ「００２」及び「００３」に対応するリクエスト情報を条件／内容ＤＢ１２０に順次格納し、リクエスト情報を格納するたびに共通条件を更新する。例えば、格納部１４１ｃは、トランザクションＩＤ「００２」のリクエスト情報を格納した場合には、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応するリクエスト情報がトランザクションＩＤ「００１」及び「００２」に対応する２レコードであるので、ＭＡＸ階層の値を階層「３」及び「５」の最大値「５」に更新するとともに、ＭＡＸリダイレクトの値をリダイレクト上限回数「３」及び「５」の最大値「５」に更新する。
また、取得結果確認部１４１ａが、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」と、携帯電話機向けのウェブページを収集対象とする情報（対象デバイス）とが設定されている収集要求をクローラ装置１０から受信したものとする。かかる場合に、格納部１４１ｃは、図２に示した例のように、対象デバイス「ＰＣ」とは異なるレコードに、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」とトランザクションＩＤ「００４」に対応するリクエスト情報とを対応付けて条件／内容ＤＢ１２０に格納する。このように、要求格納部１４１は、クローラ装置１０から収集要求を受信した場合に、ＵＲＬ及び対象デバイス毎に収集要求を条件／内容ＤＢ１２０に格納する。なお、要求格納部１４１は、条件／内容ＤＢ１２０に収集要求を格納する際には状況情報を「未」とする。
続いて、スケジュール振り分け部１４１ｄは、収集要求のトランザクションＩＤをキュー１３０に格納する（ステップＳ１０６）。このとき、スケジュール振り分け部１４１ｄは、収集要求に設定されている「優先」に基づいて、優先度の高い収集要求ほど早く処理されるようにトランザクションＩＤをキュー１３０に格納してもよい。
また、取得結果確認部１４１ａは、クローラ装置１０から受信した収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合には（ステップＳ１０２，Ｙｅｓ）、収集要求を条件／内容ＤＢ１２０に格納する処理を格納部１４１ｃに行わせない。かかる場合に、送信部１４６の応答情報生成部１４６ａは、収集要求に設定されている収集条件を満たすウェブページを条件／内容ＤＢ１２０から取得し、取得したウェブページを含む応答情報を生成する（ステップＳ１０７）。そして、応答情報生成部１４６ａは、収集要求の送信元であるクローラ装置１０に応答情報を送信する（ステップＳ１０８）。
例えば、図２に示した状態において、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」及び対象デバイス「ＰＣ」に対応するコンテンツ情報に取得日時が１２時間前であるウェブページが格納されているものとする。また、取得結果確認部１４１ａが、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、対象デバイス「ＰＣ」、鮮度「２４時間」、階層「３」及びリダイレクト上限回数「３」が設定されている収集要求を受信したものとする。かかる場合に、応答情報生成部１４６ａは、収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在するので、収集条件を満たす条件／内容ＤＢ１２０内のウェブページをクローラ装置１０に送信する。
〔１−４．作用（ウェブページ収集処理）〕
次に、図４を用いて、第１の実施形態に係る集約装置１００によるウェブページ収集処理の手順について説明する。図４に示すように、集約装置１００の調整部１４２は、キュー１３０にトランザクションＩＤが格納されている場合に（ステップＳ２０１，Ｙｅｓ）、キュー１３０からトランザクションＩＤを取得する（ステップＳ２０２）。かかるトランザクションＩＤによって示される収集要求が処理対象となる。
次に、図４を用いて、第１の実施形態に係る集約装置１００によるウェブページ収集処理の手順について説明する。図４に示すように、集約装置１００の調整部１４２は、キュー１３０にトランザクションＩＤが格納されている場合に（ステップＳ２０１，Ｙｅｓ）、キュー１３０からトランザクションＩＤを取得する（ステップＳ２０２）。かかるトランザクションＩＤによって示される収集要求が処理対象となる。
続いて、調整部１４２は、ステップＳ２０２において取得したトランザクションＩＤに対応する状況情報を参照して、処理対象の収集要求に対する収集処理が未処理であるか否かを判定する（ステップＳ２０３）。そして、調整部１４２は、収集処理が未処理でない場合には（ステップＳ２０３，Ｎｏ）、かかる収集要求に対する収集処理を取得部１４３に行わせることなく、ステップＳ１０１に戻って次のキューについて処理を行う。
一方、調整部１４２は、収集処理が未処理である場合には（ステップＳ２０３，Ｙｅｓ）、条件／内容ＤＢ１２０に記憶されている収集要求及び取得済みのウェブページに応じて、処理対象の収集要求における収集条件を調整する。
具体的には、調整部１４２は、処理対象の収集要求に設定されている鮮度を満たす一部のウェブページが条件／内容ＤＢ１２０に存在するか否かを判定する（ステップＳ２０４）。そして、調整部１４２は、一部のウェブページが存在しない場合には（ステップＳ２０４，Ｎｏ）、処理対象の収集要求に設定されているＵＲＬに対応付けて条件／内容ＤＢ１２０に記憶されている各収集条件を全て満たすように、共通条件を収集条件とする（ステップＳ２０５）。一方、調整部１４２は、一部のウェブページが存在する場合には（ステップＳ２０４，Ｙｅｓ）、共通条件を満たすウェブページと一部のウェブページとの差分のウェブページを収集するように、収集条件を調整する（ステップＳ２０６）。なお、調整部１４２は、共通条件に含まれる全ての項目（例えば、ＭＡＸ階層及びＭＡＸリダイレクト）を収集条件としてもよいし、少なくとも１以上の項目（例えば、ＭＡＸ階層又はＭＡＸリダイレクトのいずれか一方のみ）を収集条件としてもよい。
例えば、図２に示した例において、調整部１４２は、キュー１３０からトランザクションＩＤ「００１」を取得した場合に、トランザクションＩＤ「００１」の収集条件を共通条件である階層「５」及びリダイレクト上限回数「５」に調整する。また、この例において、リクエストにかかるウェブページからのリンク回数が「１〜２」であり、かつ、トランザクションＩＤ「００１」〜「００３」の鮮度を満たすウェブページが条件／内容ＤＢ１２０に記憶されているものとする。かかる場合、調整部１４２は、収集条件を階層「３〜５」に調整する。なお、調整部１４２は、階層及びリダイレクト上限回数の双方を調整せずに、トランザクションＩＤ「００１」の収集条件を共通条件である階層「５」に調整してもよいし、トランザクションＩＤ「００１」の収集条件を共通条件であるリダイレクト上限回数「５」に調整してもよい。
続いて、取得部１４３は、調整部１４２によって調整された収集条件に従ってウェブページを取得する（ステップＳ２０７）。上記例のように、収集条件の階層が「３〜５」である場合には、取得部１４３は、「ｗｗｗ．ａａａ．ｊｐ」によって示されるリクエストにかかるウェブページにアクセスし、かかるウェブページからのリンク回数が３回〜５回であり、かつ、リダイレクト回数が５回以内のウェブページを取得する。例えば、取得部１４３は、リクエストにかかるウェブページから、かかるウェブページに張られているリンクをたどって、リンク回数が３回目、４回目、５回目であるウェブページを取得する。このとき、取得部１４３は、リクエストにかかるウェブページからのリンク回数が２回であるウェブページを条件／内容ＤＢ１２０から取得し、取得したウェブページにアクセスすることにより、リンク回数が３回以降のウェブページを取得できる。
なお、上記例において、トランザクションＩＤ「００１」〜「００３」に対応する対象デバイスに「ＰＣ」が記憶されているので、取得部１４３は、ＰＣ向けのウェブページを取得する。ただし、取得部１４３は、対象デバイスに「携帯」が記憶されている場合には、携帯電話機向けのウェブページを取得する。このように、取得部１４３は、リクエストにかかるＵＲＬが同一であっても、対象デバイスが異なる場合には、対象デバイス毎にウェブページの取得処理を行う。
続いて、取得結果格納部１４４は、取得部１４３によって取得されたウェブページを条件／内容ＤＢ１２０のコンテンツ情報に格納する（ステップＳ２０８）。続いて、リクエスト確認部１４５は、条件／内容ＤＢ１２０を参照して、処理対象のＵＲＬに対応する他のトランザクションが存在するか否かを判定する（ステップＳ２０９）。例えば、上記例の場合、リクエスト確認部１４５は、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応付けて条件／内容ＤＢ１２０に記憶されているトランザクションＩＤのうち、処理対象のトランザクションＩＤ「００１」以外のＩＤが存在するか否かを判定する。
そして、応答情報一括生成部１４６ｂは、リクエスト確認部１４５によって存在すると判定された場合に（ステップＳ２０９，Ｙｅｓ）、応答情報を一括生成し（ステップＳ２１０）、リクエスト確認部１４５によって存在しないと判定された場合に（ステップＳ２０９，Ｎｏ）、処理対象の収集要求に対応する応答情報を生成する（ステップＳ２１１）。続いて、応答情報一括生成部１４６ｂは、生成した応答情報をクローラ装置１０に送信する（ステップＳ２１２）。そして、応答情報一括生成部１４６ｂは、処理対象のＵＲＬに対応付けて条件／内容ＤＢ１２０に記憶されている状況情報を「済」に更新するとともに、かかるＵＲＬに対応付けて条件／内容ＤＢ１２０に記憶されているトランザクションＩＤ及び収集条件を全て削除する（ステップＳ２１３）。
上記例の場合、応答情報一括生成部１４６ｂは、トランザクションＩＤ「００１」〜「００３」の応答情報を一括生成する。このとき、応答情報一括生成部１４６ｂは、条件／内容ＤＢ１２０に記憶されているウェブページのうち、各トランザクションＩＤに対応する収集条件（リクエスト情報）を満たすウェブページを取得し、取得したウェブページを含む応答情報を生成する。具体的には、応答情報一括生成部１４６ｂは、トランザクションＩＤ「００１」に対する応答情報には、階層「３」かつリダイレクト上限回数「３」を満たすウェブページを含め、トランザクションＩＤ「００２」に対する応答情報には、階層「５」かつリダイレクト上限回数「５」を満たすウェブページを含め、トランザクションＩＤ「００３」に対する応答情報には、階層「１」かつリダイレクト上限回数「１」を満たすウェブページを含める。
〔１−５．条件／内容ＤＢ１２０の状態遷移例〕
次に、図５Ａ及び図５Ｂを用いて、条件／内容ＤＢ１２０に記憶される情報の遷移例について説明する。最初に、条件／内容ＤＢ１２０に記憶されている各種情報が図５Ａの＜状態１＞に示した状態であり、集約装置１００がトランザクションＩＤ「００１」をキュー１３０から取得したものとする。かかる場合に、条件／内容ＤＢ１２０の状況情報が「未」であり、かつ、コンテンツ情報にウェブページが格納されていないので、集約装置１００は、例えば、「ｗｗｗ．ａａａ．ｊｐ」によって示されるリクエストにかかるウェブページにアクセスし、かかるウェブページからのリンク回数が５回以内であり、かつ、リダイレクト回数が５回以内のウェブページを取得する。または、集約装置１００は、リクエストにかかるウェブページからのリンク回数が５回以内であるウェブページを取得するか、リダイレクト回数が５回以内のウェブページを取得する。例えば、集約装置１００は、リクエストにかかるウェブページを取得するとともに、かかるウェブページからリンクするウェブページをたどって、リクエストにかかるウェブページからのリンク回数が５回以内であるウェブページを取得する。そして、集約装置１００は、図５Ａの＜状態２＞に示した例のように、取得したウェブページをコンテンツ情報に格納し、状況情報を「済」に更新し、取得したウェブページを含む応答情報を各クローラ装置１０に送信する。さらに、集約装置１００は、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応するトランザクションＩＤ及びリクエスト情報を全て削除する。
次に、図５Ａ及び図５Ｂを用いて、条件／内容ＤＢ１２０に記憶される情報の遷移例について説明する。最初に、条件／内容ＤＢ１２０に記憶されている各種情報が図５Ａの＜状態１＞に示した状態であり、集約装置１００がトランザクションＩＤ「００１」をキュー１３０から取得したものとする。かかる場合に、条件／内容ＤＢ１２０の状況情報が「未」であり、かつ、コンテンツ情報にウェブページが格納されていないので、集約装置１００は、例えば、「ｗｗｗ．ａａａ．ｊｐ」によって示されるリクエストにかかるウェブページにアクセスし、かかるウェブページからのリンク回数が５回以内であり、かつ、リダイレクト回数が５回以内のウェブページを取得する。または、集約装置１００は、リクエストにかかるウェブページからのリンク回数が５回以内であるウェブページを取得するか、リダイレクト回数が５回以内のウェブページを取得する。例えば、集約装置１００は、リクエストにかかるウェブページを取得するとともに、かかるウェブページからリンクするウェブページをたどって、リクエストにかかるウェブページからのリンク回数が５回以内であるウェブページを取得する。そして、集約装置１００は、図５Ａの＜状態２＞に示した例のように、取得したウェブページをコンテンツ情報に格納し、状況情報を「済」に更新し、取得したウェブページを含む応答情報を各クローラ装置１０に送信する。さらに、集約装置１００は、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応するトランザクションＩＤ及びリクエスト情報を全て削除する。
集約装置１００は、＜状態２＞のときに、トランザクションＩＤ「００２」や「００３」をキュー１３０から取得した場合、トランザクションＩＤ「００２」や「００３」に対応する状況情報が「未」でないので、ウェブページの収集処理を行わない（図４のステップＳ２０３を参照）。これは、トランザクションＩＤ「００１」を処理した際にトランザクションＩＤ「００２」や「００３」に対する応答情報を一括送信しているので、集約装置１００は、トランザクションＩＤ「００２」や「００３」に対して収集処理を行う必要がないからである。
続いて、集約装置１００は、＜状態２＞になってから２４時間が経過する前に、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、鮮度「２４時間」、階層「３」及びリダイレクト上限回数「３」が設定されている収集要求を受信したものとする。かかる場合に、集約装置１００は、条件／内容ＤＢ１２０のコンテンツ情報から収集条件を満たすウェブページを取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置１０に送信する。
続いて、集約装置１００は、＜状態２＞になってから２４時間以上が経過した後に、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」及び鮮度「２４時間」が設定されている収集要求を受信したものとする。かかる場合に、集約装置１００は、図５Ａの＜状態３＞に示した例のように、条件／内容ＤＢ１２０に収集要求を格納するとともに共通条件を更新する。そして、集約装置１００は、共通条件に従ってウェブページを取得し、図５Ｂの＜状態４＞に示した例のように、条件／内容ＤＢ１２０のコンテンツ情報及び状況情報を更新する。
続いて、集約装置１００は、＜状態４＞になってから２４時間が経過する前に、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、鮮度「２４時間」、階層「８」及びリダイレクト上限回数「８」が設定されている収集要求を受信したものとする。かかる場合に、集約装置１００は、図５Ｂの＜状態５＞に示した例のように、条件／内容ＤＢ１２０に収集要求を格納するとともに共通条件を更新する。このとき、条件／内容ＤＢ１２０には、階層「３」やリダイレクト上限回数「３」を満たし、かつ、２４時間以内に取得されたウェブページが記憶されている。したがって、集約装置１００は、階層「３〜５」やリダイレクト上限回数「８」である収集条件により収集処理を行う。
〔１−６．効果〕
上述してきたように、第１の実施形態に係る集約装置１００は、条件／内容ＤＢ１２０が、ウェブページを収集する複数のクローラ装置１０から受信したウェブページの収集要求と取得済みのウェブページとを記憶し、調整部１４２が、条件／内容ＤＢ１２０に記憶されている収集要求及び取得済みのウェブページに応じて、処理対象の収集要求における収集条件を調整し、取得部１４３が、調整部１４２によって調整された収集条件に従ってウェブページを取得し、取得結果格納部１４４が、取得部１４３によって取得されたウェブページを条件／内容ＤＢ１２０に格納し、送信部１４６が、処理対象の収集要求における収集条件を満たすウェブページを条件／内容ＤＢ１２０から取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置１０に送信する。
上述してきたように、第１の実施形態に係る集約装置１００は、条件／内容ＤＢ１２０が、ウェブページを収集する複数のクローラ装置１０から受信したウェブページの収集要求と取得済みのウェブページとを記憶し、調整部１４２が、条件／内容ＤＢ１２０に記憶されている収集要求及び取得済みのウェブページに応じて、処理対象の収集要求における収集条件を調整し、取得部１４３が、調整部１４２によって調整された収集条件に従ってウェブページを取得し、取得結果格納部１４４が、取得部１４３によって取得されたウェブページを条件／内容ＤＢ１２０に格納し、送信部１４６が、処理対象の収集要求における収集条件を満たすウェブページを条件／内容ＤＢ１２０から取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置１０に送信する。
これにより、第１の実施形態に係る集約装置１００は、取得済みのウェブページを再取得しない等を実現できるので、各クローラ装置１０による収集要求を個別に処理するよりも、第三者Ｗｅｂサーバ２０にかかる負荷を低減することができる。
また、第１の実施形態に係る集約装置１００は、条件／内容ＤＢ１２０が、収集要求として、ＵＲＬに対応付けて、かかる収集要求におけるリクエスト情報である収集条件を記憶し、調整部１４２が、処理対象の収集要求におけるＵＲＬに対応付けて条件／内容ＤＢ１２０に記憶されている収集条件を全て満たすように、処理対象の収集要求における収集条件を調整する。
これにより、第１の実施形態に係る集約装置１００は、リクエストにかかるウェブページ毎に、各収集要求における収集条件を満たすウェブページを１度に取得できるので、第三者Ｗｅｂサーバ２０にかかる負荷を低減することができる。
また、第１の実施形態に係る集約装置１００は、条件／内容ＤＢ１２０が、収集条件として、リクエストにかかるウェブページ（例えば、トップページ）からかかるウェブページに関連付けられたウェブページ群（例えば、トップページ下の各ウェブページ）までのリンク回数を示す階層、又は、ウェブページ間のリダイレクト上限回数を記憶し、調整部１４２が、処理対象の収集要求におけるＵＲＬに対応付けて条件／内容ＤＢ１２０に記憶されている複数の階層の最大値の階層、又は、かかるＵＲＬに対応付けて条件／内容ＤＢ１２０に記憶されている複数のリダイレクト上限回数の最大値のリダイレクト回数を処理対象の収集要求における収集条件とする。
これにより、第１の実施形態に係る集約装置１００は、階層やリダイレクト上限回数が設定されている収集要求を複数受信した場合に、各収集要求における収集条件の最大条件を用いることでウェブページを１度に取得できるので、第三者Ｗｅｂサーバ２０にかかる負荷を低減することができる。
また、第１の実施形態に係る集約装置１００は、調整部１４２が、処理対象の収集要求における収集条件を満たす一部のウェブページのみが条件／内容ＤＢ１２０に記憶されている場合に、かかる収集条件を満たすウェブページのうち一部のウェブページ以外のウェブページを収集するように処理対象の収集要求における収集条件を調整する。
これにより、第１の実施形態に係る集約装置１００は、収集対象のウェブページの一部が取得済みである場合でも、同一のウェブページの再取得を防止できるので、第三者Ｗｅｂサーバ２０にかかる負荷を低減することができる。
また、第１の実施形態に係る集約装置１００は、送信部１４６が、取得結果格納部１４４によって条件／内容ＤＢ１２０に格納されたウェブページを含む応答情報を収集要求の送信元であるクローラ装置１０に送信するとともに、かかるウェブページの一部又は全部を収集対象とする未処理の収集要求における収集条件を満たすウェブページを条件／内容ＤＢ１２０から取得し、取得したウェブページを含む応答情報を未処理の収集要求の送信元であるクローラ装置１０に送信する。
これにより、第１の実施形態に係る集約装置１００は、同一のウェブページの重複取得を防止できるとともに、各クローラ装置１０からの収集要求に対して一括で応答することができる。
また、第１の実施形態に係る集約装置１００は、調整部１４２が、処理対象の収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に記憶されている場合に、取得部１４３による収集要求に基づくウェブページの取得処理を行わせない。
これにより、第１の実施形態に係る集約装置１００は、処理対象の収集要求以外の収集要求を処理した際にウェブページを一括取得している場合には、処理対象の収集要求に対する収集処理を省略することができるので、同一のウェブページの再取得を防止することができる。
また、第１の実施形態に係る集約装置１００は、要求格納部１４１が、クローラ装置１０から受信したウェブページの収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に記憶されている場合には、かかる収集要求を条件／内容ＤＢ１２０に格納せず、収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に記憶されていない場合には、かかる収集要求を条件／内容ＤＢ１２０に格納し、送信部１４６が、要求格納部１４１によって条件／内容ＤＢ１２０に格納されなかった収集要求における収集条件を満たすウェブページを条件／内容ＤＢ１２０から取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置１０に送信する。
これにより、第１の実施形態に係る集約装置１００は、取得済みのウェブページを再利用することで、同一のウェブページの再取得を防止することができる。
（第２の実施形態）
本願に係る集約装置、集約方法及び集約プログラムは、上述した第１の実施形態以外にも種々の異なる形態にて実施されてよい。第２の実施形態では、他の実施形態について説明する。
本願に係る集約装置、集約方法及び集約プログラムは、上述した第１の実施形態以外にも種々の異なる形態にて実施されてよい。第２の実施形態では、他の実施形態について説明する。
〔２−１．共通条件更新処理〕
上記実施形態では、格納部１４１ｃが、条件／内容ＤＢ１２０の共通条件を更新する例について説明した。しかし、調整部１４２が、キュー１３０に格納されているキューを処理する際に、共通条件を更新してもよい。
上記実施形態では、格納部１４１ｃが、条件／内容ＤＢ１２０の共通条件を更新する例について説明した。しかし、調整部１４２が、キュー１３０に格納されているキューを処理する際に、共通条件を更新してもよい。
〔２−２．共通条件〕
また、上記実施形態では、調整部１４２が、階層の最大値やリダイレクト上限回数の最大値である共通条件を収集条件とする例を示した（図４のステップＳ２０５を参照）。しかし、調整部１４２は、階層の最大値以上の階層や、リダイレクト上限回数の最大値以上のリダイレクト回数を収集条件としてもよい。
また、上記実施形態では、調整部１４２が、階層の最大値やリダイレクト上限回数の最大値である共通条件を収集条件とする例を示した（図４のステップＳ２０５を参照）。しかし、調整部１４２は、階層の最大値以上の階層や、リダイレクト上限回数の最大値以上のリダイレクト回数を収集条件としてもよい。
〔２−３．共通条件〕
また、上記実施形態では、調整部１４２が、ＵＲＬが同一である全ての収集条件を満たすように共通条件を設定する例を示した。しかし、調整部１４２は、ＵＲＬが同一である所定数の収集条件毎に共通条件を調整してもよい。この場合、取得部１４３は、所定数の収集条件毎にウェブページの取得処理を行う。例えば、条件／内容ＤＢ１２０が所定のＵＲＬに対応付けて１０個の収集条件を記憶している場合に、調整部１４２は、５個の収集条件毎に共通条件を調整してもよい。かかる場合に、取得部１４３は、５個の収集条件毎に調整された共通条件を用いてウェブページの取得処理を行う。この例の場合、取得部１４３は、ＵＲＬが同一である１０個の収集条件について、収集処理を２回行う。
また、上記実施形態では、調整部１４２が、ＵＲＬが同一である全ての収集条件を満たすように共通条件を設定する例を示した。しかし、調整部１４２は、ＵＲＬが同一である所定数の収集条件毎に共通条件を調整してもよい。この場合、取得部１４３は、所定数の収集条件毎にウェブページの取得処理を行う。例えば、条件／内容ＤＢ１２０が所定のＵＲＬに対応付けて１０個の収集条件を記憶している場合に、調整部１４２は、５個の収集条件毎に共通条件を調整してもよい。かかる場合に、取得部１４３は、５個の収集条件毎に調整された共通条件を用いてウェブページの取得処理を行う。この例の場合、取得部１４３は、ＵＲＬが同一である１０個の収集条件について、収集処理を２回行う。
〔２−４．共通条件〕
また、図２、図５Ａ及び図５Ｂには図示することを省略したが、条件／内容ＤＢ１２０は、共通条件として鮮度を記憶してもよい。かかる場合、格納部１４１ｃは、同一のＵＲＬ及び対象デバイスに対応する鮮度のうち、最も期間が短い鮮度を共通条件の鮮度とする。そして、調整部１４２は、処理対象の収集要求に対する収集処理が未処理である場合に、共通条件の鮮度を満たす一部のウェブページが条件／内容ＤＢ１２０に存在するか否かを判定し、一部のウェブページが存在する場合には、かかる一部のウェブページとＭＡＸ階層やＭＡＸリダイレクト等の共通条件を満たすウェブページとの差分のウェブページを収集するように、収集条件を調整する。
また、図２、図５Ａ及び図５Ｂには図示することを省略したが、条件／内容ＤＢ１２０は、共通条件として鮮度を記憶してもよい。かかる場合、格納部１４１ｃは、同一のＵＲＬ及び対象デバイスに対応する鮮度のうち、最も期間が短い鮮度を共通条件の鮮度とする。そして、調整部１４２は、処理対象の収集要求に対する収集処理が未処理である場合に、共通条件の鮮度を満たす一部のウェブページが条件／内容ＤＢ１２０に存在するか否かを判定し、一部のウェブページが存在する場合には、かかる一部のウェブページとＭＡＸ階層やＭＡＸリダイレクト等の共通条件を満たすウェブページとの差分のウェブページを収集するように、収集条件を調整する。
〔２−５．取得済みウェブページのチェック〕
また、上記実施形態では、取得結果確認部１４１ａが、クローラ装置１０から受信した収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在するか否かを判定する例を示した（図３のステップＳ１０２を参照）。しかし、取得結果確認部１４１ａは、かかる判定処理を行わなくてもよい。すなわち、トランザクション生成部１４１ｂは、クローラ装置１０から受信した全ての収集要求についてトランザクションを生成してもよい。この場合、調整部１４２が、収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在するか否かを判定することとなり、かかるウェブページが存在する場合には、取得部１４３による取得処理が行われることなく、送信部１４６が条件／内容ＤＢ１２０内のウェブページをクローラ装置１０に送信する。ただし、上記〔２−４．共通条件〕に記載したように、共通条件として鮮度を用いる場合には、取得結果確認部１４１ａによる確認処理を行うことが望ましい。
また、上記実施形態では、取得結果確認部１４１ａが、クローラ装置１０から受信した収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在するか否かを判定する例を示した（図３のステップＳ１０２を参照）。しかし、取得結果確認部１４１ａは、かかる判定処理を行わなくてもよい。すなわち、トランザクション生成部１４１ｂは、クローラ装置１０から受信した全ての収集要求についてトランザクションを生成してもよい。この場合、調整部１４２が、収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在するか否かを判定することとなり、かかるウェブページが存在する場合には、取得部１４３による取得処理が行われることなく、送信部１４６が条件／内容ＤＢ１２０内のウェブページをクローラ装置１０に送信する。ただし、上記〔２−４．共通条件〕に記載したように、共通条件として鮮度を用いる場合には、取得結果確認部１４１ａによる確認処理を行うことが望ましい。
〔２−６．要求情報の格納処理〕
また、上記実施形態において、取得部１４３は、ウェブページの取得処理を開始した場合に、条件／内容ＤＢ１２０の状況情報に処理中であることを示す情報「クロール中」を格納してもよい。このとき、要求格納部１４１は、条件／内容ＤＢ１２０の状況情報が「クロール中」である状態で新たな収集要求をクローラ装置１０から受信した場合、かかる収集要求における収集条件が共通条件に影響を与えなければ、収集要求を条件／内容ＤＢ１２０に格納してもよい。一例を挙げて説明すると、例えば、図５Ａの＜状態２＞において、要求格納部１４１が、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、鮮度「２４時間」、階層「２」及びリダイレクト上限回数「２」が設定されている収集要求を受信したものとする。かかる場合に、要求格納部１４１は、受信した収集要求をＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応する条件／内容ＤＢ１２０のリクエスト情報に追加してもよい。これは、送信部１４６が、応答情報を一括生成するので、上記例のような共通条件に影響を与えない収集要求を追加した場合であっても、かかる収集要求に対する応答情報が送信されるからである。
また、上記実施形態において、取得部１４３は、ウェブページの取得処理を開始した場合に、条件／内容ＤＢ１２０の状況情報に処理中であることを示す情報「クロール中」を格納してもよい。このとき、要求格納部１４１は、条件／内容ＤＢ１２０の状況情報が「クロール中」である状態で新たな収集要求をクローラ装置１０から受信した場合、かかる収集要求における収集条件が共通条件に影響を与えなければ、収集要求を条件／内容ＤＢ１２０に格納してもよい。一例を挙げて説明すると、例えば、図５Ａの＜状態２＞において、要求格納部１４１が、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、鮮度「２４時間」、階層「２」及びリダイレクト上限回数「２」が設定されている収集要求を受信したものとする。かかる場合に、要求格納部１４１は、受信した収集要求をＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応する条件／内容ＤＢ１２０のリクエスト情報に追加してもよい。これは、送信部１４６が、応答情報を一括生成するので、上記例のような共通条件に影響を与えない収集要求を追加した場合であっても、かかる収集要求に対する応答情報が送信されるからである。
〔２−７．要求情報の格納処理〕
また、上記〔２−６．要求情報の格納処理〕において、要求格納部１４１は、条件／内容ＤＢ１２０の状況情報が「クロール中」である状態で受信した新たな収集要求における収集条件が共通条件に影響を与える場合には、収集処理が完了するまで待機してもよい。例えば、図５Ａの＜状態１＞において、状況情報が「クロール中」である場合に、要求格納部１４１が、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、鮮度「２４時間」、階層「７」及びリダイレクト上限回数「７」が設定されている収集要求を受信したものとする。かかる場合に、要求格納部１４１は、状況情報が「済」となるまで、すなわち、＜状態２＞になるまで待機し、状況情報が「済」となった後に、かかる収集要求をＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応する条件／内容ＤＢ１２０のリクエスト情報に格納してもよい。
また、上記〔２−６．要求情報の格納処理〕において、要求格納部１４１は、条件／内容ＤＢ１２０の状況情報が「クロール中」である状態で受信した新たな収集要求における収集条件が共通条件に影響を与える場合には、収集処理が完了するまで待機してもよい。例えば、図５Ａの＜状態１＞において、状況情報が「クロール中」である場合に、要求格納部１４１が、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」、鮮度「２４時間」、階層「７」及びリダイレクト上限回数「７」が設定されている収集要求を受信したものとする。かかる場合に、要求格納部１４１は、状況情報が「済」となるまで、すなわち、＜状態２＞になるまで待機し、状況情報が「済」となった後に、かかる収集要求をＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」に対応する条件／内容ＤＢ１２０のリクエスト情報に格納してもよい。
〔２−８．要求情報の格納処理〕
また、上記実施形態では、要求格納部１４１が、収集要求の収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合に、かかる収集要求を条件／内容ＤＢ１２０に格納しない例を示した（図３のステップＳ１０２を参照）。しかし、要求格納部１４１は、収集要求の収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合であっても、かかる収集要求を条件／内容ＤＢ１２０に格納してもよい。そして、調整部１４２は、処理対象の収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合には、応答情報一括生成部１４６ｂにかかる収集要求の応答情報を送信させてもよい。この例の場合、集約装置１００は、応答情報生成部１４６ａと応答情報一括生成部１４６ｂのうち応答情報一括生成部１４６ｂだけを有すればよい。
また、上記実施形態では、要求格納部１４１が、収集要求の収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合に、かかる収集要求を条件／内容ＤＢ１２０に格納しない例を示した（図３のステップＳ１０２を参照）。しかし、要求格納部１４１は、収集要求の収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合であっても、かかる収集要求を条件／内容ＤＢ１２０に格納してもよい。そして、調整部１４２は、処理対象の収集要求における収集条件を満たすウェブページが条件／内容ＤＢ１２０に存在する場合には、応答情報一括生成部１４６ｂにかかる収集要求の応答情報を送信させてもよい。この例の場合、集約装置１００は、応答情報生成部１４６ａと応答情報一括生成部１４６ｂのうち応答情報一括生成部１４６ｂだけを有すればよい。
〔２−９．取得処理〕
また、上記実施形態では、取得部１４３が、リクエストにかかるウェブページからリンク回数がＭＡＸ階層以内であるウェブページをたどることで、ウェブページを取得する例を示した。しかし、取得部１４３は、収集条件に含まれるＵＲＬによって示されるウェブページのみを取得し、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのＵＲＬを含む収集要求を要求格納部１４１に入力してもよい。このとき、取得部１４３は、例えば、処理中の収集要求における収集条件と、処理中のトランザクションＩＤとを要求格納部１４１に入力してもよい。例えば、図２に示した例において、取得部１４３は、キュー１３０からトランザクションＩＤ「００１」を取得した場合に、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」が示すウェブページを取得する。そして、取得部１４３は、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのＵＲＬとトランザクションＩＤ「００１」とを含む収集要求を要求格納部１４１に入力する。要求格納部１４１は、取得部１４３から収集要求を入力された場合に、例えば、新たなトランザクションＩＤ（ここでは、「００６」とする）を生成し、生成したトランザクションＩＤ「００６」と、収集要求に含まれるトランザクションＩＤ「００１」と関連付け可能なように、かかる収集要求（リンク先ＵＲＬ等）を条件／内容ＤＢ１２０に格納するとともに、新たなトランザクションＩＤをキュー１３０に格納する。例えば、要求格納部１４１は、条件／内容ＤＢ１２０のトランザクションＩＤに「００６（００１）」を格納することで、トランザクションＩＤ「００６」と、トランザクションＩＤ「００１」とを関連付ける。そして、取得部１４３は、キュー１３０からトランザクションＩＤ「００６」を取得した場合に、リンク先ＵＲＬによって示されるウェブページのみを取得し、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのＵＲＬを含む収集要求を要求格納部１４１に再度入力する。そして、取得部１４３は、このようなリンク先ウェブページのＵＲＬを含む収集要求を要求格納部１４１に入力する処理を共通条件のＭＡＸ階層に記憶されている回数だけ繰り返して行う。集約装置１００は、このように処理する場合であっても、クローラ装置１０からのリクエストにかかるウェブページからリンク回数がＭＡＸ階層以内であるウェブページをたどって取得するウェブページと同様のウェブページを取得することができる。
また、上記実施形態では、取得部１４３が、リクエストにかかるウェブページからリンク回数がＭＡＸ階層以内であるウェブページをたどることで、ウェブページを取得する例を示した。しかし、取得部１４３は、収集条件に含まれるＵＲＬによって示されるウェブページのみを取得し、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのＵＲＬを含む収集要求を要求格納部１４１に入力してもよい。このとき、取得部１４３は、例えば、処理中の収集要求における収集条件と、処理中のトランザクションＩＤとを要求格納部１４１に入力してもよい。例えば、図２に示した例において、取得部１４３は、キュー１３０からトランザクションＩＤ「００１」を取得した場合に、ＵＲＬ「ｗｗｗ．ａａａ．ｊｐ」が示すウェブページを取得する。そして、取得部１４３は、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのＵＲＬとトランザクションＩＤ「００１」とを含む収集要求を要求格納部１４１に入力する。要求格納部１４１は、取得部１４３から収集要求を入力された場合に、例えば、新たなトランザクションＩＤ（ここでは、「００６」とする）を生成し、生成したトランザクションＩＤ「００６」と、収集要求に含まれるトランザクションＩＤ「００１」と関連付け可能なように、かかる収集要求（リンク先ＵＲＬ等）を条件／内容ＤＢ１２０に格納するとともに、新たなトランザクションＩＤをキュー１３０に格納する。例えば、要求格納部１４１は、条件／内容ＤＢ１２０のトランザクションＩＤに「００６（００１）」を格納することで、トランザクションＩＤ「００６」と、トランザクションＩＤ「００１」とを関連付ける。そして、取得部１４３は、キュー１３０からトランザクションＩＤ「００６」を取得した場合に、リンク先ＵＲＬによって示されるウェブページのみを取得し、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのＵＲＬを含む収集要求を要求格納部１４１に再度入力する。そして、取得部１４３は、このようなリンク先ウェブページのＵＲＬを含む収集要求を要求格納部１４１に入力する処理を共通条件のＭＡＸ階層に記憶されている回数だけ繰り返して行う。集約装置１００は、このように処理する場合であっても、クローラ装置１０からのリクエストにかかるウェブページからリンク回数がＭＡＸ階層以内であるウェブページをたどって取得するウェブページと同様のウェブページを取得することができる。
〔２−１０．コンテンツ〕
また、上記実施形態では、集約装置１００によって収集されるコンテンツとしてウェブページを例に挙げて説明した。しかし、集約装置１００は、クローラ装置１０からの収集要求に従って、ウェブページ以外の画像データ、音声データ、動画データ、その他各種ファイル等の他のコンテンツを収集してもよい。
また、上記実施形態では、集約装置１００によって収集されるコンテンツとしてウェブページを例に挙げて説明した。しかし、集約装置１００は、クローラ装置１０からの収集要求に従って、ウェブページ以外の画像データ、音声データ、動画データ、その他各種ファイル等の他のコンテンツを収集してもよい。
〔２−１１．Ｗｅｂサーバ〕
また、上記実施形態では、クローラ装置１０と第三者Ｗｅｂサーバ２０とが異なる企業等によって管理される例を説明した。しかし、クローラ装置１０と第三者Ｗｅｂサーバ２０とは、同一の企業等によって管理されてもよい。
また、上記実施形態では、クローラ装置１０と第三者Ｗｅｂサーバ２０とが異なる企業等によって管理される例を説明した。しかし、クローラ装置１０と第三者Ｗｅｂサーバ２０とは、同一の企業等によって管理されてもよい。
〔２−１２．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述した集約装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
１０ クローラ装置
２０ 第三者Ｗｅｂサーバ
１００ 集約装置
１２０ 条件／内容ＤＢ
１４１ 要求格納部
１４２ 調整部
１４３ 取得部
１４４ 取得結果格納部
１４５ リクエスト確認部
１４６ 送信部
２０ 第三者Ｗｅｂサーバ
１００ 集約装置
１２０ 条件／内容ＤＢ
１４１ 要求格納部
１４２ 調整部
１４３ 取得部
１４４ 取得結果格納部
１４５ リクエスト確認部
１４６ 送信部
Claims (9)
- ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と、取得済みのコンテンツとを記憶する記憶部と、
前記記憶部に記憶されている収集要求及び取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整部と、
前記調整部によって調整された収集条件に従ってコンテンツを取得する取得部と、
前記取得部によって取得されたコンテンツを前記記憶部に格納する取得結果格納部と、
前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信部と
を備えたことを特徴とする集約装置。 - 前記記憶部は、
前記収集要求として、所定のコンテンツを特定するための特定情報に対応付けて該収集要求における収集条件を記憶し、
前記調整部は、
前記処理対象の収集要求における特定情報に対応付けて前記記憶部に記憶されている収集条件を全て満たすように、前記処理対象の収集要求における収集条件を調整する
ことを特徴とする請求項１に記載の集約装置。 - 前記記憶部は、
前記収集条件として、前記所定のコンテンツから該所定のコンテンツに関連付けられたコンテンツ群までのリンク回数を示す階層、又は、コンテンツ間のリダイレクト上限回数を記憶し、
前記調整部は、
前記処理対象の収集要求における特定情報に対応付けて前記記憶部に記憶されている複数の階層の最大値以上の階層、又は、該特定情報に対応付けて前記記憶部に記憶されている複数のリダイレクト上限回数の最大値以上のリダイレクト回数を前記処理対象の収集要求における収集条件とする
ことを特徴とする請求項２に記載の集約装置。 - 前記調整部は、
前記処理対象の収集要求における収集条件を満たす一部のコンテンツのみが前記記憶部に記憶されている場合に、前記収集条件を満たすコンテンツのうち前記一部のコンテンツ以外のコンテンツを収集するように前記処理対象の収集要求における収集条件を調整する
ことを特徴とする請求項１〜３のいずれか一つに記載の集約装置。 - 前記送信部は、
前記取得結果格納部によって前記記憶部に格納されたコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信するとともに、該コンテンツの一部又は全部を収集対象とする未処理の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記未処理の収集要求の送信元である収集装置に送信する
ことを特徴とする請求項１〜４のいずれか一つに記載の集約装置。 - 前記調整部は、
前記処理対象の収集要求における収集条件を満たすコンテンツが前記記憶部に記憶されている場合に、前記取得部による該収集要求に基づくコンテンツの取得処理を行わせない
ことを特徴とする請求項１〜５のいずれか一つに記載の集約装置。 - 前記収集装置から受信したコンテンツの収集要求における収集条件を満たすコンテンツが前記記憶部に記憶されている場合には、該収集要求を前記記憶部に格納せず、該収集要求における収集条件を満たすコンテンツが前記記憶部に記憶されていない場合には、該収集要求を前記記憶部に格納する要求格納部をさらに備え、
前記送信部は、
前記要求格納部によって前記記憶部に格納されなかった収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を該収集要求の送信元である収集装置に送信する
ことを特徴とする請求項１〜６のいずれか一つに記載の集約装置。 - コンピュータが実行する集約方法であって、
ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と取得済みのコンテンツとを記憶する記憶部に記憶されている前記収集要求及び前記取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整工程と、
前記調整工程によって調整された収集条件に従ってコンテンツを取得する取得工程と、
前記取得工程によって取得されたコンテンツを前記記憶部に格納する取得結果格納工程と、
前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信工程と
を含んだことを特徴とする集約方法。 - ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と取得済みのコンテンツとを記憶する記憶部に記憶されている前記収集要求及び前記取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整手順と、
前記調整手順によって調整された収集条件に従ってコンテンツを取得する取得手順と、
前記取得手順によって取得されたコンテンツを前記記憶部に格納する取得結果格納手順と、
前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信手順と
をコンピュータに実行させることを特徴とする集約プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011197193A JP5437335B2 (ja) | 2011-09-09 | 2011-09-09 | 集約装置、集約方法及び集約プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011197193A JP5437335B2 (ja) | 2011-09-09 | 2011-09-09 | 集約装置、集約方法及び集約プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013058148A true JP2013058148A (ja) | 2013-03-28 |
| JP5437335B2 JP5437335B2 (ja) | 2014-03-12 |
Family
ID=48133971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011197193A Active JP5437335B2 (ja) | 2011-09-09 | 2011-09-09 | 集約装置、集約方法及び集約プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5437335B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282609A (ja) * | 2000-03-29 | 2001-10-12 | Internatl Business Mach Corp <Ibm> | ウェブページ取得サービスシステム、プロバイダ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置 |
| JP2003303203A (ja) * | 2002-04-10 | 2003-10-24 | Toshiba Corp | 知識情報収集システムおよび知識情報収集方法 |
| JP2008146380A (ja) * | 2006-12-11 | 2008-06-26 | Sony Computer Entertainment Inc | キャッシュサーバ、キャッシュサーバの制御方法、プログラム及び情報記憶媒体 |
| JP2011039884A (ja) * | 2009-08-14 | 2011-02-24 | Internatl Business Mach Corp <Ibm> | 文書を収集するためのシステムおよびプログラム |
-
2011
- 2011-09-09 JP JP2011197193A patent/JP5437335B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282609A (ja) * | 2000-03-29 | 2001-10-12 | Internatl Business Mach Corp <Ibm> | ウェブページ取得サービスシステム、プロバイダ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置 |
| JP2003303203A (ja) * | 2002-04-10 | 2003-10-24 | Toshiba Corp | 知識情報収集システムおよび知識情報収集方法 |
| JP2008146380A (ja) * | 2006-12-11 | 2008-06-26 | Sony Computer Entertainment Inc | キャッシュサーバ、キャッシュサーバの制御方法、プログラム及び情報記憶媒体 |
| JP2011039884A (ja) * | 2009-08-14 | 2011-02-24 | Internatl Business Mach Corp <Ibm> | 文書を収集するためのシステムおよびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5437335B2 (ja) | 2014-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11720537B2 (en) | Bucket merging for a data intake and query system using size thresholds | |
| US20230315785A1 (en) | Processing data using containerized nodes in a containerized scalable environment | |
| US11294941B1 (en) | Message-based data ingestion to a data intake and query system | |
| US11106734B1 (en) | Query execution using containerized state-free search nodes in a containerized scalable environment | |
| US11269939B1 (en) | Iterative message-based data processing including streaming analytics | |
| US10776355B1 (en) | Managing, storing, and caching query results and partial query results for combination with additional query results | |
| US11663212B2 (en) | Identifying configuration parameters for a query using a metadata catalog | |
| US11003714B1 (en) | Search node and bucket identification using a search node catalog and a data store catalog | |
| US10984044B1 (en) | Identifying buckets for query execution using a catalog of buckets stored in a remote shared storage system | |
| US11250056B1 (en) | Updating a location marker of an ingestion buffer based on storing buckets in a shared storage system | |
| US11327992B1 (en) | Authenticating a user to access a data intake and query system | |
| US11620288B2 (en) | Dynamically assigning a search head to process a query | |
| US11657057B2 (en) | Revising catalog metadata based on parsing queries | |
| US11157497B1 (en) | Dynamically assigning a search head and search nodes for a query | |
| US11416465B1 (en) | Processing data associated with different tenant identifiers | |
| US11567993B1 (en) | Copying buckets from a remote shared storage system to memory associated with a search node for query execution | |
| US11526504B1 (en) | Search-time field extraction in a data intake and query system | |
| US11550847B1 (en) | Hashing bucket identifiers to identify search nodes for efficient query execution | |
| US11562023B1 (en) | Merging buckets in a data intake and query system | |
| US9396500B2 (en) | Methods and systems for adaptive capacity management | |
| US11620336B1 (en) | Managing and storing buckets to a remote shared storage system based on a collective bucket size | |
| US11734266B2 (en) | Generic scheduling | |
| US11714823B1 (en) | Generating metric data from log data using metricization rules | |
| US11799798B1 (en) | Generating infrastructure templates for facilitating the transmission of user data into a data intake and query system | |
| US11663219B1 (en) | Determining a set of parameter values for a processing pipeline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5437335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |