JP2004258911A - サーバ、情報収集方法及びプログラム - Google Patents

Abstract

【課題】検索ロボットによる情報収集の際に、端末装置の種類に応じて個別の応答を返すサイトに対して、当該サイトが対応する各機種別のコンテンツに関する情報を取得できるようにする。
【解決手段】検索ロボットとサイトとの間のデータ交換を中継するプロキシに備えたリンク展開部１３にて、サイトから検索ロボットへの応答を解析し、この応答に含まれるリンクのリンク先がアクセス元である端末装置の種類に応じて個別の応答を返すコンテンツである場合に、リンク先のコンテンツが対応しているユーザエージェントの情報を得る。そして、この情報に基づき、このプロキシに備えたユーザエージェント情報編集部１５にて、検索ロボットからサイトへの情報取得要求に対して所定のユーザエージェントから発行された情報取得要求に見せ掛けるためのユーザエージェント情報を付加することにより、かかるユーザエージェントに対応した応答を取得する。
【選択図】 図６

Description

【０００１】
【発明の属する技術分野】
本発明は、インターネット等で情報検索に利用される検索エンジンに関し、特にネットワーク上の情報を自動的に収集する検索ロボットに関する。
【０００２】
【従来の技術】
今日、インターネットに代表されるコンピュータネットワークの普及により、ネットワークを介して様々なサービスが提供されている。また、ネットワークに接続する端末装置の種類も、パーソナルコンピュータやワークステーションのような高い処理能力を有するコンピュータ装置から、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）といったコンテンツを受信して表示し簡単な処理を行うに過ぎないものまで様々である。そのため、接続した端末装置（ユーザエージェント）の種類（能力）に応じてコンテンツを動的に作成しサービスを提供するサイト（サーバ）が存在している。
【０００３】
端末装置の種類に応じたウェブコンテンツを返すウェブサーバの場合、端末装置からのＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）リクエストに含まれるＵｓｅｒ−Ａｇｅｎｔ ＨＴＴＰヘッダを参照して当該端末装置の種類を識別することができる。そこで、当該端末装置の能力に応じたウェブコンテンツを生成し返すことができる。端末装置の能力に応じてコンテンツを生成するとは、例えば、端末装置のメモリ容量（すなわち一度に読み込めるデータのサイズ）に応じてコンテンツを切り分け、複数回のダウンロードを行うようにしたり、イメージ表示機能を持たない端末装置に対してイメージを除いたテキストのみのコンテンツを生成したりすることである。
【０００４】
また今日、検索サイト（検索エンジン）を用いてネットワーク上の膨大なコンテンツの中から所望のコンテンツを検索し取得することが一般的に行われている。この検索サイトは、予めネットワーク上のコンテンツにアクセスするための情報を取得し保持しておき、端末装置からの検索要求に応じて当該情報を返すものである。今日の主要な検索サイトとして、コンテンツのハイパーリンク（以下、リンク）を辿りながら自動的にネットワーク上のサイトにアクセスし、当該サイトのコンテンツにアクセスするための情報を収集しておき、端末装置からの検索要求に応答するロボット型検索サイトがある（例えば、特許文献１、２参照）。
【０００５】
図１７は、ロボット型検索サイトの概略構成を説明する図である。
図１７に示すように、ロボット型検索サイト１７１０は、自動的にネットワーク上のサイト１７２０にアクセスし当該サイトのコンテンツにアクセスするための情報を取得する検索ロボット１７１１と、検索ロボット１７１１により取得された情報を登録し蓄積するデータベース１７１２と、端末装置１７３０からの検索要求を受け付けてデータベース１７１２を検索し検索結果を返すサーチエンジン１７１３とを備える。
【０００６】
【特許文献１】
特開２００２−２１５６４２号公報
【特許文献２】
特開２００２−２５９４３２号公報
【０００７】
【発明が解決しようとする課題】
上記のように、ロボット型検索サイトでは、検索ロボットがネットワーク上のサイトにアクセスし、コンテンツにアクセスするための情報（例えばＵＲＬ（ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒｓ））を取得する。しかしながら、上述したようにクライアントである端末装置の種類に応じてコンテンツを動的に作成して応答するサイトに検索ロボットがアクセスした場合、サイト側では検索ロボットからのアクセスとして認識して応答するため、検索ロボットは当該サイトが対応する各機種別のコンテンツに関する情報を取得することができない。また、サイトによっては、不明機種としてエラー処理したり、適当な機種を仮定して処理したりする場合もある。これらは検索サイトの信用の低下を招く原因となり得る。
【０００８】
例えば、所定のサイトＳ１が、５ＫＢのサイズのコンテンツＣ１を有しており、一度に読み込めるデータサイズが６ＫＢの端末装置Ａに対しては、当該５ＫＢのコンテンツをそのまま送り、一度に読み込めるデータサイズが２ＫＢの端末装置Ｂに対しては当該５ＫＢのコンテンツを２ＫＢ、２ＫＢ、１ＫＢの３つのコンテンツｃ０１、ｃ０２、ｃ０３に切り分けて順に送る場合について考える。
ロボット検索（検索ロボットによる検索）時に、サイトにおいて検索ロボットが端末装置Ａと判断された場合、当該検索サイトＳ２のデータベースには、５ＫＢのサイズの元のコンテンツＣ１のみが登録されることとなる。
この状況で端末装置Ｂが当該検索サイトＳ２に対し、所定の検索タームでコンテンツの検索を行い、コンテンツＣ１がヒットしたものとする。この検索結果にしたがって端末装置ＢからサイトＳ１へＨＴＴＰリクエストが送られた場合、上述したようにサイトＳ１からは３分されたコンテンツｃ０１が返される。このとき、ヒットした検索タームがコンテンツｃ０２またはコンテンツｃ０３に存在すると、端末装置Ｂは、検索サイトＳ２の検索結果に基づいてアクセスしたにも関わらず、所望の情報を得られないこととなる。
【０００９】
上述した特許文献２では、コンテンツの中身を分析して、所定のコンテンツが端末装置の種類に応じてどの程度適切かといった度合いを計算して評価することで、できる限り端末装置の種類にあった検索結果を選別する技術が開示されている。しかしこの特許文献２に開示された技術でも、検索ロボットがコンテンツを収集する時点で端末装置の種類を想定したコンテンツの取得を行うことはなされていない。
【００１０】
そこで本発明は、検索ロボットによる情報収集の際に、端末装置の種類に応じて動的にコンテンツを生成して返すサイトに対して、当該サイトが対応する各機種別のコンテンツに関する情報を取得できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成する本発明は、次のように構成されたことを特徴とするサーバとして実現される。このサーバは、ネットワーク上のサイトとこのサイトにアクセスして情報を収集する検索ロボットとの間で行われるデータ交換を中継する送受信部と、検索ロボットからサイトへの情報取得要求に対するサイトからの応答を送受信部が受信し、この応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、そのリンクを展開し、リンク先のコンテンツが対応しているユーザエージェントの情報を取得するリンク展開部と、展開されたリンクに基づいてなされた検索ロボットからの情報取得要求を送受信部が受信した場合に、この情報取得要求に含まれるユーザエージェントの情報を、リンク先のコンテンツが対応しているユーザエージェントの情報に変換するユーザエージェント情報編集部とを備えることを特徴とする。
【００１２】
このサーバは、アクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツの位置情報と、このコンテンツが対応しているユーザエージェントの情報とを対応付けて登録したデータベースをさらに備える構成とすることができる。この場合、リンク展開部は、サイトからの応答に含まれるリンクのリンク先の位置情報を引数としてデータベースを検索してユーザエージェントの情報を取得する。また、ユーザエージェント情報編集部は、データベースから得られるユーザエージェントの情報を用いて情報取得要求の情報を変換する。
【００１３】
また、本発明の他のサーバは、ネットワーク上のサイトにアクセスして情報を収集する検索ロボットとの間でデータ交換を行う第１の送受信手段と、この第１の送受信手段にて受信された検索ロボットからサイトへの情報取得要求に含まれるユーザエージェント情報を、所定のユーザエージェントから発行された情報取得要求に見せ掛けるための他のユーザエージェント情報に変換する編集手段と、サイトとの間でデータ交換を行い、この編集手段にてユーザエージェント情報を変換された情報取得要求を宛先であるサイトへ送信する第２の送受信手段とを備えることを特徴とする。
【００１４】
このサーバは、第２の送受信手段にて受信したサイトから検索ロボットへの応答を解析する解析手段をさらに備える構成とすることができる。この場合、編集手段は、この解析手段の解析によって得られた情報に基づいて所定のユーザエージェントを特定し、情報取得要求のユーザエージェント情報を、特定されたユーザエージェントのユーザエージェント情報に変換する。
さらに好ましくは、このサーバにおいて、解析手段は、応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、このリンクのリンク先情報を、リンク先のコンテンツが対応しているユーザエージェントを識別するための識別情報を含むダミー情報に置き換えて、第１の送受信手段に前記検索ロボットへ送信させる。そして、編集手段は、このダミー情報を宛先として検索ロボットから発行された情報取得要求を第１の送受信手段が受信した場合に、このダミー情報を本来のリンク先情報に戻し、かつ情報取得要求に含まれるユーザエージェント情報をダミー情報に含まれる識別情報にて特定されるユーザエージェントのユーザエージェント情報に変換する。
【００１５】
また、本発明のさらに他のサーバは、ネットワーク上のウェブサイトとこのウェブサイトにアクセスして情報を収集する検索ロボットとの間で行われるデータ交換を中継する送受信部と、検索ロボットからウェブサイトへの情報取得要求に対するこのウェブサイトからの応答を送受信部が受信し、この応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツである場合に、この応答に含まれるリンクのリンク先のＵＲＬを、このウェブコンテンツが対応しているユーザエージェントに個別に対応する代替ＵＲＬに置き換えるリンク展開部と、この代替ＵＲＬを宛先として検索ロボットから発行された情報取得要求を送受信部が受信した場合に、この代替ＵＲＬを本来のリンク先のＵＲＬに置き換えるＵＲＬ変換部と、この代替ＵＲＬを宛先として検索ロボットから発行された情報取得要求を送受信部が受信した場合に、情報取得要求のＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ヘッダにおけるユーザエージェントの情報を、代替ＵＲＬに対応するユーザエージェントの情報に変換するユーザエージェント情報編集部とを備えることを特徴とする。
【００１６】
以上のサーバは、物理的には、検索ロボットを備えるサーバと同一のサーバマシンに構築しても良いし、サイトを備えるサーバと同一のサーバマシンに構築しても良い。さらに、これらのサーバとは別個にネットワーク上に設けられたサーバマシンに構築する構成とすることもできる。
【００１７】
上記の目的を達成するさらに他の本発明は、ネットワーク上のサイトから情報を収集する、次のような情報収集方法として実現することができる。すなわち、この情報収集方法は、所定のサイトへの情報取得要求に対するこのサイトからの応答を受信し、受信した応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、このリンクを展開し、リンク先のコンテンツが対応しているユーザエージェントの情報を取得する第１のステップと、得られたユーザエージェントの情報に基づいて、ユーザエージェントから発行された情報取得要求に見せ掛けるための情報が付加された情報取得要求をこの応答に含まれるリンクのリンク先へ送信する第２のステップと、リンク先からユーザエージェントの種類に応じた応答を取得する第３のステップとを含むことを特徴とする。
【００１８】
本発明による他の情報収集方法は、所定の検索ロボットから所定のサイトへの情報取得要求に対するこのサイトからの応答を受信し、受信した応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツである場合に、この応答に含まれるリンクのリンク先のＵＲＬを、このウェブコンテンツが対応しているユーザエージェントに個別に対応する代替ＵＲＬに置き換え、応答の送信先である検索ロボットへ送信する第１のステップと、この代替ＵＲＬを宛先として検索ロボットから発行された情報取得要求を受信し、この代替ＵＲＬを本来のリンク先のＵＲＬに置き換え、この情報取得要求のＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ヘッダにおけるユーザエージェントの情報を、代替ＵＲＬに対応するユーザエージェントの情報に変換し、このリンク先に送信する第２のステップと、ユーザエージェントの情報を変換された情報取得要求に対するリンク先からの応答を受信し、この応答にユーザエージェントの識別情報を付加して検索ロボットに送信する第３のステップとを含むことを特徴とする。
【００１９】
さらに本発明は、コンピュータを制御して上述したサーバとしての機能を実現するプログラムや、コンピュータに上記の情報取得方法の各ステップに対応する処理を実行させるプログラムとしても実現される。このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録装置に格納して配布したり、ネットワークを介して配信したりすることにより提供することができる。
【００２０】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいて、この発明を詳細に説明する。
図１は、本発明によるロボット検索の概念を説明する図である。
本発明は、コンテンツを提供するサイト２１０とロボット検索を行う検索ロボット３１０との間に、検索ロボット３１０からの要求およびサイト２１０からの応答を変換する変換プロキシ１０を介在させる。これにより、ロボット検索による情報収集の際に、端末装置の種類に応じて動的にコンテンツを生成して返すサイトから、各機種別のコンテンツに関する情報を取得することを実現する。
【００２１】
図２乃至図４は、本発明の実施態様を例示する図である。
図２の例は、変換プロキシ１０が、検索ロボット３１０と共に検索サーバ（検索サイトの機能を提供するサーバ）３００に設けられる構成である。この構成では、検索ロボット３１０は、変換プロキシ１０を介してネットワーク上の各サイト２１０にアクセスする。
図３の例は、変換プロキシ１０が、ネットワーク上の所定のプロキシサーバ（中間サイト）１００に独立して設けられる構成である。この構成では、検索ロボットが当該中間サイトにアクセスし、変換プロキシ１０を経て各サイト２１０にアクセスする。
図４の例は、変換プロキシ１０が、サイト２１０と共にコンテンツサーバ２００に設けられる構成である。この構成では、コンテンツサーバ２００のサイト２１０にアクセスしようとするネットワーク上の各検索ロボット３１０は、変換プロキシ１０を介してサイト２１０にアクセスする。
【００２２】
図５は、図２乃至図４に示した変換プロキシを設けるサーバ（検索サーバ３００、プロキシサーバ１００及びコンテンツサーバ２００）を実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
図５に示すコンピュータ装置は、演算手段であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）１０１と、Ｍ／Ｂ（マザーボード）チップセット１０２及びＣＰＵバスを介してＣＰＵ１０１に接続されたメインメモリ１０３と、同じくＭ／Ｂチップセット１０２及びＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）を介してＣＰＵ１０１に接続されたビデオカード１０４と、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスを介してＭ／Ｂチップセット１０２に接続されたハードディスク１０５、ネットワークインターフェイス１０６及びＵＳＢポート１０７と、さらにこのＰＣＩバスからブリッジ回路１０８及びＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バスなどの低速なバスを介してＭ／Ｂチップセット１０２に接続されたフロッピーディスクドライブ１０９及びキーボード／マウス１１０とを備える。
なお、図５は本実施の形態を実現するコンピュータ装置のハードウェア構成を例示するに過ぎず、本実施の形態を適用可能であれば、他の種々の構成を取ることができる。例えば、ビデオカード１０４を設ける代わりに、ビデオメモリのみを搭載し、ＣＰＵ１０１にてイメージデータを処理する構成としても良いし、ＡＴＡ（ＡＴ Ａｔｔａｃｈｍｅｎｔ）などのインターフェイスを介してＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のドライブを設けても良い。
【００２３】
以下に説明する本実施の形態では、インターネット等に代表されるウェブベースのネットワークシステムを例として説明する。すなわち、図１のサイト２１０には各種のウェブコンテンツ（ウェブページやそのオブジェクト）が保持されており、検索ロボット３１０は、ＨＴＴＰリクエストをサイト２１０に送り、ＨＴＴＰレスポンスを受け取るものとする。
また本実施の形態において、サイト２１０は通常のウェブサイトであり、検索ロボット３１０も従来からウェブ検索に用いられている通常の検索ロボットである。
【００２４】
図６は、本実施の形態による変換プロキシ１０の機能構成を示すブロック図である。
図６に示すように、変換プロキシ１０は、検索ロボット３１０からサイト２１０への要求（ＨＴＴＰリクエスト）及びサイト２１０から検索ロボット３１０への応答（ＨＴＴＰレスポンス）を仲介するための送受信部１１と、端末装置の種類に応じて動的にコンテンツを生成するサイト２１０あるいは動的に生成されるコンテンツのＵＲＬ（以下、多様性ＵＲＬと称す）の情報を登録して保持する多様性ＵＲＬデータベース（ＤＢ）１２と、サイト２１０から送られた応答に含まれるコンテンツのリンクを展開する解析手段としてのリンク展開部１３と、検索ロボット３１０から送られた要求に対する編集手段として宛先ＵＲＬを変換するＵＲＬ変換部１４及び当該要求におけるユーザエージェントの情報を編集するユーザエージェント情報編集部１５とを備える。
【００２５】
上述したリンク展開部１３、ＵＲＬ変換部１４及びユーザエージェント情報編集部１５は、図５に示したメインメモリ１０３に展開されたプログラムにてＣＰＵ１０１を制御することにより実現される仮想的なソフトウェアブロックである。ＣＰＵ１０１を制御してこれらの機能を実現させるプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記憶媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供される。本実施の形態では、図５に示したネットワークインターフェイス１０６やフロッピーディスクドライブ１０９、図示しないＣＤ−ＲＯＭドライブなどを介して当該プログラムを入力し、ハードディスク１０５に格納する。そして、ハードディスク１０５に格納されたプログラムをメインメモリ１０３に読み込んで展開し、ＣＰＵ１０１にて実行することにより、これらの機能を実現する。
多様性ＵＲＬデータベース１２は、図５に示したメインメモリ１０３やハードディスク１０５及びプログラム制御されたＣＰＵ１０１にて実現される。また、送受信部１１は、図５に示したネットワークインターフェイス１０６及びプログラム制御されたＣＰＵ１０１にて実現される。
【００２６】
上記の構成において、送受信部１１は、検索ロボット３１０からの要求を受け付け、ＵＲＬ変換部１４及びユーザエージェント情報編集部１５に渡して処理させた後、処理された要求をサイト２１０に送信する。また、サイト２１０からの応答を受け付け、リンク展開部１３に渡して処理させた後、処理された応答を検索ロボット３１０へ送信する。
【００２７】
多様性ＵＲＬデータベース１２には、コンテンツの位置情報である多様性ＵＲＬが登録されると共に、この多様性ＵＲＬに関して、識別されるべき端末装置の種類、すなわち多様性ＵＲＬにて特定されるコンテンツ（またはサイト）に対応する端末装置の種類を特定するユーザエージェント情報と、このユーザエージェント情報にて特定される端末装置に個別に対応する代替ＵＲＬとが登録されている。
多様性ＵＲＬは、データ形式が文字列、サイズが可変長のデータである。
ユーザエージェント情報は、データ形式が文字列、サイズが可変長のデータであり、ＨＴＴＰリクエストのＵｓｅｒ−Ａｇｅｎｔ ＨＴＴＰヘッダに記述される値（Ｕｓｅｒ−Ａｇｅｎｔ値）である。
代替ＵＲＬは、データ形式が文字列、サイズが可変長のデータであり、ユーザエージェント情報にて特定される端末装置に個別に対応するコンテンツ（またはサイト）のＵＲＬである。
【００２８】
図７は、多様性ＵＲＬデータベース１２に登録される情報（登録値）の例を示す図である。
図７を参照すると、例えば多様性ＵＲＬ「ｗｗｗ．ｃｐ＿Ｘ．ｃｏｍ／ｐａｇｅ＿１．ｈｔｍｌ」は、デバイスＡ、デバイスＢという２つの端末装置に対応しており、これらのユーザエージェント情報に対応して、「ｗｗｗ．ｃｐ＿Ｘ．ｃｏｍ／ｐａｇｅ＿１．ｈｔｍｌ．ｆｏｒ．ｄｅｖｉｃｅ＿Ａ」と「ｗｗｗ．ｃｐ＿Ｘ．ｃｏｍ／ｐａｇｅ＿１．ｈｔｍｌ．ｆｏｒ．ｄｅｖｉｃｅ＿Ｂ」という２つの代替ＵＲＬが登録されている。
これらの情報は、予めサイト２１０あるいはその管理者から取得され登録される。新たに多様性ＵＲＬが設定されれば、当該多様性ＵＲＬに関する情報がサイト２１０あるいはその管理者から与えられ追加登録される。また、多様性ＵＲＬのサイト２１０において対応する端末装置の種類が増えたり変更されたりしたときは、新たなユーザエージェント情報が与えられて登録内容が更新される。
【００２９】
さらに、多様性ＵＲＬデータベース１２の制御手段は、リンク展開部１３、ＵＲＬ変換部１４、ユーザエージェント情報編集部１５によって利用されるためのアクセス関数として、リンク展開リスト取得関数、ＵＲＬ変換関数およびユーザエージェント情報取得関数を備える。
リンク展開リスト取得関数は、リンク展開部１３による参照の際に用いられる関数であり、オリジナルのＵＲＬを引数として渡すと、図７に示したようなテーブルからカラム値の一致するレコードを選択し、対応するユーザエージェント情報と代替ＵＲＬのリストを返す。
ＵＲＬ変換関数は、ＵＲＬ変換部１４による参照の際に用いられる関数であり、代替ＵＲＬを引数として渡すと、図７に示したようなテーブルからカラム値の一致するレコードを選択し、対応するオリジナルのＵＲＬ（多様性ＵＲＬ）を返す。
ユーザエージェント情報取得関数は、ユーザエージェント情報編集部１５による参照の際に用いられる関数であり、代替ＵＲＬを引数として渡すと、図７に示したようなテーブルからカラム値の一致するレコードを選択し、対応するユーザエージェント情報を返す。
【００３０】
リンク展開部１３は、サイト２１０から送られる応答を解析して、当該応答に含まれるリンクから多様性ＵＲＬを検出し、当該リンクを、対応するユーザエージェント（端末装置）ごとのリンク（以下、ダミーリンクと称す）に展開する。例えば、サイト２１０から応答として送られたウェブページに機種Ａ、Ｂという２種類の端末装置に対応した動的なコンテンツへのリンクがある場合を考える。この場合、当該リンクのリンク先であるＵＲＬを引数として、リンク展開リスト取得関数にて多様性ＵＲＬデータベース１２を検索する。そして、当該リンクのＵＲＬが多様性ＵＲＬであった場合（ヒットした場合）、当該多様性ＵＲＬデータベース１２に登録されている機種Ａ、Ｂのユーザエージェント情報と代替ＵＲＬとを読み出し、当該リンクのＵＲＬを各代替ＵＲＬに書き換える。これにより当該リンクがダミーリンクに置き換えられる。
【００３１】
図８は、リンク展開部１３の動作を説明するフローチャートである。
図８に示すように、送受信部１１にてサイト２１０からの応答が受信されると、リンク展開部１３は当該応答のヘッダ部及びボディ部を読み込んで、例えば図５に示したメインメモリ１０３の作業領域に格納する（ステップ８０１）。そして、読み込んだヘッダ部の情報のＣｏｎｔｅｎｔ−Ｔｙｐｅに基づいてボディ部のデータタイプがテキストかどうかを判断する（ステップ８０２）。
応答のボディ部のデータタイプがテキストであったならば、次にリンク展開部１３は、当該ボディ部（ウェブページ）に、リンク（ハイパーリンク）が存在するかどうかを調べる（ステップ８０３）。リンクの有無は、アンカータグ“＜ａ＞”やフォームタグ“＜ｆｏｒｍ＞”等のリンクを担うタグを検出することにより調べることができる。そして、リンクが存在するならば、当該リンクに対してダミーリンクへの展開処理を行う（ステップ８０４）。このリンク展開処理の詳細は後述する（図９）。
【００３２】
ボディ部に存在する全てのリンクに対してダミーリンクへの展開処理が終了した後、リンク展開部１３は、当該処理による編集結果に基づいて、上記のサイト２１０から受信した応答を書き換える（ステップ８０５、８０６）。そして、書き換えられた応答が、送受信部１１により検索ロボット３１０へ送信される。
ステップ８０２で応答のボディ部のデータタイプがテキストではないと判断された場合、及びステップ８０３でボディ部にリンクが存在しなかった場合は、送受信部１１にて受信された応答がそのまま送受信部１１により検索ロボット３１０へ送信される。
【００３３】
図９は、図８のステップ８０４のダミーリンクへの展開処理の詳細な内容を説明するフローチャートである。ステップ８０３で検出された各リンクに対して図９の処理が実行される。
リンク展開部１３は、まず、アンカータグ“＜ａ＞”やフォームタグ“＜ｆｏｒｍ＞”等のリンクを担うタグ中からリンク先のＵＲＬを切り出し、例えば図５に示したメインメモリ１０３の作業領域に格納する（ステップ９０１）。そして、切り出されたＵＲＬが多様性ＵＲＬデータベース１２に登録されているかどうかを調べる（ステップ９０２）。この処理には、上述したリンク展開リスト取得関数が使用される。
【００３４】
リンクから切り出されたＵＲＬが多様性ＵＲＬデータベース１２に登録されていた場合、リンク展開部１３は、当該ＵＲＬに対応する各ユーザエージェントのユーザエージェント情報及び代替ＵＲＬのリストを取得する（ステップ９０３）。そして、この代替ＵＲＬに基づき、ダミーＵＲＬを生成する（ステップ９０４）。ダミーＵＲＬとは、多様性ＵＲＬデータベース１２に登録されている対応ユーザエージェントの代替ＵＲＬに、当該ユーザエージェント固有の情報（画面表示サイズ、色調等）を加えたものである。したがって、ダミーＵＲＬには代替ＵＲＬが含まれるので、以下の説明では特に必要がある場合を除き、代替ＵＲＬを区別せずにダミーＵＲＬとして説明する。
代替ＵＲＬに付加されるこれらの情報は、通常、ユーザエージェントに個別に対応したコンテンツにおいて、拡張ヘッダを定義して記述されているので、この拡張ヘッダから読み出して取得することができる。なお、多様性ＵＲＬデータベース１２において、このユーザエージェント固有の情報を含めて代替ＵＲＬが定義され登録されていれば、多様性ＵＲＬデータベース１２から読み出された代替ＵＲＬがそのままダミーＵＲＬとなり、リンク展開部１３においてダミーＵＲＬを生成する必要はなくなる。
【００３５】
リンクから切り出されたＵＲＬ（以下、元ＵＲＬと称す）に対応する全てのユーザエージェントに関してダミーＵＲＬを生成した後、リンク展開部１３は、メインメモリ１０３の作業領域に格納されている元ＵＲＬを生成されたダミーＵＲＬ群で置き換えて、ダミーリンクへの展開処理を終了する（ステップ９０５、９０６）。この際、正常処理済みの戻り値がリターンコードにセットされて、メインの処理（図８）へ戻る。そして、上述したように、応答に記述されたリンク先のＵＲＬが、ダミーＵＲＬ群に書き換えられることとなる（ステップ８０６参照）。
一方、ステップ９０２の処理の結果、リンクから切り出されたＵＲＬが多様性ＵＲＬデータベース１２に登録されていなかった場合、リンクを展開する必要はないので、そのまま処理が終了する。この際、処理不要の戻り値がリターンコードにセットされて、メインの処理（図８）へ戻る。
【００３６】
以上のようにして、サイト２１０からの応答がユーザエージェントの種類に依存する多様性ＵＲＬへのリンクを含む場合、このリンクが、対応する個々のユーザエージェントごとのリンク（ダミーリンク）に展開される（すなわち、リンク先の元ＵＲＬ（多様性ＵＲＬ）がダミーＵＲＬ群に置き換えられる）。そして、先の応答が、この展開されたリンクを含む形で検索ロボット３１０へ送信されることとなる。
【００３７】
ＵＲＬ変換部１４は、検索ロボット３１０から送られる要求がリンク展開部１３にて置き換えられたダミーリンクに基づいて発行されたものである場合に、この要求の宛先（ダミーリンクのリンク先）を本来の宛先に戻す。具体的には、当該要求の宛先であるダミーＵＲＬ中の代替ＵＲＬを引数とし、ＵＲＬ変換関数にて多様性ＵＲＬデータベース１２を検索する。そして、多様性ＵＲＬデータベース１２に登録されている、当該代替ＵＲＬに対応するオリジナルのＵＲＬ（元ＵＲＬ）を読み出し、当該要求の宛先を読み出したＵＲＬに書き換える。
【００３８】
ユーザエージェント情報編集部１５は、検索ロボット３１０から送られる要求がリンク展開部１３にて置き換えられたダミーリンクに基づいて発行されたものである場合に、この要求のヘッダに記述されたユーザエージェント情報を、ダミーリンクが対応しているユーザエージェントのユーザエージェント情報に置き換える。具体的には、当該要求の宛先であるダミーＵＲＬ中の代替ＵＲＬを引数とし、ユーザエージェント情報取得関数にて多様性ＵＲＬデータベース１２を検索する。そして、多様性ＵＲＬデータベース１２に登録されている、当該代替ＵＲＬに対応するユーザエージェント情報を読み出し、Ｕｓｅｒ−Ａｇｅｎｔ ＨＴＴＰヘッダに書き込む。
【００３９】
図１０は、ＵＲＬ変換部１４及びユーザエージェント情報編集部１５による動作を説明するフローチャートである。
図１０に示すように、送受信部１１にて検索ロボット３１０からの要求が受信されると、ＵＲＬ変換部１４は当該要求のヘッダ部及びボディ部を読み込んで、例えば図５に示したメインメモリ１０３の作業領域に格納する（ステップ１００１）。このとき、当該要求のヘッダ部が切り出されて、さらにメインメモリ１０３の作業領域に格納される。そして、ＵＲＬ変換関数により、ヘッダ部の宛先のＵＲＬが多様性ＵＲＬデータベース１２に登録されているかどうかを調べる（ステップ１００２）。
当該ＵＲＬがリンク展開部１３にて展開されたダミーＵＲＬであれば、多様性ＵＲＬデータベース１２に登録されているので、対応する元ＵＲＬが返されることとなる。そこで、ＵＲＬ変換部１４は、メインメモリ１０３の作業領域に格納されている要求から切り出されたヘッダ部の宛先のＵＲＬを、多様性ＵＲＬデータベース１２から取得した元ＵＲＬに置き換える（ステップ１００３、１００４）。そして、ユーザエージェント情報編集部１５に処理を移行する。
【００４０】
ユーザエージェント情報編集部１５は、ユーザエージェント情報取得関数により、ダミーＵＲＬ（代替ＵＲＬ）に対応するユーザエージェント情報を取得する。そして、メインメモリ１０３の作業領域に格納されている要求から切り出されたヘッダに含まれるユーザエージェント情報（検索ロボット３１０がユーザエージェントであることを示す情報）を、多様性ＵＲＬデータベース１２から取得したユーザエージェント情報に置き換えて、ＵＲＬ変換部１４に処理を戻す（ステップ１００５）。
ＵＲＬ変換部１４は、以上のＵＲＬ変換処理およびユーザエージェント情報編集部１５によるユーザエージェント情報の編集処理の結果に基づいて、メインメモリ１０３の作業領域に格納されている、上記の検索ロボット３１０から受信した要求のヘッダ情報（宛先及びユーザエージェント情報）を書き換える（ステップ１００６）。そして、書き換えられた要求が、送受信部１１によりサイト２１０へ送信される。
【００４１】
以上のようにして、検索ロボット３１０からの要求が、多様性ＵＲＬが対応する各ユーザエージェントのそれぞれからの要求に見せ掛けて、サイト２１０へ送信される。これにより、サイト２１０から、各ユーザエージェントに個別に対応した応答が返され、検索サーバ３００に蓄積されることとなる。なお、ユーザエージェントに対応した応答をサイト２１０から受信して検索ロボット３１０に送信する際、変換プロキシ１０は、当該応答が対応しているユーザエージェントのユーザエージェント情報を、メタタグ“＜ｍｅｔａ＞”を用いて、“＜ｍｅｔａ ｎａｍｅ＝”ｋｅｙｗｏｒｄｓ” ｃｏｎｔｅｎｔ＝”ｄｅｖｉｎｆｏ＝機種Ａ”＞”、“＜ｍｅｔａ ｎａｍｅ＝”ｋｅｙｗｏｒｄｓ” ｃｏｎｔｅｎｔ＝”ｄｅｖｉｎｆｏ＝機種Ｂ”＞”のように当該応答に埋め込む。これにより、検索サーバ３００において、ユーザエージェントと当該応答とを関連付けて格納しておくことができる。なお、ユーザエージェントの種類に応じて異なる内容を返さない（多様性のない）コンテンツに関しては、例えば“＜ｍｅｔａ ｎａｍｅ＝”ｋｅｙｗｏｒｄｓ” ｃｏｎｔｅｎｔ＝”ｄｅｖｉｎｆｏ＝ＡＮＹ”＞”といった情報を埋め込んでおく。
【００４２】
次に、具体的な動作例を挙げて、本実施の形態による変換プロキシ１０の動作を説明する。
図１１は、本実施の形態で収集されるコンテンツの構成例を示す図である。
図１１に示すように、ｐａｇｅ＿１．ｈｔｍｌとｐａｇｅ＿２．ｈｔｍｌという２つのウェブページ（ＨＴＭＬファイル）からなるコンテンツを想定する。ｐａｇｅ＿１．ｈｔｍｌにはｐａｇｅ＿２．ｈｔｍｌへのリンクが張られており、ｐａｇｅ＿２．ｈｔｍｌは、機種Ａ、機種Ｂという２種類のユーザエージェントに対応して動的に生成されるウェブページである。
【００４３】
図１２は、図１１に示したコンテンツの情報が検索ロボット３１０にて収集される場合の処理及びデータの流れを説明する図である。
図１２に示すように、まず、検索ロボット３１０からサイト２１０へ、ｐａｇｅ＿１．ｈｔｍｌの取得要求（要求１）が発行されたものとする。この要求１は、変換プロキシ１０を経てサイト２１０に送られる。そして、サイト２１０から要求１に対する応答１が返される。応答１の内容はｐａｇｅ＿１．ｈｔｍｌである。
変換プロキシ１０は、このｐａｇｅ＿１．ｈｔｍｌを処理し、ｐａｇｅ＿２．ｈｔｍｌへのリンクがあり、このｐａｇｅ＿２．ｈｔｍｌがユーザエージェントの種類に依存するコンテンツである（すなわち、ｐａｇｅ＿２．ｈｔｍｌのＵＲＬは多様性ＵＲＬである）ため、リンク展開部１３によりリンク展開処理をおこなう。これにより、応答１は、機種Ａに対応するｐａｇｅ＿２．ｈｔｍｌへのリンク（ｐａｇｅ＿２＿ｆｏｒ＿Ａ．ｈｔｍｌ）及び機種Ｂに対応するｐａｇｅ＿２．ｈｔｍｌへのリンク（ｐａｇｅ＿２＿ｆｏｒ＿Ｂ．ｈｔｍｌ）を持つウェブページを内容とする応答１’に変換されて検索ロボット３１０へ送られる。
【００４４】
検索ロボット３１０は、受信した応答１’の内容であるウェブページにｐａｇｅ＿２＿ｆｏｒ＿Ａ．ｈｔｍｌ及びｐａｇｅ＿２＿ｆｏｒ＿Ｂ．ｈｔｍｌへの２つのリンクが張られているので、それぞれに対する取得要求を順次発行する。
まず、ｐａｇｅ＿２＿ｆｏｒ＿Ａ．ｈｔｍｌの取得要求（要求２）が発行されたものとする。変換プロキシ１０は、ＵＲＬ変換部１４及びユーザエージェント情報編集部１５により、要求２の宛先であるＵＲＬを元のＵＲＬに戻し、ＨＴＴＰヘッダのユーザエージェント値を、機種Ａを示すユーザエージェント値に変換する。これにより、要求２は、機種Ａから発行された要求に見せ掛けてサイト２１０へ送られる（要求２’）。サイト２１０は、この要求２’に応じて、機種Ａ用のコンテンツｐａｇｅ＿２．ｈｔｍｌを内容とする応答２’を返送する。
【００４５】
図１１に示す例では、ｐａｇｅ＿２．ｈｔｍｌには多様性ＵＲＬへのリンクが含まれていないので、変換プロキシ１０において、応答２’に対するリンク展開処理は行われず、上述したように、機種Ａに対応する応答であることを示すためのユーザエージェント情報がメタタグにて付加されて、応答２’は検索ロボット３１０へ送られる。
次に、検索ロボット３１０は、ｐａｇｅ＿２＿ｆｏｒ＿Ｂ．ｈｔｍｌの取得要求（要求３）を発行し、同様の処理を経て、機種Ｂに対応する応答３’が検索ロボット３１０に返される。
【００４６】
図１３は、サイト２１０から検索ロボット３１０への応答に対するリンク展開を行う場合の処理及びデータの流れを説明する図である。
図１３に示すように、まず、変換プロキシ１０の送受信部１１がサイト２１０から送信された応答を受信すると（１）、送受信部１１からリンク展開部１３へ受信通知が送られ（２）、リンク展開部１３が送受信部１１から当該応答を取得する（３）。そして、当該応答のボディ部のリンクを検索する（４）。得られたリンクは、例えば図５のメインメモリ１０３の作業領域に保持される。
リンク展開部１３は、当該応答のボディ部に存在するリンクのリンク先のＵＲＬ（元ＵＲＬ）を引数として多様性ＵＲＬデータベース１２を検索し、当該元ＵＲＬに対応するユーザエージェントごとの代替ＵＲＬを取得する（５）。そして、取得した代替ＵＲＬを含むダミーＵＲＬを生成し、メインメモリ１０３の作業領域に保持されている元ＵＲＬを取得した代替ＵＲＬに置き換えるリンク展開処理を行う（６）。このとき、当該応答のボディ部に、ユーザエージェントの種類に個別に対応する応答を返すコンテンツへのリンクが存在しない場合（ユーザエージェントの種類に関わらず画一的な応答を返すコンテンツへのリンクしか存在しない場合）、多様性ＵＲＬデータベース１２には該当するＵＲＬが登録されていないため、代替ＵＲＬは取得されず、リンク展開処理も行われない。
最後にリンク展開部１３は、応答のボディ部に記述されているＵＲＬ（元ＵＲＬ）を、メインメモリ１０３の作業領域上で置き換えられたダミーＵＲＬ群に書き換えて（７）、編集済みの応答を送受信部１１に返す（８）。そして、この編集済みの応答が送受信部１１から検索ロボット３１０へ送られる。
【００４７】
図１４は、検索ロボット３１０からサイト２１０への要求に対する処理及びデータの流れを説明する図である。
図１４に示すように、まず、変換プロキシ１０の送受信部１１が検索ロボット３１０から送信された要求を受信すると（１）、送受信部１１からＵＲＬ変換部１４へ受信通知が送られ（２）、ＵＲＬ変換部１４が送受信部１１から当該要求を取得する（３）。そして、当該要求の宛先のＵＲＬを引数として多様性ＵＲＬデータベース１２を検索する（４）。この宛先のＵＲＬが先のリンク展開処理で生成されたダミーＵＲＬであるならば、多様性ＵＲＬデータベース１２に代替ＵＲＬが登録されているので、これに対応する元ＵＲＬが返されることとなる。
多様性ＵＲＬデータベース１２から元ＵＲＬが返されたならば、メインメモリ１０３の作業領域上で宛先のＵＲＬが元ＵＲＬに変換される（５）。そして、ユーザエージェント情報編集部１５へ処理を移行する（６）。
ユーザエージェント情報編集部１５は、同じく当該要求の宛先のＵＲＬを引数として多様性ＵＲＬデータベース１２を検索する（７）。そして、対応するユーザエージェントのユーザエージェント情報を取得し、メインメモリ１０３の作業領域上で当該要求のヘッダ情報に含まれるユーザエージェント情報を、取得したユーザエージェント情報に変換する編集処理を行う（８）。
この後、ＵＲＬ変換部１４により、メインメモリ１０３の作業領域上で行われたＵＲＬの変換およびユーザエージェント情報の変換を、検索ロボット３１０から受信した要求のヘッダ部に反映させて（９）、処理済みの要求を送受信部１１へ返す（１０）。そして、この処理済みの要求が送受信部１１からサイト２１０へ送られる。
【００４８】
以上の動作を経て、検索ロボット３１０は、ユーザエージェントの種類に応じて異なる内容の応答を行うサイト２１０から対応する各ユーザエージェントの種類に応じた応答を取得することができる。検索ロボット３１０を備える検索サーバ（検索サイト）３００では、このようにして収集されたコンテンツから検索に用いられるインデックス情報を作成し、データベースに登録する。インデックス情報には、コンテンツの位置情報と対応するユーザエージェントの種類を示す情報、コンテンツ内のテキストなどの情報が含まれる。
【００４９】
図１５は、このような検索サーバ３００の構成を概略的に示す図である。
図１５に示すように、検索サーバ３００は、検索ロボット３１０と、情報検索のためのインデックス情報を格納するデータベース３２０と、データベース３２０を検索するサーチエンジン３３０とを備える。また特に図示しないが、ネットワークを介して端末装置（ユーザエージェント）からの検索要求を受け付け、サーチエンジン３３０による検索結果を返すための送受信手段を備えることは言うまでもない。データベース３２０は、上述したように、検索ロボット３１０にて収集したコンテンツから作成されたインデックス情報を格納している。本実施の形態では、変換プロキシ１０において、サイト２１０からの応答に対し、メタタグ“＜ｍｅｔａ＞”を用いてユーザエージェント情報を埋め込んでいるので、どのインデックス情報がどのユーザエージェントに対応するものかといった情報をインデックス情報に含めることができる。
【００５０】
図１６は、所定の端末装置（ユーザエージェント）から検索要求を受け付けた場合のサーチエンジン３３０の動作を説明するフローチャートである。
まず、所定の端末装置から検索サーバ３００へ検索要求が送信される。この検索要求のＨＴＴＰヘッダまたは拡張ヘッダには、検索ターム（キーワード）と自装置（ユーザエージェント）の種類を特定するユーザエージェント情報が記録されている。
図１６に示すように、端末装置からの検索要求が受信され読み込まれると（ステップ１６０１）、サーチエンジン３３０は、入力した検索要求における検索ターム（キーワード）とユーザエージェント情報とを切り出す（ステップ１６０２）。そして、これらの情報を制約条件として用いてコンテンツを絞り込み、データベース３２０の検索を行う（ステップ１６０３）。すなわち、メタタグのｋｅｙｗｏｒｄｓ情報に“ｄｅｖｉｎｆｏ＝ユーザエージェント情報”または“ｄｅｖｉｎｆｏ＝ＡＮＹ”という文字列が含まれているコンテンツに絞り込んで検索タームによる検索を行う。
【００５１】
次に、サーチエンジン３３０は、所定のフォーマットで検索結果を記述した応答ページを作成し（ステップ１６０４）、当該応答ページを、検索要求を行った端末装置へ返送する（ステップ１６０５）。
以上のようにして、端末装置は、自装置に適した検索結果を検索サーバ３００から得ることができる。この検索結果は、検索サーバ３００で検索可能なコンテンツのうち、当該端末装置に対応したコンテンツを絞り込んで検索した結果であるので、当該機種用に作成されるコンテンツの情報が適切に含まれている。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、検索ロボットによる情報収集の際に、端末装置の種類に応じて動的にコンテンツを生成して返すサイトに対して、当該サイトが対応する各機種別のコンテンツに関する情報を取得することが可能となる。
【図面の簡単な説明】
【図１】本発明によるロボット検索の概念を説明する図である。
【図２】本発明による変換プロキシが、検索ロボットと共に検索サーバに設けられる構成を示す図である。
【図３】本発明による変換プロキシが、ネットワーク上の所定のプロキシサーバに設けられる構成を示す図である。
【図４】本発明による変換プロキシが、サイトと共にコンテンツサーバに設けられる構成を示す図である。
【図５】本実施の形態における変換プロキシを設けるサーバを実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
【図６】本実施の形態による変換プロキシの機能構成を示すブロック図である。
【図７】本実施の形態の多様性ＵＲＬデータベースに登録される情報の例を示す図である。
【図８】本実施の形態のリンク展開部の動作を説明するフローチャートである。
【図９】図８のダミーリンクへの展開処理の詳細な内容を説明するフローチャートである。
【図１０】本実施の形態のＵＲＬ変換部及びユーザエージェント情報編集部による動作を説明するフローチャートである。
【図１１】本実施の形態で収集されるコンテンツの構成例を示す図である。
【図１２】図１１に示したコンテンツの情報が検索ロボットにて収集される場合の処理及びデータの流れを説明する図である。
【図１３】本実施の形態において、サイトから検索ロボットへの応答に対するリンク展開を行う場合の処理及びデータの流れを説明する図である。
【図１４】本実施の形態において、検索ロボットからサイトへの要求に対する処理及びデータの流れを説明する図である。
【図１５】検索サーバの構成を概略的に示す図である。
【図１６】所定の端末装置から検索要求を受け付けた場合のサーチエンジンの動作を説明するフローチャートである。
【図１７】ロボット型検索サイトの概略構成を説明する図である。
【符号の説明】
１０…変換プロキシ、１１…送受信部、１２…多様性ＵＲＬデータベース、１３…リンク展開部、１４…ＵＲＬ変換部、１５…ユーザエージェント情報編集部、２１０…サイト、３００…検索サーバ、３１０…検索ロボット、３２０…データベース、３３０…サーチエンジン

Claims (16)

1. ネットワーク上のサイトと当該サイトにアクセスして情報を収集する検索ロボットとの間で行われるデータ交換を中継する送受信部と、
   前記検索ロボットから前記サイトへの情報取得要求に対する当該サイトからの応答を前記送受信部が受信し、当該応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、当該リンクを展開し、当該リンク先のコンテンツが対応しているユーザエージェントの情報を取得するリンク展開部と、
   展開された前記リンクに基づいてなされた前記検索ロボットからの情報取得要求を前記送受信部が受信した場合に、当該情報取得要求に含まれるユーザエージェントの情報を、前記リンク先のコンテンツが対応している前記ユーザエージェントの情報に変換するユーザエージェント情報編集部と
   を備えることを特徴とするサーバ。
2. アクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツの位置情報と、当該コンテンツが対応している前記ユーザエージェントの情報とを対応付けて登録したデータベースをさらに備え、
   前記リンク展開部は、前記応答に含まれるリンクのリンク先の位置情報を引数として前記データベースを検索して前記ユーザエージェントの情報を取得し、
   前記ユーザエージェント情報編集部は、前記情報取得要求に含まれる前記ユーザエージェントの情報を前記データベースから得られる前記ユーザエージェントの情報に変換することを特徴とする請求項１に記載のサーバ。
3. 前記検索ロボットを備えるサーバと同一のサーバマシンに構築されたことを特徴とする請求項１に記載のサーバ。
4. 前記サイトを備えるサーバと同一のサーバマシンに構築されたことを特徴とする請求項１に記載のサーバ。
5. 前記検索ロボットを備えるサーバ及び前記サイトを備えるサーバとは別個のサーバマシンに構築されたことを特徴とする請求項１に記載のサーバ。
6. ネットワーク上のサイトにアクセスして情報を収集する検索ロボットとの間でデータ交換を行う第１の送受信手段と、
   前記第１の送受信手段にて受信された前記検索ロボットから前記サイトへの情報取得要求に含まれるユーザエージェント情報を、所定のユーザエージェントから発行された情報取得要求に見せ掛けるための他のユーザエージェント情報に変換する編集手段と、
   前記サイトとの間でデータ交換を行い、前記編集手段にて前記ユーザエージェント情報を変換された前記情報取得要求を宛先である前記サイトへ送信する第２の送受信手段と
   を備えることを特徴とするサーバ。
7. 前記第２の送受信手段にて受信した前記サイトから前記検索ロボットへの応答を解析する解析手段をさらに備え、
   前記編集手段は、前記解析手段の解析によって得られた情報に基づいて前記所定のユーザエージェントを特定し、前記情報取得要求のユーザエージェント情報を、特定された当該ユーザエージェントの前記ユーザエージェント情報に変換することを特徴とする請求項６に記載のサーバ。
8. 前記解析手段は、前記応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、当該リンクのリンク先情報を、リンク先の当該コンテンツが対応しているユーザエージェントを識別するための識別情報を含むダミー情報に置き換えて、前記第１の送受信手段に前記検索ロボットへ送信させ、
   前記編集手段は、前記ダミー情報を宛先として前記検索ロボットから発行された情報取得要求を前記第１の送受信手段が受信した場合に、当該ダミー情報を本来のリンク先情報に戻し、かつ当該情報取得要求に含まれるユーザエージェント情報を当該ダミー情報に含まれる前記識別情報にて特定されるユーザエージェントのユーザエージェント情報に変換することを特徴とする請求項７に記載のサーバ。
9. ネットワーク上のウェブサイトと当該ウェブサイトにアクセスして情報を収集する検索ロボットとの間で行われるデータ交換を中継する送受信部と、
   前記検索ロボットから前記ウェブサイトへの情報取得要求に対する当該ウェブサイトからの応答を前記送受信部が受信し、当該応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツである場合に、当該応答に含まれるリンクのリンク先のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ）を、当該ウェブコンテンツが対応している前記ユーザエージェントに個別に対応する代替ＵＲＬに置き換えるリンク展開部と、
   前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求を前記送受信部が受信した場合に、当該代替ＵＲＬを本来のリンク先のＵＲＬに置き換えるＵＲＬ変換部と、
   前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求を前記送受信部が受信した場合に、当該情報取得要求のＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ヘッダにおけるユーザエージェントの情報を、当該代替ＵＲＬに対応する前記ユーザエージェントの情報に変換するユーザエージェント情報編集部と
   を備えることを特徴とするサーバ。
10. アクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツのＵＲＬと、当該ウェブコンテンツが対応している前記ユーザエージェントの情報と、当該ユーザエージェントに個別に対応する代替ＵＲＬとを対応付けて登録したデータベースをさらに備え、
    前記リンク展開部は、前記検索ロボットから前記ウェブサイトへの情報取得要求に対する当該ウェブサイトからの応答に含まれるリンクのリンク先のＵＲＬを引数として前記データベースを検索して前記代替ＵＲＬを取得し、
    前記ＵＲＬ変換部は、前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求における当該代替ＵＲＬを引数として前記データベースを検索して本来のリンク先のＵＲＬを取得し、
    前記ユーザエージェント情報編集部は、前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求における当該代替ＵＲＬを引数として前記データベースを検索して対応する前記ユーザエージェントの情報を取得することを特徴とする請求項９に記載のサーバ。
11. ネットワークに接続されたコンピュータを用いて、当該ネットワーク上のサイトから情報を収集する情報収集方法であって、
    所定の前記サイトへの情報取得要求に対する当該サイトからの応答を受信し、受信した当該応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、当該リンクを展開し、当該リンク先のコンテンツが対応しているユーザエージェントの情報を取得する第１のステップと、
    前記ユーザエージェントの情報に基づいて、前記ユーザエージェントから発行された情報取得要求に見せ掛けるための情報が付加された情報取得要求を前記応答に含まれる前記リンクのリンク先へ送信する第２のステップと、
    前記リンク先から前記ユーザエージェントの種類に応じた応答を取得する第３のステップと
    を含むことを特徴とする情報収集方法。
12. 前記第１のステップでは、所定の記憶装置に格納され、アクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツの位置情報と、当該コンテンツが対応している前記ユーザエージェントの情報とを対応付けて登録したデータベースに対し、前記応答に含まれるリンクのリンク先の位置情報を引数として検索することにより、前記ユーザエージェントの情報を取得することを特徴とする請求項１１に記載の情報収集方法。
13. ネットワークに接続されたコンピュータを用いて、当該ネットワーク上のサイトから情報を収集する情報収集方法であって、
    所定の検索ロボットから所定の前記サイトへの情報取得要求に対する当該サイトからの応答を受信し、受信した当該応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツである場合に、当該応答に含まれるリンクのリンク先のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ）を、当該ウェブコンテンツが対応している前記ユーザエージェントに個別に対応する代替ＵＲＬに置き換え、当該応答の送信先である検索ロボットへ送信する第１のステップと、
    前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求を受信し、当該代替ＵＲＬを本来のリンク先のＵＲＬに置き換え、当該情報取得要求のＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ヘッダにおけるユーザエージェントの情報を、当該代替ＵＲＬに対応する前記ユーザエージェントの情報に変換し、当該リンク先に送信する第２のステップと、
    前記ユーザエージェントの情報を変換された前記情報取得要求に対する前記リンク先からの応答を受信し、当該応答に当該ユーザエージェントの識別情報を付加して前記検索ロボットに送信する第３のステップと
    を含むことを特徴とする情報収集方法。
14. ネットワークに接続されたコンピュータを制御して、所定の機能を実現するプログラムであって、
    前記ネットワーク上のサイトと当該サイトにアクセスして情報を収集する検索ロボットとの間で行われるデータ交換を中継する送受信手段と、
    前記検索ロボットから前記サイトへの情報取得要求に対する当該サイトからの応答を前記送受信手段にて受信し、当該応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すコンテンツである場合に、当該リンクを展開し、当該リンク先のコンテンツが対応しているユーザエージェントの情報を取得するリンク展開手段と、
    展開された前記リンクに基づいてなされた前記検索ロボットからの情報取得要求を前記送受信手段にて受信した場合に、当該情報取得要求に含まれるユーザエージェントの情報を、前記リンク先のコンテンツが対応している前記ユーザエージェントの情報に変換するユーザエージェント情報編集手段として、
    前記コンピュータを機能させることを特徴とするプログラム。
15. ネットワークに接続されたコンピュータを制御して、所定の機能を実現するプログラムであって、
    ネットワーク上のウェブサイトと当該ウェブサイトにアクセスして情報を収集する検索ロボットとの間で行われるデータ交換を中継する送受信手段と、
    前記検索ロボットから前記ウェブサイトへの情報取得要求に対する当該ウェブサイトからの応答を前記送受信手段にて受信し、当該応答に含まれるリンクのリンク先がアクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツである場合に、当該応答に含まれるリンクのリンク先のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ）を、当該ウェブコンテンツが対応している前記ユーザエージェントに個別に対応する代替ＵＲＬに置き換えるリンク展開手段と、
    前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求を前記送受信手段にて受信した場合に、当該代替ＵＲＬを本来のリンク先のＵＲＬに置き換えるＵＲＬ変換手段と、
    前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求を前記送受信手段にて受信した場合に、当該情報取得要求のＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ヘッダにおけるユーザエージェントの情報を、当該代替ＵＲＬに対応する前記ユーザエージェントの情報に変換するユーザエージェント情報編集手段として、
    前記コンピュータを機能させることを特徴とするプログラム。
16. 前記プログラムにて実現される前記リンク展開手段は、所定の記憶装置に格納され、アクセス元であるユーザエージェントの種類に応じて個別の応答を返すウェブコンテンツのＵＲＬと、当該ウェブコンテンツが対応している前記ユーザエージェントの情報と、当該ユーザエージェントに個別に対応する代替ＵＲＬとを対応付けて登録したデータベースに対し、前記検索ロボットから前記ウェブサイトへの情報取得要求に対する当該ウェブサイトからの応答に含まれるリンクのリンク先のＵＲＬを引数として検索を行って前記代替ＵＲＬを取得し、
    前記プログラムにて実現される前記ＵＲＬ変換手段は、前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求における当該代替ＵＲＬを引数として前記データベースを検索して本来のリンク先のＵＲＬを取得し、
    前記プログラムにて実現される前記ユーザエージェント情報編集手段は、前記代替ＵＲＬを宛先として前記検索ロボットから発行された情報取得要求における当該代替ＵＲＬを引数として前記データベースを検索して対応する前記ユーザエージェントの情報を取得することを特徴とする請求項１５に記載のプログラム。

Images