JP2017120607A - データスクレイピングシステム、方法及びコンピュータプログラム - Google Patents

Abstract

【課題】複数機関から情報を収集可能であり、多様なプラットフォームで動作可能であり、かつ多重のスクレイピング情報をセキュリティモジュールの制約事項なしに一つの装置で収集可能なデータスクレイピングシステムを提供する。
【解決手段】データスクレイピングシステム１は、管理モジュール１００とスクレイピングモジュール２００を備える。管理モジュール１００は、スクレイピングを必要とする照会または遂行を呼び出す情報収集プログラムを備え、内部スケジュールアルゴリズムにてスクレイピングモジュール２００にスクレイピングのためのユーザ情報と作業を割り当てる。スクレイピングモジュール２００は、管理モジュール１００によって割り当てられたユーザ情報と作業に基づいてインターネット網３０に接続することで、ウェブサービスプログラム４１をそれぞれ備えた第１〜第ｎの機関４０−１〜４０−ｎからのデータをスクレイピングする。
【選択図】図２

Description

実施例は、データスクレイピング（ｄａｔａ ｓｃｒａｐｐｉｎｇ）システム、方法及びコンピュータプログラムに係り、特に多様なプラットフォームにおける多重のスクレイピング情報をセキュリティーモジュールの制約事項なしに一つのシステムで処理する技術に関する。

一般に、スクリーン・スクレイピング（ｓｃｒｅｅｎ ｓｃｒａｐｉｎｇ）は、スクリーンに表示されるデータのうちの必要なものだけを取り出すソフトウェアであって、自動でシステムに接続し、データを画面に表示させた後、必要な資料のみを取り出す技術である。ウェブサイトにある情報を取り出して他のサイトやデータベースに格納するため、ウェブ・スクレイピング（ｗｅｂ ｓｃｒａｐｉｎｇ）ともいう。データを格納しておくため、必要に応じて随時に照会が可能であり、格納済みのデータを加工して比較・分析資料として活用することもできる。特に、インターネットバンキングを利用する際に必須のプログラムであって各金融機関で活発に運営中であり、ホテルや航空会社・レンタカー・ガソリンスタンドなどにおけるマイレージのような補償プログラム、電子メール統合照会、ニュース・チャット・天気などのユーザがクリックして情報を得ることができるところであれば、場所を問わず用いることができる。

スクリーン・スクレイピング技術は、アメリカなどでは１９９０年代末から普遍化され、韓国内では２０００年に設立されたフィンガー（Ｆｉｎｇｅｒ）社が当該技術を初めて開発し、金融サービスを開始して以来、金融機関を中心にして広く用いられてきている。現在代表的なものとしては、個人が持っている複数の金融機関の口座を統合して管理することができる個人金融資産統合管理ソフトウェア（ＰＦＭＳ：Ｐｅｒｓｏｎａｌ Ｆｉｎａｎｃｅ Ｍａｎａｇｅｍｅｎｔ Ｓｏｆｔｗａｒｅ）が挙げられる。一々各ウェブサイトを訪問する必要がないことから手間やコストを抑えることができるという長所があるが、プライバシーの侵害が憂慮され、サイトが更新される度にプログラミングを修正しなければならないという短所もある。

前記スクリーン・スクレイピング技術は、大別してクライアント（ｃｌｉｅｎｔ）方式とサーバ（ｓｅｒｖｅｒ）方式とに分けられ、口座統合サービスや個人資産管理、企業資産管理プログラムにおいてその活用度が高いが、エンドツーエンド（ｅｎｄ−ｔｏ−ｅｎｄ）政策を守らなければならない韓国内のセキュリティーポリシー上の理由から、サーバ方式よりはクライアント方式のスクリーン・スクレイピング技術が絶対優位を占めている。

図１は、従来のクライアント方式のスクリーン・スクレイピングを利用した口座統合サービスシステムの構成図である。
従来の口座統合サービスシステムは、図１に示したように、ユーザ１０が口座統合サービスプログラム２０にて第１〜第ｎの機関４０−１〜４０−ｎに登録されたウェブサービスプログラム４１にインターネット網３０を介して接続して、前記第１〜第ｎの機関４０−１〜４０−ｎの通信セキュリティーポリシーに従ってサービスを行う。このとき、前記スクリーン・スクレイピングは、前記口座統合サービスプログラム２０にて行われる。

従来のクライアント方式のスクリーン・スクレイピングを利用した口座統合サービスシステムは、図１のように、金融関連ウェブサービスのスクリーン・スクレイピングの際にサービスの安定性や技術的制約によって複数のスクリーン・スクレイピング作業を順次行い、結果を受ける構成である。これは、例えば、銀行口座の個数が多い場合、取引内訳照会スクレイピングをするときに深刻な性能低下の体感を余儀なくされるという問題点があった。

前記したような問題点を解決するために、複数のスクレイピングマシンによって並列的にスクリーン・スクレイピングを行う技術の開発が報告されたこともあった。しかし、この場合、金融機関から要求するセキュリティーポリシーを守るために、各スクレイピングマシンは、互いに別個のウィンドウズ（Ｗｉｎｄｏｗｓ）（登録商標）オペレーティングシステムベースのパーソナル・コンピュータで構成される必要があるため、多重の情報を収集するためには投入されなければならない装備の規模やコストが比例的に増大するという問題がある。また、ウィンドウズ（登録商標）オペレーティングシステムベースのＰＣ以外のリナックス（ＬＩＮＵＸ）（登録商標）やＯＳ Ｘベースのコンピュータ、またはｉＯＳとアンドロイド（ＡＮＤＲＯＩＤ）（登録商標）などのモバイルオペレーティングシステムベースのモバイルコンピュータ装置ではスクレイピングを利用するのが不可能であるという短所がある。

韓国登録特許公報第１０−０４９４９７５号

本発明の一側面によれば、金融関連目的機関に対してスクレイピング（ｓｃｒａｐｐｉｎｇ）を行うに当たって、複数の機関から情報を収集することができるとともに、多様なプラットフォームで動作可能であり、且つ多重のスクレイピング情報をセキュリティーモジュールの制約事項なしに一つの装置で収集することができるデータスクレイピング（ｄａｔａ ｓｃｒａｐｐｉｎｇ）システム、方法及びコンピュータプログラムを提供することができる。

一実施例に係るデータスクレイピング（ｓｃｒａｐｐｉｎｇ）システムは、スクレイピングを必要とする照会または遂行を呼び出すサービスプログラムを備え、スクレイピングのためのユーザ情報を受信し、内部スケジュールアルゴリズムを用いてユーザ情報と作業を割り当てる管理モジュール；及び前記管理モジュールによって割り当てられたユーザ情報と作業に基づき、互いに相違する複数の機関に通信可能に接続されて、前記複数の機関から呼び出された照会または遂行に対応するデータをスクレイピングするように構成されたスクレイピングモジュールを含む。

一実施例において、前記スクレイピングモジュールは、スクレイピングするデータ項目を指定するメタデータベース（ｍｅｔａ ｄａｔａｂａｓｅ）を含み、前記機関が提供するデータセットから前記メタデータベースに基づいてスクレイピングするデータを抽出するように構成される。

一実施例において、前記スクレイピングモジュールは、呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数の機関から要求する認証方式に関する情報を含み、前記ユーザ情報が前記認証方式にて処理された認証値を前記機関に送るように構成される。

一実施例において、前記管理モジュールは、更に、呼び出された照会または遂行に対応するデータをユーザ装置に提供するように構成される。このとき、前記ユーザ装置はモバイルコンピュータ装置を含んでいてよい。

一実施例に係るデータスクレイピングシステムを利用したデータスクレイピング方法は、ユーザ装置から、ユーザによって呼び出された照会または遂行の情報及びユーザ情報を含む、スクレイピングに必要な情報を受信する段階；スクレイピングするデータ項目の情報をメタデータベースに格納する段階；内部スケジュールアルゴリズムを用いてスクレイピングモジュールにユーザ情報と作業を割り当てる段階；及び前記スクレイピングモジュールが、割り当てられた前記ユーザ情報と作業に基づいて、互いに相違する複数の機関と通信することで前記複数の機関から呼び出された照会または遂行に対応するデータをスクレイピングする段階と；を含む。

一実施例において、前記データをスクレイピングする段階は、前記機関が提供するデータセットから前記メタデータベースに基づいてスクレイピングするデータを抽出する段階を含む。

一実施例において、前記スクレイピングモジュールは、呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数の機関から要求する認証方式に関する情報を含む。このとき、前記データをスクレイピングする段階は、更に、前記スクレイピングするデータを抽出する段階の前に、前記ユーザ情報が前記認証方式にて処理された認証値を前記機関に送る段階を含む。

一実施例に係るデータスクレイピング方法は、前記データをスクレイピングする段階の後に、更に、呼び出された照会または遂行に対応するデータをユーザ装置に提供する段階を含む。このとき、前記ユーザ装置はモバイルコンピュータ装置を含んでよい。

一実施例に係るコンピュータプログラムは、ハードウェアと結合され、上述した実施例によるデータスクレイピング方法を実行するためのものであって、コンピュータで読み取り可能な媒体に格納されていてよい。

本発明の一側面に係るデータスクレイピング（ｄａｔａ ｓｃｒａｐｐｉｎｇ）システム、方法及びコンピュータプログラムによれば、ユーザが所望する収集情報が記録されたメタデータベース（ｍｅｔａ ｄａｔａｂａｓｅ）に基づいてスクレイピング情報を抽出して収集することができ、銀行、証券会社、クレジットカード社などの金融機関、公共機関、または実物情報を提供する機関などから当該機関などで要求する認証方式に従って処理されたユーザ情報の認証値を機関に伝達して、目的とするデータ、例えば、口座残額、口座取引内訳、カード承認内訳、カード請求内訳、カード限度、証券残高、保険加入内訳などのような金融情報、または国税庁所得証拠、事業者登録証明、事業者休廃業情報、納税事実証明、付加価値税課税標準証明、標準財務諸表証明、健保資格確認書、健保資格得失確認書、職場保険料個人別照会内訳、国民年金納付内訳、民願（請願）２４の身分証真偽情報などのような公共情報などをスクレイピングすることができる。

本発明の一側面に係るデータスクレイピングシステム、方法及びコンピュータプログラムによれば、ウィンドウズ（Ｗｉｎｄｏｗｓ）（登録商標）オペレーティングシステムベースのパーソナル・コンピュータの他、ＬＩＮＵＸ（登録商標）やＯＳ Ｘベースのコンピュータ、またはｉＯＳとアンドロイド（ＡＮＤＲＯＩＤ）（登録商標）などモバイルオペレーティングシステムベースのモバイルコンピュータ装置などの多様なプラットフォームでデータスクレイピングが動作可能となり、多重のスクレイピング情報をセキュリティーモジュールの制約事項なしに一つの装置で収集することができる。

図１は、従来のクライアント方式のスクリーン・スクレイピングを利用した口座統合サービスシステムの構成図である。 図２は、一実施例に係るデータスクレイピングシステムの構成を示すブロック図である。 図３は、図２に示された管理モジュール及びスクレイピングモジュールの詳細構成を示すブロック図である。 図４は、図３に示されたスクレイピングモジュールのハードウェア諸元を示すブロック図である。 図５は、一実施例に係るデータスクレイピング方法の各段階を示すフロー図である。 図６は、図５に示された実施例のより具体的な形態を示すフロー図である。

以下、図面を参照して本発明の実施例について詳しく説明する。
図２は、一実施例に係るデータスクレイピング（ｄａｔａ ｓｃｒａｐｐｉｎｇ）システムの構成を示すブロック図である。

図２を参照すると、本実施例に係るデータスクレイピングシステム１は、管理モジュール１００及びスクレイピングモジュール２００を含む。実施例に係るデータスクレイピングシステム１は、全てがハードウェアで構成されていてよく、または一部はハードウェアで一部はソフトウェアで構成されていてもよい。例えば、データスクレイピングシステム１を構成する管理モジュール１００とスクレイピングモジュール２００、及びこれに含まれた各部は、特定の形式及び内容のデータを電子通信方式にてやり取りするための装置及びこれに係るソフトウェアを通称することがある。本明細書における「部（ｕｎｉｔ）」、「モジュール（ｍｏｄｕｌｅ）」、「サーバ」、「システム」、「プラットフォーム」、「装置」または「端末」などの用語は、ハードウェア及び当該ハードウェアによって駆動されるソフトウェアの組み合わせを指すことが意図される。例えば、ここでハードウェアとは、ＣＰＵまたは他のプロセッサを含むデータ処理機器であってよい。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、オブジェクト、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド、プログラムなどを指すものであってよい。

データスクレイピングシステム１は、ユーザ装置１０と通信をしながら、ユーザ装置１０からスクレイピングを必要とする照会または遂行に対する呼び出し命令、及び認証のために必要なユーザ情報などを受信するように構成される。ユーザ装置１０は、ウィンドウズ（Ｗｉｎｄｏｗｓ）（登録商標）オペレーティングシステムベースのパーソナル・コンピュータ（ＰＣ）であってよいが、必ずしもこれに限定されず、リナックス（ＬＩＮＵＸ）（登録商標）やＯＳ Ｘベースのコンピュータ、ｉＯＳとアンドロイド（ＡＮＤＲＯＩＤ）（登録商標）などのモバイルＯＳをベースとしたスマートフォンなどのモバイルコンピュータ装置、ノート型コンピュータ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、タブレット（ｔａｂｌｅｔ）、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｔｅｌｅｖｉｓｉｏｎ）などのためのセットトップボックス（ｓｅｔ−ｔｏｐ ｂｏｘ）、または他の任意の装置であってもよい。

また、データスクレイピングシステム１は、第１〜第ｎの機関４０−１〜４０−ｎに登録されたウェブサービスプログラム４１にインターネット網３０を介して接続して、前記第１〜第ｎの機関４０−１〜４０−ｎからデータをスクレイピングするように構成される。インターネット網３０を介しての通信方法は、オブジェクトとオブジェクトとがネットワーキングできるあらゆる通信方法を含むものであってよく、有線通信、無線通信、３Ｇ、４Ｇ、あるいはそれ以外の方法に制限されない。例えば、インターネット網３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ（登録商標） Ｅｎｖｉｒｏｎｍｅｎｔ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＴＤＭＡ（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ブルートゥース（ＢＬＵＥＴＯＯＴＨ）（登録商標）、ジグビー（ＺＩＧＢＥＥ）（登録商標）、Ｗｉ−Ｆｉ、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、ＬＴＥ Ａｄｖａｎｃｅｄ、ＩＥＥＥ ８０２．１６ｍ、ＷｉｒｅｌｅｓｓＭＡＮ−Ａｄｖａｎｃｅｄ、ＨＳＰＡ＋、３ＧＰＰ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、Ｍｏｂｉｌｅ ＷｉＭＡＸ（ＩＥＥＥ ８０２．１６ｅ）、ＵＭＢ（ｆｏｒｍｅｒｌｙ ＥＶ−ＤＯ Ｒｅｖ．Ｃ）、Ｆｌａｓｈ−ＯＦＤＭ、ｉＢｕｒｓｔ ａｎｄ ＭＢＷＡ（ＩＥＥＥ ８０２．２０）ｓｙｓｔｅｍｓ、ＨＩＰＥＲＭＡＮ、Ｂｅａｍ−Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ（ＢＤＭＡ）、Ｗｉ−ＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、及び超音波活用通信からなる群から選択される一つ以上の通信方法による通信ネットワークを指すものであってよいが、これらに限定されるものではない。

本実施例に係るデータスクレイピングシステム１は、図２に示したように、スクレイピングを必要とする照会または遂行を呼び出す情報収集プログラムを備え、内部スケジュールアルゴリズムにてスクレイピングモジュール２００にスクレイピングのためのユーザ情報と作業を割り当てる管理モジュール１００と、管理モジュール１００によって割り当てられたユーザ情報と作業に基づいてインターネット網３０に接続することで、インターネット網３０に接続されウェブサービスプログラム４１をそれぞれ備えた第１〜第ｎの機関４０−１〜４０−ｎからデータをスクレイピングするスクレイピングモジュール２００と、を含む。

第１〜第ｎの機関４０−１〜４０−ｎは、本実施例に係るデータスクレイピングシステム１による情報収集の対象になる団体で運用するシステムを指し、銀行、証券会社、クレジットカード社などの金融機関や、公共機関、または実物情報を提供する他の任意の機関であってよく、特定の団体に限定されない。また、本実施例に係るデータスクレイピングシステム１による情報収集が可能な機関の数は複数である。

スクレイピングモジュール２００は、これにより接続される機関に応じて第１〜第ｎのデータスクレイピング情報収集部２００−１〜２００−ｎに機能的に分けられる。すなわち、第１〜第ｎのデータスクレイピング情報収集部２００−１〜２００−ｎは、それぞれ第１〜第ｎの機関４０−１〜４０−ｎからデータをスクレイピングすることができる。第１〜第ｎのデータスクレイピング情報収集部２００−１〜２００−ｎのそれぞれは、スクレイピングモジュール２００によって運用される仮想マシン（ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）上で動作することができるが、これに限定されるものではなく、一つのＯＳを用いて運用されるスクレイピングモジュール２００が、第１〜第ｎの機関４０−１〜４０−ｎからデータをスクレイピングするように構成することも可能である。

本実施例において、スクレイピングモジュール２００は、スクレイピングするデータ項目を指定するメタデータベース（ｍｅｔａ ｄａｔａｂａｓｅ）を含み、第１〜第ｎの機関４０−１〜４０−ｎがそれぞれ提供するデータセット（ｄａｔａ ｓｅｔ）からメタデータベースに基づいてスクレイピングする項目にあたるデータを抽出するように構成される。また、スクレイピングモジュール２００は、呼び出された照会または遂行に対応するデータをスクレイピングするために、第１〜第ｎの機関４０−１〜４０−ｎがそれぞれ要求する認証方式に係る情報を格納しており、データスクレイピングのためにユーザ情報が対応付けられた認証方式（例えば、非対称暗号化など）にて処理された認証値を第１〜第ｎの機関４０−１〜４０−ｎに伝送し、第１〜第ｎの機関４０−１〜４０−ｎからデータを受信するように構成される。

ユーザは、ユーザ装置１０を介してデータスクレイピングシステム１に接続することで情報収集プログラム１１０を用いるようになり、データスクレイピングシステム１内部におけるスクレイピング作業は、データを対象機関の種類に応じて前記第１〜第ｎのデータスクレイピング情報収集部２００−１〜２００−ｎに分散して行われる。しかし、スクレイピング情報収集部２００−１〜２００−ｎは、一つのハードウェア装置を用いて実現されるスクレイピングモジュール２００を単に機能的に区分したものであって、本実施例に係るスクレイピングモジュール２００は、従来のように分散処理のために複数のウィンドウズ（Ｗｉｎｄｏｗｓ）（登録商標）ＯＳ基盤のＰＣを必要としない。情報収集プログラム１１０とスクレイピングモジュール２００との間の区間では公開キー基盤構造（Ｐｕｂｌｉｃ Ｋｅｙ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ；ＰＫＩ）のシステム認証にてプログラムとスクレイピングモジュールを認証し、ユーザ情報及び結果はＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）にて通信をする。

前記情報収集プログラム１１０とスクレイピングモジュール２００との間の認証及び通信区間を介してスクレイピングモジュール２００に受け渡されたスクレイピングのためのユーザ情報は、前記スクレイピングモジュール２００で各機関４０−１〜４０−ｎの通信セキュリティーポリシーに合わせて処理される。スクレイピングモジュール２００では、各機関４０−１〜４０−ｎの通信セキュリティーポリシーに応じた方式にてユーザ情報を処理し、処理結果にあたる認証値を各機関４０−１〜４０−ｎに伝送してデータをスクレイピングする。例えば、スクレイピングするデータは、口座残額、口座取引内訳、カード承認内訳、カード請求内訳、カード限度、証券残高、保険加入内訳などのような金融情報、または国税庁所得証拠、事業者登録証明、事業者休廃業情報、納税事実証明、付加価値税課税標準証明、標準財務諸表証明、健保資格確認書、健保資格得失確認書、職場保険料個人別照会内訳、国民年金納付内訳、民願（請願）２４身分証真偽情報などのような公共情報であってよいが、これらに限定されるものではない。スクレイピング結果は、スクレイピングモジュール２００と前記認証及び通信区間を介して前記情報収集プログラム１１０で集められていてよい。

図３は、図２に示された管理モジュール及びスクレイピングモジュールの詳細構成を示すブロック図である。
図３に示したように、一実施例に係るデータスクレイピングシステムの管理モジュール１００は、情報収集プログラム１１２、アップデータ部１２０、作業割り当てスケジューラー１３０、認証書分配部１４０、スクレイピングエンジン管理部１５０を含む。また、一実施例に係るスクレイピングモジュール２００は、認証管理部２１０、スクレイピング作業管理部２２０、スクレイピング作業モニター２３０、監査用資料管理部２４０、スクレイピングエンジン部２５０、スクレイピング環境管理部２６０、データベース（ｄａｔａｂａｓｅ；ＤＢ）ファイル部２７０、及びメタＤＢ２８０を含む。

情報収集プログラム１１０は、ユーザ装置１０によって接続して用いられることでスクレイピングを必要とする照会または遂行が呼び出され、また認証のためのユーザ情報が入力できるプログラムである。例えば、情報収集プログラムは、銀行口座残額及び／または取引内訳が照会できる残額取引内訳照会業務用プログラム、口座間振込みが遂行できる集金業務用プログラムなどであってよいが、これらに限定されるものではない。また、情報収集プログラムは、ユーザが一つのプログラムにて多数の機関に分散された口座に係る照会などを行うことができる口座統合サービスのために構成されたものであってもよい。

前記アップデータ部１２０は、管理モジュール１００及びスクレイピングモジュール２００のプログラムやライブラリ、認証書を更新し同期するための前処理作業やファイル送受信を担当する。

前記作業割り当てスケジューラー１３０は、前記情報収集プログラム１１２から受け渡された、内部スケジュールアルゴリズムにてスクレイピングモジュール２００にスクレイピングのためのユーザ情報と作業を割り当てる役割をする。割り当てられるユーザ情報と作業は、スクレイピング収集情報全文の形態でスクレイピングモジュール２００に伝送されてよい。

前記認証書分配機能部１４０は、前記スクレイピングモジュール２００にインストールされた認証書とユーザ装置１０にインストールされた認証書とが同じものであるか否かを照合し、ユーザ装置１０の認証書を基準にしてアップデートして同期作業を行う。

前記スクレイピングマシン管理部１５０は、スクレイピングモジュール２００とデータスクレイピング情報収集部を具現するためのその内部のスクレイピングエンジンの電源のオン（ＯＮ）／オフ（ＯＦＦ）状態、前記スクレイピングモジュール２００及び／またはその内部の仮想マシンにインストールされたＯＳのバージョン情報、現在ユーザの入力を待っているか否かのこと、ＣＰＵ、メインメモリ（Ｍａｉｎ Ｍｅｍｏｒｙ）、ＵＳＢホストコントローラ（Ｈｏｓｔ Ｃｏｎｔｒｏｌｌｅｒ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ネットワークインターフェースカード（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）の占有率、空き空間、使用状態、ネットワーク占有状態などを照会する役割をする。

また、前記スクレイピングモジュール２００の認証管理部２１０は、前記管理モジュール１００の作業割り当てスケジューラー１３０から要請があった場合、前記スクレイピングモジュール２００と前記作業割り当てスケジューラー１３０とが互いに認証されたプログラムであるか否かを確認する。

前記スクレイピング作業管理部２２０は、前記作業割り当てスケジューラー１３０から送られたスクレイピングのためのユーザ情報を前記スクレイピングエンジン部２５０にＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）呼び出しやＯＬＥ（Ｏｂｊｅｃｔ Ｌｉｎｋｉｎｇ ａｎｄ Ｅｍｂｅｄｄｉｎｇ）プロトコルを介して転送し、その結果を前記作業割り当てスケジューラー（１３０）にソケットやＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）通信にて伝送する。

前記スクレイピング作業モニター２３０は、前記スクレイピング作業管理部２２０を最新バージョンにアップデートしたり、前記スクレイピング作業管理部２２０が異常な作業をするかまたはエラーによる問題発生の際にプロセスを中止させ、前記スクレイピング作業管理部２２０を再実行したりする。そして、前記スクレイピング作業管理部２２０が前記スクレイピングエンジン部２５０を呼び出して作動する際に発生し得る例外の場合、例えば、セキュリティーモジュールなどのスクレイピング作業に必要なプログラムのインストールや更新に関するユーザ入力を、前記スクレイピング作業管理部２２０に代えて、前記スクレイピング環境管理部２６０を介して処理する。

前記監査用資料管理部２４０は、前記スクレイピング作業管理部２２０とスクレイピング作業モニター２３０の使用に際するサービスの誤作動、遂行時間、遂行作業の簡略な内容、最適化用情報、スクレイピング作業の権限情報などを格納し管理する。

前記ＤＢファイル部２７０は、前記認証管理部２１０、前記スクレイピング作業管理部２２０、スクレイピング作業モニター２３０、スクレイピング環境管理部２６０、監査用資料管理部２４０のログをＡＰＩ呼び出しやＯＬＥプロトコルを用いて格納する役割をする。

前記メタＤＢ２８０は、ユーザ所望の収集する情報、例えば、収集する対象及びスクレイピング項目を格納する役割をする。例えば、ユーザが口座の振込み内訳に関する照会を所望する場合、振込み内訳を指示するコードまたは符号などがスクレイピングするデータ項目としてメタＤＢ２８０に格納されていてよい。

前記スクレイピングエンジン部２５０は、前記スクレイピング作業管理部２２０からの情報を用いてインターネット網３０を介して機関からデータをスクレイピングする。このとき、スクレイピングエンジン部２５０は、メタＤＢ２８０のスクレイピングするデータ項目に基づいてスクレイピング情報を収集する。このために、スクレイピングエンジン部２５０は、それぞれの機関が提供するデータセットからデータ項目を抽出するための識別情報を含む。例えば、識別情報は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）またはＪＳＯＮ（ＪＡＶＡ（登録商標） Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）などのプロトコルにて受信できるデータセットから特定のデータ項目が位置する部分を割り出すことができる情報であってよい。

前記スクレイピングエンジン部２５０は、従来のようにスクリーン全体のデータをスクレイピングする代わりに、メタＤＢ２８０に格納されているスクレイピングするデータ項目を用いてデータセットから選別的にデータをスクレイピングする。選別的に収集されたスクレイピング情報はメタＤＢ２８０のスクレイピング項目との照合による確認過程の後、スクレイピング作業管理部２２０を介して作業割り当てスケジューラー１３０に転送され、ユーザに提供されていてよい。

一実施例において、前記スクレイピング環境管理部２６０は、スクレイピングに要求されるユーザ認証のために、ユーザ情報をそれぞれの機関から要求する通信セキュリティーポリシーに従って処理し、スクレイピングエンジン部２５０に送る。このために、前記スクレイピング環境管理部２６０は、機関毎に認証方式に関する情報を格納しており、格納されている認証方式に応じてユーザ情報を処理した後、認証値をスクレイピングエンジン部２５０に送る。ユーザ情報に関する処理とは、認証書情報及び電子署名を機関から要求するセキュリティーポリシーに従って暗号化するなどの過程を意味していてよい。前記スクレイピングエンジン部２５０では、認証値を機関に送り、機関が提供するデータセットを受信することができる。

図４は、図３に示されたスクレイピングモジュールのハードウェア諸元を示すブロック図である。
従来は、機関で用いるセキュリティーモジュールや通信政策に従って、一つのウィンドウズ（Ｗｉｎｄｏｗｓ）（登録商標）ＯＳベースのＰＣで１回のサービスを行う形態で口座統合サービスのためのスクレイピングが行われた。一方、本実施例におけるスクレイピングモジュールは、一台のコンピューティング装置を利用してスクレイピングエンジンが具現され、複数の機関から多重のスクレイピング情報を具現するという点において従来の技術とは差異がある。

具体的には、スクレイピングモジュール２００は、ＣＰＵ３１０、メインメモリ３２０、ＵＳＢホストコントローラ３３０、ハードディスクドライブ３４０、及びネットワークインターフェースカード３５０を含むハードウェア、及びそれぞれのハードウェアコンポネントに対するデバイスドライバー（Ｄｅｖｉｃｅ Ｄｒｉｖｅｒ）とＣＭＯＳ ＢＩＯＳなどを含むソフトウェアを用いて実行されるデータスクレイピングエンジンの形態で具現されるものであってよい。

図５は、一実施例に係るデータスクレイピング方法の各段階を示すフロー図である。本実施例に係るデータスクレイピング方法は、本発明の実施例に係るデータスクレイピングシステムを用いて行われていてよい。

図５を参照すると、先ず、ユーザによって呼び出された照会または遂行の情報及びユーザ情報を含む、スクレイピングに必要な情報を受信することができる（Ｓ１１）。次いで、スクレイピングするデータ項目の情報をメタＤＢに格納することができる（Ｓ１２）。次いで、内部スケジュールアルゴリズムを用いてスクレイピングエンジンにユーザ情報と作業を割り当てることができる（Ｓ１３）。例えば、割り当てるユーザ情報と作業は、スクレイピング収集情報全文の形態でスクレイピングエンジンに送られていてよい。

ユーザ情報と作業が割り当てられたスクレイピングエンジンでは、ユーザ情報が機関のセキュリティーポリシーに従って処理された認証値を機関に送り（Ｓ１４）、機関と通信することでユーザによって呼び出された照会または遂行に対応するデータをスクレイピングすることができる（Ｓ１５）。認証値は、スクレイピングする情報に係る機関のセキュリティーポリシーに従って認証書及び電子署名を暗号化した値であってよく、または単にユーザのＩＤやパスワードなどのユーザ情報であってもよい。

本実施例において、スクレイピングエンジンは、機関が提供するデータセットからメタＤＢのスクレイピング項目に基づいてデータを抽出することができる（Ｓ１６）。抽出されたスクレイピングデータは、情報収集プログラムによって集められてユーザに提供される。

図６は、図５に示された実施例のより具体的な形態を示すフロー図である。
図３及び図６を参照すると、先ず、スクレイピングモジュール２００では、前記作業割り当てスケジューラー３０２からスクレイピングに必要な情報を受信し、スクレイピングエンジン情報の読み出しを行う（Ｓ１００）。これは、スクレイピングモジュールに格納されている認証書のバージョン、スクレイピングモジュールの誤作動の有無、遂行時間、遂行作業の簡略な内容、最適化用情報、スクレイピング作業の権限情報などを確認する過程を含んでいてよい。

次いで、スクレイピングモジュール２００は、作業割り当てスケジューラー３０２から受信した情報に基づいてスクレイピングする項目を決定し、これをメタＤＢ２８０に格納することができる（Ｓ１１０）。スクレイピングする項目が決定されると、スクレイピングモジュール２００では、これに基づいて機関にスクレイピングを要請する（Ｓ１２０）。

スクレイピングのための具体的な過程として、先ず、スクレイピングモジュール２００は、スクレイピング作業モニター２３０のバージョン確認の有無を判断し、バージョンを確認した場合は（段階Ｓ１３０で「ＹＥＳ」）、次の段階（Ｓ１４０）に移り、バージョンを確認していない場合（段階Ｓ１３０で「ＮＯ」）、前記スクレイピング作業モニター２３０のバージョンを同期（段階Ｓ１３２）した後、次の段階（Ｓ１４０）に移る。

次いで、スクレイピングモジュール２００は、前記スクレイピング作業管理部２２０のバージョン確認の有無を判断し、バージョンを確認した場合（段階Ｓ１４０で「ＹＥＳ」）、次の段階（Ｓ１５０）に移り、バージョンを確認していない場合（段階Ｓ１４０で「ＮＯ」）、前記スクレイピング作業管理部２２０のバージョンを同期（段階Ｓ１４２）した後、次の段階（Ｓ１５０）に移る。

次いで、前記スクレイピングモジュール２００内の認証書バージョン確認の有無を判断し、バージョンを確認した場合（段階Ｓ１５０の「ＹＥＳ」）、次の段階（Ｓ１６０）に移り、バージョンを確認していない場合（段階Ｓ１５０の「ＮＯ」）、認証書のバージョンを同期（段階Ｓ１５２）した後、次の段階（Ｓ１６０）に移る。

前記段階（Ｓ１６０）では、要請されたデータスクレイピングのために機関のセキュリティーポリシーに従って要求されるスクレイピングエンジンの認証方法を確認する（Ｓ１６０）。認証方法は、機関毎に異なっていてよく、また一つの機関でもスクレイピングするデータ項目に応じて認証方法が異なっていてもよい。例えば、残額及び入出金内訳照会に関しては認証書を要求せずにユーザＩＤ及びパスワードの入力のみによって機関からデータセットの提供を受けることができる一方、取引内訳や有効期間などの照会のためには電子署名による認証書の認証が必要になることがある。

前記段階（Ｓ１６０）で確認された認証方式に従って、認証書の認証が必要な場合、スクレイピングモジュール２００は、ユーザ情報として認証書及び電子署名を入力し（Ｓ１７０）、これを機関が要求するセキュリティーポリシーに従って処理するか（Ｓ１８０）、または、ユーザ情報としてＩＤ及びパスワードなどを入力することで（Ｓ１９０）、スクレイピング対象情報を収集する（Ｓ２００）。このとき、スクレイピングモジュール２００は、メタＤＢ２８０を参照してスクレイピングされたデータがメタＤＢ２８０のスクレイピング項目と一致するか否かを確認し（Ｓ２１０）、一致している場合、スクレイピング結果を集め、集められた情報をユーザに返し戻すようになる（Ｓ２２０）。

以上で説明した実施例に係るデータスクレイピング方法によれば、ユーザが所望する収集情報が記録されたメタＤＢに基づいてスクレイピング情報を抽出して収集することができ、且つ、金融機関などから要求する認証方式に従って処理されたユーザ情報の認証値を機関に送って、目的とするデータをスクレイピングすることができる。その結果、ウィンドウズ（Ｗｉｎｄｏｗｓ）（登録商標）ＯＳベースのＰＣの他、ＬＩＮＵＸ（登録商標）やＯＳ Ｘベースのコンピュータ、またはｉＯＳとアンドロイドなどのモバイルＯＳベースのモバイルコンピュータ装置などの様々なプラットフォームでデータスクレイピングが動作でき、且つ、多重のスクレイピング情報をセキュリティーモジュールの制約事項なしに一つの装置で収集することができるという利点がある。

また、以上で説明した実施例に係るデータスクレイピング方法は、少なくとも部分的にコンピュータプログラムで実現され、コンピュータで読み取り可能な記録媒体に記録されていてよい。実施例に係る記録媒体には、データスクレイピング方法を実現するためのプログラムが記録され、当該記録媒体はコンピュータによって読み取り可能なデータを格納可能な任意の種類の記録装置を含む。例えば、コンピュータが読み取り可能な記録媒体には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、また、キャリアウエーブ（ｃａｒｒｉｅｒ ｗａｖｅ）（例えば、インターネットを介した伝送）の形態で実現されることも含む。また、コンピュータが読み取り可能な記録媒体は、ネットワークを介して繋がれたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納され、実行されていてもよい。また、本実施例を実現するための機能的なプログラム、コード及びコードセグメント（ｓｅｇｍｅｎｔ）は、本実施例が属する技術分野の通常の技術者にとって容易に理解できるであろう。

以上で述べた本発明は、図面に示された実施例を参考にして説明してきたが、これは例示的なものに過ぎず、当該分野において通常の知識を有する者であれば種々の修正及び変形が可能であることが理解できるはずである。しかし、このような変形は、本発明の技術的保護範囲内にあると見なすべきである。したがって、本発明の真正な技術的保護範囲は特許請求の範囲の技術的思想によって決められるべきである。

一実施例に係るユーザ情報に基づいて目的機関から情報を収集するためのデータスクレイピング（ｓｃｒａｐｐｉｎｇ）システムは、スクレイピングを必要とする照会または遂行を呼び出すサービスプログラムを備え、スクレイピングのためのユーザ情報をユーザ装置から受信し、内部スケジュールアルゴリズムを用いてユーザ情報と作業を割り当てる管理モジュール；及び互いに相違する複数の機関にインターネット網を介して通信可能に接続され、前記管理モジュールによって割り当てられたユーザ情報と作業に基づき、前記複数の機関に登録されたウェブサービスプログラムから呼び出された照会または遂行に対応するデータをスクレイピングするように構成されたスクレイピングモジュールを含む。

一実施例において、前記スクレイピングモジュールは、更に呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数のそれぞれの機関から要求する通信セキュリティー政策に関する情報を格納しており、データをスクレイピングする前記機関の通信セキュリティー政策に応じた方式にてユーザ情報が処理された認証値を前記機関に送ることで、前記機関からデータセットを受信するように構成され、スクレイピングするデータ項目を指定するメタデータベース（ｍｅｔａ ｄａｔａｂａｓｅ）を含み、更に前記機関が提供する前記データセットから前記メタデータベースに基づいてスクレイピングするデータを抽出するように構成される。

一実施例に係るユーザ情報に基づいて目的機関から情報を収集するためのデータスクレイピングシステムを利用したデータスクレイピング方法は、ユーザ装置から、ユーザによって呼び出された照会または遂行の情報及びユーザ情報を含む、スクレイピングに必要な情報を受信する段階；スクレイピングするデータ項目の情報をメタデータベースに格納する段階；内部スケジュールアルゴリズムを用いて、互いに相違する複数の機関にインターネット網を介して通信可能に接続された前記データスクレイピングシステムのスクレイピングモジュールにユーザ情報と作業を割り当てる段階；及び前記スクレイピングモジュールが、割り当てられた前記ユーザ情報と作業に基づいて、前記複数の機関と前記インターネット網を介して通信することで前記複数の機関に登録されたウェブサービスプログラムから呼び出された照会または遂行に対応するデータをスクレイピングする段階と；を含む。

一実施例において、前記スクレイピングモジュールは、呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数のそれぞれの機関から要求する通信セキュリティー政策に関する情報を格納しており、前記データをスクレイピングする段階は、データをスクレイピングする前記機関の通信セキュリティー政策に応じた方式にてユーザ情報が処理された認証値を前記機関に送ることで、前記機関が提供するデータセットを受信する段階；及び前記機関が提供する前記データセットから前記メタデータベースに基づいてスクレイピングするデータを抽出する段階を含む。

一実施例に係るデータスクレイピング方法は、前記データをスクレイピングする段階の後に、更に、呼び出された照会または遂行に対応するデータを前記ユーザ装置に提供する段階を含む。このとき、前記ユーザ装置はモバイルコンピュータ装置を含んでよい。

Claims (7)

1. スクレイピングを必要とする照会または遂行を呼び出すサービスプログラムを備え、スクレイピングのためのユーザ情報を受信し、内部スケジュールアルゴリズムを用いてユーザ情報と作業を割り当てる管理モジュール；及び
   前記管理モジュールによって割り当てられたユーザ情報と作業に基づき、互いに相違する複数の機関に通信可能に接続されて、前記複数の機関から呼び出された照会または遂行に対応するデータをスクレイピングするように構成されたスクレイピングモジュールを含み、
   前記スクレイピングモジュールは、スクレイピングするデータ項目を指定するメタデータベースを含み、前記機関が提供するデータセットから前記メタデータベースに基づいてスクレイピングするデータを抽出するように構成された、データスクレイピングシステム。
2. 前記スクレイピングモジュールは、呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数の機関から要求する認証方式に関する情報を含み、前記ユーザ情報が前記認証方式にて処理された認証値を前記機関に送るように構成された、請求項１に記載のデータスクレイピングシステム。
3. 前記管理モジュールは、更に、呼び出された照会または遂行に対応するデータをユーザ装置に提供するように構成され、前記ユーザ装置はモバイルコンピュータ装置を含む、請求項１に記載のデータスクレイピングシステム。
4. データスクレイピングシステムを利用したデータスクレイピング方法であって、
   ユーザ装置から、ユーザによって呼び出された照会または遂行の情報及びユーザ情報を含む、スクレイピングに必要な情報を受信する段階；
   スクレイピングするデータ項目の情報をメタデータベースに格納する段階；
   内部スケジュールアルゴリズムを用いてスクレイピングモジュールにユーザ情報と作業を割り当てる段階；及び
   前記スクレイピングモジュールが、割り当てられた前記ユーザ情報と作業に基づいて、互いに相違する複数の機関と通信することで前記複数の機関から呼び出された照会または遂行に対応するデータをスクレイピングする段階と；を含み、
   前記データをスクレイピングする段階は、前記機関が提供するデータセットから前記メタデータベースに基づいてスクレイピングするデータを抽出する段階を含む、データスクレイピング方法。
5. 前記スクレイピングモジュールは、呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数の機関から要求する認証方式に関する情報を含み、
   前記データをスクレイピングする段階は、更に、前記スクレイピングするデータを抽出する段階の前に、前記ユーザ情報が前記認証方式にて処理された認証値を前記機関に送る段階を含む、請求項４に記載のデータスクレイピング方法。
6. 前記データをスクレイピングする段階の後に、更に、呼び出された照会または遂行に対応するデータをユーザ装置に提供する段階を含み、前記ユーザ装置はモバイルコンピュータ装置を含む、請求項４に記載のデータスクレイピング方法。
7. ハードウェアと結合され、請求項４〜６のいずれか一項に記載のデータスクレイピング方法を実行するように媒体に格納されたコンピュータプログラム。