JP2021061063A - 推薦されるデータ変換および修復のための宣言型言語およびビジュアライゼーションシステム - Google Patents

Abstract

【課題】データセットを抽出、修復、および強化することにより、後のインデックス作成およびクラスタ化のための、より精密なエンティティのレゾリューションおよび相関を得るデータ強化サービス及びデータ強化システムを提供する。【解決手段】データ強化システム３００において、データ強化サービス３０２は、異種のデータセットの大規模なデータの準備、修復および強化を実行するための視覚推薦エンジンおよび言語を含む。これにより、ユーザは、推薦された強化（たとえば変換及び修復）がどのようにユーザのデータに影響しどのように調整を必要に応じて実行するかを、選択し確認する。データ強化サービスは、ユーザインターフェイスを通してユーザからのフィードバックを受けり、かつ、ユーザからのフィードバックに基づいて推薦をフィルタリングする。【選択図】図３

Description

関連出願の相互参照
本願は、２０１４年９月２６日に出願され「DECLARATIVE LANGUAGE AND VISUALIZATION
SYSTEM FOR RECOMMENDED DATA TRANSFORMATIONS AND REPAIRS」と題された米国仮出願第６２／０５６，４７１号に基づく利益および優先権を主張する２０１５年９月２４日に出願され「DECLARATIVE LANGUAGE AND VISUALIZATION SYSTEM FOR RECOMMENDED DATA TRANSFORMATIONS AND REPAIRS」と題された米国非仮特許出願第１４／８６４，４９６号に基づく利益および優先権を主張する。

本願は以下の出願に関連する。
１）２０１４年９月２６日に出願され「METHOD FOR SEMANTIC ENTITY EXTRACTION BASED ON GRAPH MATCHING WITH AN EXTERNAL KNOWLEDGEBASE AND SIMILARITY RANKING OF DATASET METADATA FOR SEMANTIC INDEXING, SEARCH, AND RETRIEVAL」と題された米国仮出願第６２／０５６，４６８号
２）２０１４年９月２６日に出願され「DYNAMIC VISUAL PROFILING AND VISUALIZATION
OF HIGH VOLUME DATASETS AND REAL-TIME SMART SAMPLING AND STATISTICAL PROFILING OF EXTREMELY LARGE DATASETS」と題された米国仮出願第６２／０５６，４７４号
３）２０１４年９月２６日に出願され「AUTOMATED ENTITY CORRELATION AND CLASSIFICATION ACROSS HETEROGENEOUS DATASETS」と題された米国仮出願第６２／０５６，４７５
号
４）２０１４年９月２６日に出願され「DECLARATIVE EXTERNAL DATA SOURCE IMPORTATION, EXPORTATION, AND METADATA REFLECTION UTILIZING HTTP AND HDFS PROTOCOLS」と題された米国仮出願第６２／０５６，４７６号
５）２０１５年５月１８日に出願され「CATEGORY LABELING」と題された米国仮出願第
６２／１６３，２９６号
６）２０１５年８月１１日に出願され「SIMILARITY METRIC ANALYSIS AND KNOWLEDGE SCORING SYSTEM」と題された米国仮出願第６２／２０３，８０６号
上記特許出願の内容全体を、すべての目的のために本明細書に引用により援用する。

簡単な概要
本開示は、概してデータの準備および分析に関する。より具体的には、推薦されるデータ変換および修復のための対話型ビジュアライゼーションを生成するための技術が開示される。

本開示は、概してデータ強化（data enrichment）サービスに関し、このサービスは、
データセットを抽出、修復、および強化することにより、後のインデックス作成およびクラスタ化のための、より精密なエンティティのレゾリューションおよび相関を得る。データ強化サービスは、異種のデータセットの大規模なデータの準備、修復、および強化を実行するための視覚推薦エンジンおよび言語を含み得る。これにより、ユーザは、推薦された強化（たとえば変換および修復）がどのようにユーザのデータに影響しどのように調整を必要に応じて実行するかを、選択し確認することができる。データ強化サービスは、ユーザインターフェイスを通してユーザからのフィードバックを受けることができ、かつ、ユーザからのフィードバックに基づいて推薦をフィルタリングすることができる。

いくつかの実施形態において、コンピューティングシステムを、推薦されるデータ変換および修復のための対話型ビジュアライゼーションを生成して表示するために実装してもよい。コンピューティングシステムは、データ強化サービスを実装し得る。コンピューティングシステムは、本明細書に記載の方法およびオペレーションを実装するように構成されてもよい。いくつかの実施形態において、推薦されるデータ変換および修復のための対話型ビジュアライゼーションを生成して表示するためのシステムが開示される。このシステムは、複数のデータソースと複数のデータターゲットとを含み得る。このシステムは、少なくとも１つの通信ネットワークを通して複数のデータソースに通信可能に結合されかつ複数のデータターゲットに通信可能に結合された１つ以上のプロセッサを備えるクラウドコンピューティングインフラストラクチャシステムを含み得る。クラウドコンピューティングインフラストラクチャシステムは、上記１つ以上のプロセッサに結合されたメモリを含み得る。メモリは、データ強化サービスを提供することを指示する命令を含み、この命令が上記１つ以上のプロセッサによって実行されると、本明細書に記載の１つ以上の方法またはオペレーションが上記１つ以上のプロセッサによって実行される。さらに他の実施形態は、システムと、機械読取可能な有形の記憶媒体とに関し、これは、本明細書に記載の方法およびオペレーションのための命令を用いるまたは格納する。

少なくとも１つの実施形態において、方法は、データ強化要求をクライアントデバイスから受けるステップを含み得る。この方法は、コンピュータシステムによって、１つ以上のデータソースからのデータにおけるパターンを識別するステップを含み得る。この方法は、上記パターンを知識サービスからのエンティティ情報に対してマッチングするステップを含み得る。この方法は、上記エンティティ情報に基づいて上記データのための１つ以上の変換スクリプトを生成するステップを含み得る。この方法は、上記１つ以上の変換スクリプトに対応する１つ以上の推薦を生成するステップを含み得る。この方法は、上記１つ以上の推薦をクライアントデバイスのユーザインターフェイスに表示させるステップを含み得る。この方法は、上記１つ以上の推薦に基づく変換命令を受けるステップを含み得る。この方法は、上記変換命令に基づいてデータを変換するステップを含み得る。この方法は、上記変換命令に基づいて上記変換されたデータを１つ以上のデータターゲットに対して公開するステップを含み得る。

いくつかの実施形態において、この方法は、上記１つ以上のデータソースのうちの少なくとも１つのデータソースからデータの少なくとも１つの列の選択を受けるステップと、上記データの少なくとも１つの列のデータプロファイルを表示させるステップとを含み得る。上記データプロファイルは、上記データの少なくとも１つの列において識別された複数のパターンと、上記データの少なくとも１つの列に対応付けられた少なくとも１つのデータビジュアライゼーションとを示してもよい。

少なくとも１つの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む。この方法は、上記データの少なくとも１つの列をデフォルト名にリネームすることを指示する他の変換命令を受けるステップを含み得る。いくつかの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令を含む。いくつかの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示する他の変換命令を含む。いくつかの実施形態において、変換命令は、エンティティ情報に基づいて知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含む。

本発明の１つの実施形態において、データの少なくとも１つの列の選択をデータソースのうちの少なくとも１つから受けたときに、上記データの少なくとも１つの列のデータプロファイルをクライアントデバイス上のユーザインターフェイスに表示させ、上記データ
プロファイルは、上記データの少なくとも１つの列において識別された複数のパターンと、上記データの少なくとも１つの列に対応付けられた少なくとも１つのデータビジュアライゼーションとを示す。

本発明の１つの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む。

本発明の１つの実施形態において、他の変換命令を受けて上記データの少なくとも１つの列をデフォルト名にリネームする。

本発明の１つの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令を含む。

本発明の１つの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示する他の変換命令を含む。

本発明の１つの実施形態において、変換命令は、エンティティ情報に基づいて知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含む。

これまでに述べたことは、他の特徴および実施形態とともに、以下の明細書、請求項、および添付の図面を参照すれば、より明らかになるであろう。

本発明の実施形態に従うデータ強化サービスの簡略化されたハイレベル図を示す。 本発明の実施形態に従うテクノロジースタックの簡略化されたブロック図を示す。 本発明の実施形態に従う対話型ビジュアライゼーションシステムの簡略化されたブロック図を示す。 本発明の実施形態に従う対話型データ強化を提供するユーザインターフェイスの一例を示す。 本発明の実施形態に従う対話型データ強化を提供するユーザインターフェイスの一例を示す。 本発明の実施形態に従う対話型データ強化を提供するユーザインターフェイスの一例を示す。 本発明の実施形態に従う対話型データ強化を提供するユーザインターフェイスの一例を示す。 本発明の実施形態に従う対話型データ強化の結果の一例を示す。 本発明の実施形態に従う対話型データ強化の結果の一例を示す。 本発明の実施形態に従う対話型データ強化の結果の一例を示す。 本発明の実施形態に従う対話型データ強化の結果の一例を示す。 本発明の実施形態に従うデータ強化方法のフローチャートを示す。 実施形態を実現するための分散型システムの簡略図を示す。 本開示の実施形態に従うクラウドサービスとしてサービスを提供し得るシステム環境の１つ以上のコンポーネントの簡略化されたブロック図である。 本発明の実施形態を実現するのに使用し得る典型的なコンピュータシステムを示す。

詳細な説明
以下の記載において、説明のために、具体的な詳細事項を述べることによって本発明の実施形態が十分に理解されるようにする。しかしながら、これらの具体的な詳細事項がなくてもさまざまな実施形態を実施し得ることが明らかであろう。図面および説明は限定を意図したものではない。

本開示は概してデータ強化サービスに関し、このサービスは、データセットを抽出、修復、および強化することにより、後のインデックス作成およびクラスタ化のための、より精密なエンティティのレゾリューションおよび相関を得る。いくつかの実施形態において、データ強化サービスは、データの採集からデータの分析までの多数の段階でデータを処理することによってデータをデータターゲットに対して公開する拡張可能なセマンティックパイプラインを含む。

本発明のある実施形態において、データをデータウェアハウス（またはその他のデータターゲット）にロードする前に、さまざまな処理段を含むパイプライン（本明細書ではセマンティックパイプラインとも呼ぶ）を通して処理する。いくつかの実施形態において、パイプラインは、採集段と、準備段と、プロファイル段と、変換段と、公開段とを含み得る。処理中に、データを分析し、準備し、強化することができる。次に、結果として得られたデータを１つ以上のデータターゲット（たとえばローカルストレージシステム、クラウドベースのストレージサービス、ウェブサービス、データウェアハウス等）に公開する（たとえば下流のプロセスに与える）ことができる。このターゲットにおいて、データに対しさまざまなデータ分析を実行することができる。このデータには修復と強化が行なわれているので、それを分析することによって有用な結果が得られる。したがって、データオンボーディングプロセスは自動化されているので、スケーリングすることにより、その量のためにマニュアル処理できない非常に大きなデータセットを処理することができる。

いくつかの実施形態において、データを分析してこのデータからエンティティを抽出することができ、抽出したエンティティに基づいてデータを修復することができる。たとえば、スペルミス、アドレスの誤り、およびその他の一般的な間違いは、ビッグデータシステムに対して複雑な問題を示す。データ量が少ない場合はこのような誤りをマニュアルで識別して修正できる。しかしながら、非常に大きなデータセット（たとえば何十億ものノードまたは記録）の場合、このようなマニュアル処理は不可能である。本発明のある実施形態において、データ強化サービスは、知識サービスを用いてデータを分析することができる。知識サービスのコンテンツに基づいて、データ内のエンティティを識別することができる。たとえば、エンティティは、住所、事業所名、場所、個人名、ＩＤ番号等であってもよい。

図１は、本発明の実施形態に従うデータ強化サービスの簡略化されたハイレベル図１００を示す。図１に示されるように、クラウドベースのデータ強化サービス１０２は、さまざまなデータソース１０４からデータを受信することができる。いくつかの実施形態において、クライアントはデータ強化要求をデータ強化サービス１０２に対して出すことができ、データ強化サービス１０２はデータソース１０４のうちの１つ以上（またはその一部、たとえば特定の表、データセット等）を識別する。次に、データ強化サービス１０２は、識別したデータソース１０４からのデータの処理を要求してもよい。いくつかの実施形態において、データソースはサンプリングされてもよく、サンプリングされたデータは強化のために分析され、それによって大きなデータセットはより扱い易くなる。識別されたデータを受け、データ強化サービスからアクセス可能な分散記憶システム（Hadoop分散記憶（ＨＤＦＳ）システム等）に追加することができる。データは、多数の処理段（本明細書においてパイプラインまたはセマンティックパイプラインとして説明）によって意味論的に処理してもよい。これらの処理段は、準備段１０８と、強化段１１０と、公開段１１２とを含み得る。いくつかの実施形態において、データを、データ強化サービスによって
１つ以上のバッチで処理することができる。いくつかの実施形態において、データを受信しながら処理するストリーミングパイプラインを提供することができる。

いくつかの実施形態において、準備段１０８はさまざまな処理サブ段を含み得る。これは、自動的にデータソースフォーマットを検出しコンテンツの抽出および／または修復を実行することを含み得る。データソースフォーマットが検出されると、自動的に、データソースをデータ強化サービスが処理できるフォーマットに正規化することができる。いくつかの実施形態において、データソースが準備されたら、このデータソースは強化段１１０によって処理することができる。いくつかの実施形態において、インバウンドデータソースは、データ強化サービスからアクセス可能な分散記憶システム１０５（データ強化サービスに通信可能に結合されたＨＤＦＳシステム等）にロードすることができる。分散記憶システム１０５は、採集されたデータファイルのための一時的な記憶空間を提供し、これはまた、中間処理ファイルの、および、公開前の結果の一時記憶域としての記憶域を提供することができる。いくつかの実施形態において、増大されたまたは強化された結果も分散記憶システムに格納することができる。いくつかの実施形態において、採集されたデータソースに関連する強化中に取込まれたメタデータは、分散記憶システム１０５に格納することができる。システムレベルのメタデータ（たとえばデータソースの位置、結果、処理履歴、ユーザセッション、実行履歴、および構成等を示す）は、分散記憶システムに、または、データ強化サービスからアクセス可能な独立したリポジトリに格納することができる。

特定の実施形態において、強化プロセス１１０は、セマンティックバス本明細書ではパイプラインまたはセマンティックパイプラインとも呼ぶ）およびこのバスに接続する１つ以上の自然言語（ＮＬ（natural language））プロセッサを用いてデータを分析することができる。ＮＬプロセッサは、自動的にデータソース列を識別し、特定列のデータのタイプを判断し、入力にスキーマがなければこの列に命名し、および／または列および／またはデータソースを説明するメタデータを提供することができる。いくつかの実施形態において、ＮＬプロセッサは、列のテキストからエンティティ（たとえば人物、場所、物等）を識別して抽出することができる。ＮＬプロセッサは、データソース内のおよびデータソース間の関係を識別しおよび／または構築することもできる。以下でさらに説明するように、抽出したエンティティに基づいて、データを修復（たとえばタイプミスもしくはフォーマットエラーを修正）および／または強化する（たとえば抽出したエンティティに追加の関連情報を含める）ことができる。

いくつかの実施形態において、公開段１１２は、強化中に取込まれたデータソースのメタデータと、データソースのいかなる強化または修復も、分析のために１つ以上のビジュアライゼーションシステムに与えることができる（たとえば推奨されるデータ変換、強化、および／またはその他の修正をユーザに対して表示することができる）。公開サブシステムは、処理済のデータを１つ以上のデータターゲットに送ることができる。データターゲットは、処理済みのデータを送ることができる場所に相当し得る。この場所は、たとえば、メモリ内の場所、コンピューティングシステム、データベース、または、サービスを提供するシステムであってもよい。たとえば、データターゲットは、オラクルストレージクラウドサービス（Oracle Storage Cloud Service）（ＯＳＣＳ）、ＵＲＬ、第三者ストレージサービス、ウェブサービス、ならびに、オラクルビジネスインテリジェンス（Business Intelligence）（ＢＩ）、サービスとしてのデータベース（Database as a Service）およびサービスとしてのデータベーススキーマ（Database Schema as a Service）等のその他のクラウドサービスを、含み得る。いくつかの実施形態において、シンジケーションエンジンは、ブラウズ、選択、および結果に対するサブスクライブの対象である一組のＡＰＩを顧客に提供する。サブスクライブされ、新たな結果が生じると、結果データは、外部ウェブサービスのエンドポイントへの直接フィードとして、またはバルクファイルダ
ウンロードとして、提供することができる。

図２は、本発明の実施形態に従うテクノロジースタックの簡略化されたブロック図２００を示す。いくつかの実施形態において、データ強化サービスは、図２に示される論理テクノロジースタックを用いて実現できる。このテクノロジースタックは、１つ以上のクライアントデバイスを通して（たとえばシンクライアント、シッククライアント、ウェブブラウザ、またはクライアントデバイス上で実行されるその他のアプリケーションを用いて）データ強化サービスへのアクセスを提供するユーザインターフェイス／エクスペリエンス（ＵＸ）レイヤ２０２を含み得る。スケジューラサービス２０４は、ＵＸレイヤを通して受けた結果／レスポンスを管理することができ、かつ、基礎をなすインフラストラクチャを管理することができ、データ強化サービスはこのインフラストラクチャ上で実行される。

いくつかの実施形態において、図１を参照して先に説明した処理段は、多数の処理エンジンを含み得る。たとえば、準備処理段１０８は、採集／準備エンジンと、プロファイリングエンジンと、推薦エンジンとを含み得る。準備処理中にデータが採集されると、このデータ（またはそのサンプル）は、分散データストレージシステム２１０（「ビッグデータ」クラスタ等）に格納することができる。強化処理段１１０は、意味／統計エンジンと、エンティティ抽出エンジンと、修復／変換エンジンとを含み得る。以下でさらに説明するように、強化処理段１１０は、強化プロセス中に知識サービス２０６から取得した情報を利用できる。強化アクション（たとえばデータの追加および／または変換）を、分散ストレージシステム２１０に格納されているデータに対して実行できる。データの変換は、欠けているデータまたはデータを追加することによりデータを強化するための修正を含み得る。データの変換は、データ中のエラーを修正することまたはデータを修復することを含み得る。公開処理段１１２は、公開エンジンと、シンジケーションエンジンと、メタデータ結果マネージャとを含み得る。いくつかの実施形態において、さまざまなオープンソース技術を用いることにより、さまざまな処理段および／または処理エンジン内のいくつかの機能を実装できる。たとえば、ファイルフォーマット検出は、Apache Tikaを使用し
てもよい。

いくつかの実施形態において、管理サービス２０８は、強化処理１１０中にデータに対してなされる変更をモニタリングすることができる。変更のモニタリングは、どのユーザがデータにアクセスしたか、どのデータ変換が実行されたか、および、その他のデータをトラッキングすることを含み得る。これにより、データ強化サービスは強化アクションをロールバックすることができる。

テクノロジースタック２００は、ビッグデータオペレーションのためのクラスタ２１０（「ビッグデータクラスタ」）等の環境において実装できる。クラスタ２１０は、ＨＤＦＳ等の分散ファイルシステム（distributed file system）（ＤＦＳ）と互換性がある分
散コンピューティングフレームワークを実装するための一組のライブラリを提供するApache Sparkを用いて実装できる。Apache Sparkは、マップ、低減、フィルタ、ソート、またはサンプルクラスタ処理ジョブ要求を、ＹＡＲＮのような有効なリソースマネージャに送ることができる。いくつかの実施形態において、クラスタ２１０は、たとえばCloudera（登録商標）が提供する分散ファイルシステム製品を用いて実装できる。たとえばCloudera（登録商標）が提供するＤＦＳは、ＨＤＦＳおよびＹＡＲＮを含み得る。

図３は、本発明の実施形態に従うデータ強化システム３００の簡略化されたブロック図を示す。データ強化システム３００はデータ強化サービス３０２を実装し得る。データ強化サービス３０２は１以上のクライアント３０４からデータ強化要求を受けることができる。データ強化サービス３０２は１つ以上のコンピュータおよび／またはサーバを含み得
る。データ強化サービス３０２は、いくつかのサブシステムおよび／またはモジュールで構成されたモジュールであってもよく、その中に含まれるいくつかは図示されていない可能性もある。データ強化サービス３０２のサブシステムおよび／またはモジュールの数は、図示されているものの数より多くても少なくてもよく、２つ以上のサブシステムおよび／またはモジュールを組合わせてもよく、または、異なる構成または配置のサブシステムおよび／またはモジュールであってもよい。いくつかの実施形態において、データ強化サービス３０２は、ユーザインターフェイス３０６と、採集エンジン３２８と、推薦エンジン３０８と、知識サービス３１０と、プロファイルエンジン３２６と、変換エンジン３２２と、準備エンジン３１２と、公開エンジン３２４とを含み得る。データ強化サービス３０２を実装する要素は、上記のようなセマンティック処理パイプラインを実装するように機能し得る。

データ強化システム３００は、本発明の実施形態に従うセマンティック処理パイプラインを含み得る。セマンティック処理パイプラインのうちのすべてまたは一部を、データ強化サービス１０２によって実装してもよい。データソースを追加するとき、このデータソースおよび／またはそこに格納されるデータは、データソースをロードする前にパイプラインを通して処理することができる。パイプラインは、１つ以上のデータターゲットに対して処理済のデータを公開する前にデータおよび／またはデータソースを処理するように構成された１つ以上の処理エンジンを含み得る。処理エンジンは、新たなデータソースから生データを抽出しこの生データを準備エンジンに提供する採集エンジンを含み得る。準備エンジンは、この生データに対応付けられたフォーマットを識別することができ、この生データを、データ強化サービス３０２が処理できるフォーマットに変換する（たとえばこの生データを正規化する）ことができる。プロファイルエンジンは、正規化されたデータに対応付けられたメタデータを抽出および／または生成することができ、変換エンジンは、メタデータに基づいて正規化されたデータを変換する（たとえば修復および／または強化する）ことができる。結果として得られた強化データは、公開エンジンに与えられて１つ以上のデータターゲットに送られてもよい。各処理エンジンについては以下でさらに説明する。

いくつかの実施形態において、データ強化サービス３０２は、コンピューティングインフラストラクチャシステム（たとえばクラウドコンピューティングインフラストラクチャシステム）によって与えられてもよい。コンピューティングインフラストラクチャシステムは、１つ以上のコンピューティングシステムを有するクラウドコンピューティング環境において実装し得る。コンピューティングインフラストラクチャシステムは、１つ以上の通信ネットワークを通して、本明細書に記載されているもののような１つ以上のデータソースにまたは１つ以上のデータターゲットに通信可能に結合されてもよい。

クライアント３０４はさまざまなクライアントデバイス（デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルデバイス等）を含み得る。各クライアントデバイスは１つ以上のクライアントアプリケーション３０４を含み得る。このアプリケーションを通してデータ強化サービス３０２にアクセスできる。たとえば、ブラウザアプリケーション、シンクライアント（たとえばモバイルアプリケーション）、および／またはシッククライアントは、クライアントデバイス上で実行することができ、ユーザがデータ強化サービス３０２と対話できるようにする。図３に示される実施形態は、単なる一例であって、本発明のクレームされている実施形態を不当に限定することは意図していない。当業者は数多くの変形、代替例、および修正を認識するであろう。たとえば、クライアントデバイスの数は図示されているデバイスの数よりも多くても少なくてもよい。

クライアントデバイス３０４の種類は多種多様であり得る。これは、パーソナルコンピ
ュータ、デスクトップ、ラップトップ、携帯電話、タブレット等のモバイルまたはハンドヘルドデバイス、および、その他の種類のデバイスを含むが、これらに限定されない。通信ネットワークは、クライアントデバイス３０４とデータ強化サービス３０２との間の通信を容易にする。通信ネットワークの種類はさまざまな種類であり得る。この通信ネットワークは１つ以上の通信ネットワークを含み得る。通信ネットワーク１０６の例は、インターネット、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イーサネット（登録商標）ネットワーク、パブリックまたはプライベートネットワーク、有線ネットワーク、無線ネットワーク等と、その組合わせを含むが、これらに限定されない。ＩＥＥＥ ８０２．ＸＸプロトコルスーツ、ＴＣＰ／ＩＰ、ＩＰＸ、ＳＡＮ、AppleTalk、Bluetooth、およびその他のプロトコル等の、有線プロトコルも無線プロトコルも含む異なる通信プロトコルを用いて通信を容易にしてもよい。一般的に、通信ネットワークはクライアントとデータ強化サービス３０２との通信を容易にするいかなる種類の通信ネットワークまたはインフラストラクチャも含み得る。

ユーザは、ユーザインターフェイス３０６を通してデータ強化サービス３０２と対話することができる。クライアント３０４は、グラフィカルユーザインターフェイスをレンダリングすることにより、ユーザのデータやユーザのデータを変換するための推薦を表示し、命令（「変換命令」）をユーザインターフェイス３０６を通してデータ強化サービス３０２に送信および／または受信することができる。本明細書に開示されている、図４Ａ〜図４Ｄおよび図５Ａ〜図５Ｄに示されるようなユーザインターフェイスは、データ強化サービス３０２によってまたはクライアント３０４を介してレンダリングしてもよい。たとえば、ユーザインターフェイスは、ユーザインターフェイス３０６によって生成されてもよく、クライアント３０４のうちのいずれか１つでデータ強化サービス３０２によってレンダリングされてもよい。ユーザインターフェイスは、ネットワークを介してデータ強化システム３０２から、サービス（たとえばクラウドサービス）またはネットワークアクセス可能なアプリケーションの一部として提供されてもよい。少なくとも１つの例において、データ強化サービス３０２のオペレータは、クライアント３０４のうちの１つを操作することにより、本明細書に開示されるユーザインターフェイスのうちのいずれかにアクセスしこれと対話してもよい。ユーザは、命令をユーザインターフェイス３０６に送信することによりデータソースを追加してもよい（たとえばデータソースアクセスおよび／または位置情報等を提供してもよい）。

データ強化サービス３０２は、採集エンジン３２８を用いてデータを採集してもよい。採集エンジン３２８は、データソースが追加されたときに初期処理エンジンとして機能することができる。採集エンジン３２８は、１つ以上のデータソース３０９からデータ強化サービス３０２に、ユーザデータを、安全に、確実に、かつ信頼性高くアップロードすることを容易にすることができる。いくつかの実施形態において、採集エンジン３２８は、１つ以上のデータソース３０９からデータを抽出しデータ強化サービス３０２内の分散ストレージシステム３０５に格納することができる。１つ以上のデータソース３０９および／または１つ以上のクライアント３０４から採集したデータは、図１および図２を参照しながら先に述べたように処理して分散ストレージシステム３０５に格納することができる。データ強化サービス３０２は、クライアントデータストア３０７からおよび／または１つ以上のデータソース３０９からデータを受信できる。分散ストレージシステム３０５は、１つ以上のデータターゲット３３０に対するデータ公開の前の、パイプラインの残りの処理段の間、アップロードされたデータの一時ストレージの機能を果たすことができる。アップロードが完了すると、準備エンジン３１２を呼出し、アップロードされたデータセットを正規化することができる。

受信データは、構造化データ、非構造化データ、またはこれらの組合わせを含み得る。構造データは、限定されないが、アレイ、レコード、リレーショナルデータベース表、ハ
ッシュ表、連結リスト、またはそれ以外の種類のデータ構造を含む、データ構造に基づき得る。上記のように、データソースは、パブリッククラウドストレージサービス３１１、プライベートクラウドストレージサービス３１３、さまざまな他のクラウドサービス３１５、ＵＲＬまたはウェブベースのデータソース３１７、または、その他任意のアクセス可能なデータソースを含み得る。クライアント３０４からのデータ強化要求は、データソースおよび／または特定のデータ（データソース３０９またはクライアントデータストア３０７を通して入手可能な、表、列、ファイル、またはその他任意の構造化または非構造化データ）を特定することができる。そうすると、データ強化要求サービス３０２は、特定されたデータソースにアクセスして上記データ強化要求において特定された特定のデータを取得してもよい。データソースは、アドレス（たとえばＵＲＬ）によって、ストレージプロバイダ名によって、またはその他の識別子によって特定できる。いくつかの実施形態において、データソースへのアクセスを、アクセス管理サービスによって制御してもよい。クライアント３０４は、ユーザに対し、身分証明（たとえばユーザ名とパスワード）入力要求および／またはデータ強化サービス３０２に対してデータソースにアクセスする権限を与えるための要求を示してもよい。

いくつかの実施形態において、１つ以上のデータソース３０９からアップロードされたデータは、多種多様なフォーマットに変更できる。準備エンジン３１２は、アップロードされたデータを、データ強化サービス３０２による処理のために、一般的な正規化されたフォーマットに変換できる。正規化は、Apache（登録商標）が供給しているApache Tika
のような命令またはコードを用いて実装されるルーチンおよび／または技術によって実行してもよい。正規化されたフォーマットにより、データソースから取得したデータが正規化されたものを見ることができる。いくつかの実施形態において、準備エンジン３１２は、多数の異なるファイルタイプを読み出すことができる。準備エンジン３１２は、データを正規化して文字で区切られた形式（character separated form）（たとえばタブで区切られた値（tab separated values）、カンマで区切られた値（comma separated values）等）、または、階層データ用のJavaScript（登録商標）オブジェクト表記法（JavaScript
Object Notation）（ＪＳＯＮ）文書にすることができる。いくつかの実施形態において、さまざまなファイルフォーマットを認識し正規化することができる。たとえば、Microsoft Excel（登録商標）フォーマット（たとえばＸＬＳまたはＸＬＳＸ）、Microsoft Word（登録商標）フォーマット（たとえばＤＯＣまたはＤＯＸ）、ポータブルドキュメント
フォーマット（ＰＤＦ）、ＪＳＯＮのような階層フォーマット、および拡張マークアップ言語（ＸＭＬ）等の、標準ファイルフォーマットをサポートすることができる。いくつかの実施形態において、さまざまなバイナリ符号化ファイルフォーマットおよびシリアル化されたオブジェクトデータを読み出して復号することもできる。いくつかの実施形態において、データは、Unicodeフォーマット（ＵＴＦ−８）符号化においてパイプラインに与
えることができる。準備エンジン３１２は、コンテキスト抽出と、データ強化サービス３０２が予測するファイルタイプへの変換を実行することができるとともに、データソースから文書レベルメタデータを抽出することができる。

データセットの正規化は、データセット内の生データを、データ強化サービス３０２、特にプロファイルエンジン３２６が処理できるフォーマットに変換することを含み得る。一例において、データセットを正規化して正規化データセットを作成することは、あるフォーマットを有するデータセットを、正規化されたデータセットとして調整されたフォーマットに修正することを含み、調整されたフォーマットは上記フォーマットと異なるフォーマットである。データセットは、このデータセット内のデータの１つ以上の列を識別し、この列に対応するデータのフォーマットを同じフォーマットに修正することによって正規化してもよい。たとえば、あるデータセット内の、フォーマットが異なる日付を有するデータを、この日付のフォーマットをプロファイルエンジン３２６が処理できる共通フォーマットに変更することによって正規化してもよい。データは、表形式でないフォーマッ
トから１つ以上のデータ列を有する表形式のフォーマットに修正または変換することによって正規化されることもある。

データの正規化後、正規化されたデータはプロファイルエンジン３２６に送ることができる。プロファイルエンジン３２６は、正規化されたデータを列ごとに分析することにより、これらの列に格納されているデータのタイプを識別し、データがこれらの列にどのようにして格納されているかに関する情報を識別することができる。本開示では、プロファイルエンジン３２６を多くの場合データに対してオペレーションを実行するものとして説明しているが、プロファイルエンジン３２６によって処理されるデータは準備エンジン３１２によって既に正規化されている。いくつかの実施形態において、プロファイルエンジン３２６によって処理されるデータは、プロファイルエンジン３２６が処理できるフォーマット（たとえば正規化されたフォーマット）であるので正規化されていないデータを含み得る。プロファイルエンジン３２６の出力または結果は、ソースからのデータに関するプロファイル情報を示すメタデータ（たとえばソースプロファイル）であってもよい。メタデータは、データに関する１つ以上のパターンおよび／またはデータの分類を示し得る。以下でさらに説明するように、メタデータは、データの分析に基づく統計情報を含み得る。たとえば、プロファイルエンジン３２６は、識別された各列に関する多数のメトリックとパターン情報を出力することができ、かつ、列の名称およびタイプの形態のスキーマ情報を識別してデータとマッチングすることができる。

プロファイルエンジン３２６が生成したメタデータを、データ強化サービスのその他の要素、たとえば推薦エンジン３０８および変換エンジン３２２が使用してデータ強化サービス３０２に関して本明細書で説明するオペレーションを実行してもよい。いくつかの実施形態において、プロファイルエンジン３２６はメタデータを推薦エンジン３０８に与えることができる。

推薦エンジン３０８は、プロファイルエンジン３２６によって処理されたデータに関する、修復、変換、およびデータ強化推薦を識別することができる。プロファイルエンジン３２６によって生成されたメタデータを用いて、このメタデータが示す統計分析および／または分類に基づいてデータに関する推薦を判断することができる。いくつかの実施形態において、推薦は、ユーザインターフェイスまたはその他のウェブサービスを通してユーザに提供できる。推薦は、どのようなデータ修復または強化を利用できるか、これらの推薦を如何にして過去のユーザアクティビティと比較するか、および／または未知のアイテムを既存の知識またはパターンに基づいて如何にして分類するかを推薦がハイレベルで記述するように、ビジネスユーザに合わせて調整することができる。知識サービス３１０は、１つ以上の知識グラフまたはその他の知識ソース３４０にアクセスできる。この知識ソースは、ウェブサイト、ウェブサービス、キュレートされた知識ストア、およびそれ以外のソースによって公開されている公的に入手できる情報を含み得る。推薦エンジン３０８は、知識サービス３１０に対し、ソースから取得したデータについてユーザに推薦できるデータを要求する（たとえば問合せる）ことができる。

いくつかの実施形態において、変換エンジン３２２は、ユーザインターフェイス３０６を通して、入力されたデータセットの、列ごとにサンプリングされたデータまたはサンプル行をユーザに対して示すことができる。データ強化サービス３０２は、ユーザインターフェイス３０６を通して、推薦される変換をユーザに示してもよい。この変換は、変換命令に対応付けられていてもよい。変換命令は、変換アクションを実行するためのコードおよび／または関数呼出しを含み得る。変換命令は、ユーザによって、ユーザインターフェイス３０６での選択に基づいて呼び出されてもよく、たとえば、変換に関する推薦を選択することにより、または、オペレーションを示す入力（たとえばオペレータコマンド）を受信することにより、呼び出されてもよい。一例において、変換命令は、エンティティ情
報に基づいてデータの少なくとも１つの列をリネームするための命令を含み得る。データの少なくとも１つの列をデフォルト名にリネームするための他の変換命令を受けることもある。デフォルト名は、予め定められた名称を含み得る。デフォルト名は、データの列の名称を判断できないまたはこの列の名称が定義されていない場合の、規定のいかなる名称であってもよい。変換命令は、エンティティ情報に基づいて少なくとも１つの列を再フォーマットするための変換命令、および、エンティティ情報に基づいてデータの少なくとも１つの列を難読化するための命令を含み得る。いくつかの実施形態において、変換命令は、エンティティ情報に基づいて知識サービスから取得したデータの１つ以上の列を追加するための強化命令を含み得る。

ユーザはユーザインターフェイス３０６を通して変換アクションを実行することができ、変換エンジン３２２はデータソースから取得したデータをこれらのアクションに適用し結果を表示することができる。これは、即時フィードバックをユーザに与え、このフィードバックを用いて変換エンジン３２２の構成の効果を可視化して検証することができる。いくつかの実施形態において、変換エンジン３２２は、プロファイルエンジン３２６と、推薦する変換アクションを提供する推薦エンジン３０８とから、パターンおよび／またはメタデータ情報（たとえば列の名称とタイプ）を受けることができる。いくつかの実施形態において、変換エンジン３２２は、データに対する変更を調整しトラッキングすることにより、取り消し、やり直し、削除、および編集イベントを容易にする、ユーザイベントモデルを提供することができる。このモデルは、アクション間の従属性を捕えることにより、現在の構成が矛盾のない状態に保たれるようにすることができる。たとえば、ある列が削除される場合は、この列に関して推薦エンジン３０８が提供する推薦変換アクションも削除すればよい。同様に、ある変換アクションの結果新たな列が挿入されこのアクションが削除される場合は、この新たな列に対して実行されるいかなるアクションも削除される。

上記のように、処理中に、受信データを分析することができ、推薦エンジン３０８は、このデータに対して実施する、強化、修復、およびそれ以外の変換を含む１つ以上の推薦される変換を示すことができる。データ強化のために推薦される変換は、一組の変換で構成されてもよく、各変換は、データに対して実施する、１つの変換アクションまたはアトミック変換である。変換は、上記組における別の変換によって過去に変換されたデータに対して実施されてもよい。一組の変換は、一組の変換実行後に得られるデータが強化されるように、並列に実行されても特定の順序で実行されてもよい。一組の変換は、変換仕様に従って実施されてもよい。変換仕様は、プロファイルエンジン３２６によって生成されたデータに対する一組の変換各々をどのようにいつ実施するかを示す変換命令と、推薦エンジン３０８が判断したデータを強化するための推薦とを含み得る。アトミック変換の例は、限定されないが、ヘッダへの変換、転換、削除、分割、結合、および修復を含み得る。一組の変換に従って変換されたデータに対して一連の変更がなされてもよい。これらの変更は各々、中間データが強化されるという結果をもたらす。一組の変換に対して中間ステップで生成されるデータは、耐障害性分散データセット（Resilient Distributed Dataset）（ＲＤＤ）、テキスト、データ記録フォーマット、ファイルフォーマット、その他
いずれかのフォーマット、またはその組合わせ等のフォーマットで格納されてもよい。

いくつかの実施形態において、データ強化サービス３０２のいずれかの要素によって実行されたオペレーションの結果として生成されたデータは、限定されないがＲＤＤ、テキスト、ドキュメントフォーマット、その他任意の種類のフォーマット、またはこれらを組合わせたものを含む、中間データフォーマットで格納されてもよい。中間フォーマットで格納されたデータを用いて、データ強化サービス３０２のためのオペレーションをさらに実行してもよい。

以下の表は変換の例を示す。表１は変換アクションの種類の概要を示す。

表２は表１に示されるカテゴリの種類に属さない変換アクションを示す。

以下の表３は、変換例の種類の例を示す。具体的には、表３は、変換アクションの例を示し、これらのアクションに対応する変換の種類を説明している。たとえば、変換アクションは、データ内のホワイトリストからのワードの存在の検出に基づいてデータをフィルタリングすることを含み得る。ユーザが「Android」または「iPhone（登録商標）」を含
む通信（たとえばツイート）の追跡を希望する場合、変換アクションに、与えられたホワイトリストを含む上記２つのワードを追加すればよい。これは、ユーザのためにデータを強化し得る方法の一例に過ぎない。

推薦エンジン３０８は、知識サービス３１０および知識ソース３４０からの情報を用いることにより、変換エンジン３２２に対する推薦を生成することができ、かつ、変換エンジン３２２に対しデータを変換する変換スクリプトを生成するよう命令することができる。変換スクリプトは、プログラム、コード、または命令を含み得る。この変換スクリプト
は１つ以上の処理ユニットによって実行可能であり、そうすることによって受信データを変換できる。このように、推薦エンジン３０８は、ユーザインターフェイス３０６と知識サービス３１０との間を媒介する機能を果たすことができる。

上記のように、プロファイルエンジン３２６は、データソースからのデータを分析することにより、何らかのパターンがあるか否か判断することができ、何らかのパターンがある場合、そのパターンを分類できるか否か判断することができる。データソースから取得したデータが正規化されると、このデータを構文解析することにより、データの構造内の１つ以上の属性またはフィールドを識別してもよい。パターンは、各々がラベル（「タグ」）を有しカテゴリによって定義される正規表現の集合体を用いて識別し得る。データをさまざまなタイプのパターンと比較することにより、そのパターンを識別してもよい。識別可能なパターンの種類の例は、限定されないが、整数、小数、日付または日付／時間ストリング、ＵＲＬ、ドメインアドレス、ＩＰアドレス、電子メールアドレス、バージョン番号、ロケール識別子、ＵＵＩＤおよびその他の十六進法の識別子、社会保障番号、米国の私書箱番号、典型的な米国のストリートアドレスパターン、郵便番号、米国の電話番号、部屋番号、クレジットカード番号、固有名詞、個人情報、ならびにクレジットカード発行会社を含み得る。

いくつかの実施形態において、プロファイルエンジン３２６は、データ内のパターンを、意味制約または統語制約によって定義された一組の正規表現に基づいて識別し得る。正規表現を用いることにより、データの形状および／または構造を判断できる。プロファイルエンジン３２６は、オペレーションまたはルーチンを実装する（たとえば正規表現に対する処理を実行するルーチンのＡＰＩを呼び出す）ことにより、１つ以上の正規表現に基づいてデータ内のパターンを判別してもよい。たとえば、統語制約に基づいてあるパターンに関する正規表現をデータに適用することにより、データ内のこのパターンを識別可能か否か判断してもよい。

プロファイルエンジン３２６は、１つ以上の正規表現を用いて構文解析作業を実行することにより、プロファイルエンジン３２６によって処理されるデータにおけるパターンを識別することができる。正規表現は、階層に従って並べられてもよい。パターンは、正規表現の複雑度の順に基づいて識別されてもよい。複数のパターンが、分析対象のデータと一致する場合があり、複雑度がより高いパターンが選択される。以下でさらに説明するように、プロファイルエンジン３２６は、統計的分析を実行することにより、複数のパターンを、これらのパターンの判断のために用いられる正規表現の適用に基づいて区別してもよい。

いくつかの実施形態において、構造化されていないデータを処理することにより、このデータ内のメタデータ記述属性を分析してもよい。メタデータ自身はデータに関する情報を示し得る。このメタデータを比較することにより、類似性を識別するおよび／または情報の種類を判断することができる。データに基づいて識別した情報を比較することにより、データのタイプ（たとえばビジネス情報、個人識別情報、または住所情報）を認識し、パターンに対応するデータを識別することができる。

実施形態に従い、プロファイルエンジン３２６は、統計的分析を実行することにより、データ内のパターンおよび／またはテキストを区別してもよい。プロファイルエンジン３２６は、統計的分析に基づく統計情報を含むメタデータを生成してもよい。パターンが識別されると、プロファイルエンジン３２６は、異なるパターン各々に関する統計情報（たとえばパターンメトリック）を求めることにより、パターンとパターンを区別してもよい。統計情報は、認識対象の異なるパターンに関する標準偏差を含み得る。統計情報を含むメタデータは、推薦エンジン３０８等の、データ強化サービス３０２の他のコンポーネン
トに提供してもよい。たとえば、メタデータを推薦エンジン３０８に提供することにより、推薦エンジン３０８が、識別されたパターンに基づいてデータの強化のための推薦を決定できるようにしてもよい。推薦エンジン３０８は、パターンを用いて知識サービス３１０に問合せを行なうことにより、パターンに関する追加情報を取得することができる。知識サービス３１０は、１つ以上の知識ソース３４０を含み得る、または、１つ以上の知識ソース３４０にアクセスできる。知識ソースは、ウェブサイト、ウェブサービス、キュレートされた知識ストア、およびその他のソースが公開する、公的に入手可能な情報を含み得る。

プロファイルエンジン３２６は、統計的分析を実行することにより、データ内の識別されたパターンを区別してもよい。たとえば、プロファイルエンジン３２６が分析したデータを評価することにより、データ内の識別された異なるパターン各々についてパターンメトリック（たとえばデータ内の異なるパターンの統計度数）を計算してもよい。各パターンメトリックの組は、識別されたパターンの中で異なるパターンについて計算される。プロファイルエンジン３２６は、異なるパターンについて計算されたパターンメトリック間の相違を判断してもよい。この相違に基づいて、識別されたパターンの中から１つのパターンが選択されてもよい。たとえば、データ内のパターンの度数に基づいて、あるパターンを別のパターンから区別してもよい。別の例において、複数の異なるフォーマットを有する日付でデータが構成されておりこれらのフォーマットがそれぞれ異なるパターンに対応する場合、プロファイルエンジン３２６は、日付を、正規化に加えて標準フォーマットに変換してもよく、その次に、異なるパターンから各フォーマットの標準偏差を求めてもよい。この例において、プロファイルエンジン３２６は、標準偏差が最低のフォーマットがある場合に、複数のフォーマットを統計的に区別し得る。標準偏差が最低のデータのフォーマットに対応するパターンを、データのベストパターンとして選択してもよい。

プロファイルエンジン３２６は、識別するパターンの分類を判断してもよい。プロファイルエンジン３２６は、知識サービス３１０と通信することにより、識別したパターンを知識ドメイン内で分類できるか否か判断してもよい。知識サービス３１０は、マッチング技術および類似性分析等の本明細書で説明する技術に基づいて、データに対応付けられた可能な１つ以上のドメインを判断してもよい。知識サービス３１０は、プロファイルエンジン３２６に、パターンで識別されたデータと類似する可能性がある１つ以上のドメインの分類を提供してもよい。知識サービス３１０は、知識サービス３１０が識別したドメイン各々について、ドメインに対する類似度を示す類似性メトリックを提供してもよい。類似性メトリック分析およびスコアリングについて本明細書に開示する技術を、推薦エンジン３０８によって適用することにより、プロファイルエンジン３２６が処理するデータの分類を判断してもよい。プロファイルエンジン３２６が生成するメタデータは、適用できるものがあれば知識ドメインに関する情報と、プロファイルエンジン３２６が分析したデータに対する類似度を示すメトリックとを含み得る。

プロファイルエンジン３２６は、統計的分析を実行することにより、データ内のパターンが識別されるか否かにかかわらず、データ内の識別されたテキストを区別してもよい。テキストはパターンの一部であってもよく、テキストの分析を用いることにより、識別可能なものがあればさらにパターンを識別してもよい。プロファイルエンジン３２６は、テキストに対するドメイン分析の実行を知識サービス３１０に要求することにより、テキストを１つ以上のドメインに分類できるか否か判断してもよい。知識サービス３１０は、分析しているテキストに適用できる１つ以上のドメインに関する情報を提供するように機能し得る。知識サービス３１０がドメインを判断するために実行する分析は、データのドメインを判断するために使用される類似性分析等の本明細書で説明する技術を用いて実行されてもよい。

いくつかの実施形態において、プロファイルエンジン３２６は、データセット内のテキストデータを識別してもよい。テキストデータは、一組のエンティティのうちの識別された各エンティティに対応し得る。識別されたエンティティごとに分類を判断してもよい。プロファイルエンジン３２６は、知識サービスに対し、エンティティの分類を識別するよう要求してもよい。一組のエンティティ（たとえば１つの列内のエンティティ）について一組の分類を判断すると、プロファイルエンジン３２６は、一組のメトリック（「分類メトリック」を計算することにより、一組の分類を区別してもよい。一組のメトリック各々は、一組の分類のうちのそれぞれの分類について計算されてもよい。プロファイルエンジン３２６は、一組のメトリックを、互いに比較することにより区別して、この一組のエンティティの分類として最も近い分類を決定してもよい。一組のエンティティの分類は、この一組のエンティティを表わす分類に基づいて選択されてもよい。

知識サービス３１０は、知識ソース３４０を用いて、プロファイルエンジン３２６によって識別されたパターンのコンテキストのマッチングを行なうことができる。知識サービス３１０は、データ内の識別されたパターンを、またはテキスト内にあるのであればデータを、知識ソースに格納されている各種エンティティのエンティティ情報と比較してもよい。エンティティ情報は、知識サービス３１０を用いて、１つ以上の知識ソース３４０から取得してもよい。周知のエンティティの例は、社会保障番号、電話番号、住所、固有名詞、またはその他の個人情報を含み得る。データを各種エンティティのエンティティ情報と比較することにより、識別されたパターンに基づいて１つ以上のエンティティと一致するか否か判断してもよい。たとえば、知識サービス３１０は、「ＸＸＸ−ＸＸ−ＸＸＸＸ」というパターンを、米国社会保障番号のフォーマットとマッチングすることができる。さらに、知識サービス３１０は、社会保障番号は保護されておりまたは機密情報でありその開示はさまざまな処罰につながると判断することができる。

いくつかの実施形態において、プロファイルエンジン３２６は、統計分析を実行することにより、プロファイルエンジン３２６が処理したデータについて識別された複数の分類を区別することができる。たとえば、テキストが複数のドメインで分類されている場合、プロファイルエンジン３２６は、データを処理することにより、知識サービス３１０が判断した適切な分類を統計的に求めることができる。分類の統計的分析は、プロファイルエンジン３２６が生成したメタデータに含まれていてもよい。

パターンの識別に加えて、プロファイルエンジン３２６は、データを統計的に分析することができる。プロファイルエンジン３２６は、大量のデータの内容を特徴付けることができ、かつ、このデータに関する全体統計とこのデータの内容の、たとえばその値、パターン、タイプ、構文、意味およびその統計的特性の、列ごとの分析を提供することができる。たとえば、数値データを統計的に分析することができ、これはたとえば、Ｎ、平均、最大値、最小値、標準偏差、歪度、尖度、および／または２０ビンのヒストグラム（Ｎが１００よりも大きく固有値がＫよりも大きい場合）を含む。次の分析のために内容を分類してもよい。

一例において、全体統計は、限定されないが、行の数、列の数、記入されていない列と記入されている列の数およびこれらがどのように変化するか、異なる行と重複する行、ヘッダ情報、タイプまたはサブタイプによって分類される列の数、ならびに、機密保護またはその他の警告付の列の数を含み得る。列固有の統計は、記入されている行（たとえばＫ最大度数、Ｋ最低度数固有値、固有パターン、および（適用可能であれば）タイプ）、度数分布、テキストメトリック（たとえば、テキスト長、トークンカウント、句読点、パターンベースのトークン、および導出されたさまざまな有用テキスト特性の、最小値、最大値、平均値）、トークンメトリック、データタイプおよびサブタイプ、数値列の統計的分析、大部分が構造化されていないデータの列内で見出される、Ｌ最大／最小確率単純また
は複合用語またはｎグラム、ならびに、この固有語彙によってマッチングされる参照知識カテゴリ、日付／時間パターンの発見およびフォーマッティング、参照データ一致、ならびに、原因となる列見出しラベルを、含み得る。

結果として得られたプロファイルを用いて、次の分析のために内容を分類することにより、直接または間接的に、データの変換を示唆して、データソース間の関係を識別するとともに、前に取得したデータのプロファイルに基づいて設計された一組の変換を適用する前に新たに取得したデータの妥当性確認を実行することができる。

プロファイルエンジン３２６によって作成されたメタデータを、推薦エンジン３０８に与えることにより、１つ以上の変換推薦を生成することができる。データの識別されたパターンと一致するエンティティを用いてデータを強化することができる。このデータは、知識サービス３１０を用いて判断された分類によって識別されたエンティティを用いて強化される。いくつかの実施形態において、識別されたパターン（たとえば都市および州）に関連するデータを、知識サービス３１０に与えることにより、知識ソース３４０から、識別されたパターンと一致するエンティティを取得してもよい。たとえば、知識サービス３１０を呼出し、識別されたパターンに対応するルーチン（たとえばgetCities()およびgetStates()）をコールすることにより、エンティティ情報を受けてもよい。この知識サービス３１０から受けた情報は、エンティティに関する適切なスペリングの情報（たとえば適切なスペリングの都市および州）を有する、エンティティのリスト（たとえばカノニカル（canonical）リスト）を含み得る。知識サービス３１０から取得した一致するエンテ
ィティに対応するエンティティ情報を用いて、データを強化する、たとえばデータを正規化する、データを修復する、および／またはデータを増補（augment）することができる
。

いくつかの実施形態において、推薦エンジン３０８は、知識サービス３１０から受けた一致したパターンに基づいて、変換推薦を生成することができる。たとえば、社会保障番号を含むデータの場合、推薦エンジンは、エントリを難読化する変換を推薦することができる（たとえば、エントリのうちのすべてまたは一部の切り捨て、ランダム化、または削除）。変換のその他の例は、データの再フォーマット（たとえばデータ内の日付の再フォーマット）、データのリネーム、データの強化（たとえば値を挿入するまたはカテゴリにデータを対応付ける）、データの検索と置換（たとえばデータのスペルを修正）、文字のケースの変更（たとえばケースを大文字から小文字に変更）、および、ブラックリストまたはホワイトリスト用語に基づくフィルタリングを、含み得る。いくつかの実施形態において、特定のユーザに合わせて推薦を調整してどのデータ修復または強化を利用できるかをこの推薦がハイレベルで説明するようにしてもよい。たとえば、難読化の推薦は、エントリの最初の５桁を削除することを示し得る。いくつかの実施形態において、推薦は、過去のユーザの活動に基づいて生成してもよい（たとえば以前に機密データを識別したときに使用した推薦変換を提供）。

変換エンジン３２２は、推薦エンジン３０８から提供された推薦に基づいて変換スクリプト（たとえば社会保障番号を難読化するためのスクリプト）を生成することができる。変換スクリプトは、オペレーションを実行することによってデータを変換し得る。いくつかの実施形態において、変換スクリプトは、データの線形変換を実現し得る。線形変換は、ＡＰＩ（たとえばSpark API）を通して実現されてもよい。変換アクションは、ＡＰＩ
を用いて呼び出されたオペレーションによって実施されてもよい。変換スクリプトは、ＡＰＩを用いて定義された変換オペレーションに基づいて構成されてもよい。オペレーションは推薦に基づいて実行されてもよい。

いくつかの実施形態において、変換エンジン３２２は、変換スクリプトを自動的に生成
してデータソースでデータを修復することができる。修復は、自動的に列をリネームすること、列内のストリングまたはパターンを置換すること、テキストのケースを修正すること、データを再フォーマットすること等を含み得る。たとえば、変換エンジン３２２は、変換スクリプトを生成することにより、日付の列を、推薦エンジン３０８からの、列内の日付のフォーマットの修正または変換の推薦に基づいて、変換することができる。推薦を複数の推薦の中から選択して、プロファイルエンジン３２６によって処理されたデータソースからのデータを強化または修正してもよい。推薦エンジン３０８は、プロファイルエンジン３２６から提供されたメタデータまたはプロファイルに基づいて推薦を決定してもよい。メタデータは異なるフォーマットについて識別された日付の列を示し得る（たとえばＭＭ／ＤＤ／ＹＹＹＹ、ＤＤ−ＭＭ−ＹＹ等）。変換エンジン３２２によって生成された変換スクリプトは、たとえば、推薦エンジン３０８からの提案に基づいて列を分割および／または結合することができる。変換エンジン３２２はまた、プロファイルエンジン３２６から受けたデータソースプロファイルに基づいて列を削除してもよい（たとえば空の列、またはユーザが望まない情報を含む列を削除する）。

変換スクリプトは、１つ以上のアルゴリズム（たとえばSparkオペレータツリー）に対
するオペレーションを記述する構文を用いて定義し得る。よって、構文はオペレータ−ツリーの変換／簡約化を記述し得る。変換スクリプトは、グラフィカルユーザインターフェイスを介した対話を通してユーザが選択した推薦に基づいてまたはユーザによって要求されて生成されてもよい。推薦される変換の例は、図４Ａ、図４Ｂ、図４Ｃ、および図４Ｄを参照しながら説明する。グラフィカルユーザインターフェイスを通してユーザが指定した変換オペレーションに基づいて、変換エンジン３２２はこのオペレーションに従って変換オペレーションを実行する。変換オペレーションをユーザに対して推薦することによりデータセットを強化してもよい。

以下でさらに説明するように、クライアント３０４は、推薦された各変換を記述するかそうでなければ示す推薦を表示することができる。ユーザが変換スクリプトの実行を選択した場合、選択された変換スクリプトは、推薦される変換を決定するために分析されたデータに加えてデータソースからのデータすべてまたはそれ以上に対して実行することができる。その結果変換されたデータは、次に公開エンジン３２４によって１つ以上のデータターゲット３３０に対して公開することができる。いくつかの実施形態において、データターゲットは、データソースとは異なるデータストアである。いくつかの実施形態において、データターゲットはデータソースと同一のデータストアであってもよい。データターゲット３３０は、パブリッククラウドストレージサービス３３２、プライベートクラウドストレージサービス３３４、その他さまざまなクラウドサービス３３６、ＵＲＬまたはウェブベースのデータターゲット３３８、またはその他任意のアクセス可能なデータターゲットを含み得る。

いくつかの実施形態において、推薦エンジン３０８は、識別されたプラットフォームに関連するその他のデータについて知識サービス３１０に問合せることができる。たとえば、データが都市名の列を含む場合、関連データ（たとえば場所、州、人口、国等）を識別することができ、関連データでデータセットを強化するという推薦を表示することができる。ユーザインターフェイスを通した推薦の表示およびデータ変換の例は、以下において図４〜図４Ｄを参照しながら示す。

知識サービス３１０は、マッチング方法を実装することにより、データを、知識サービス３１０を通して入手できる参照データと比較することができる。知識サービス３１０は、１つ以上の知識ソース３４０を含み得るまたは１つ以上の知識ソース３４０にアクセスできる。知識ソースは、ウェブサイト、ウェブサービス、キュレートされた知識ストア、およびそれ以外のソースによって公開されている公的に入手できる情報を含み得る。知識
サービス３１０は、２つ以上のデータセット間の意味類似性を判断するための方法を実装することができる。これは、知識サービス３１０を通して入手できる参照データに対してユーザのデータをマッチングする場合も使用できる。知識サービス３１０は、本開示に記載されている類似性メトリック分析を実行し得る。知識サービス３１０によって実施される技術は、本明細書に援用されている文献に記載されている技術を含む、本開示に記載されている技術を含む。

知識サービス３１０は、自動データ分析を実装するためのオペレーションを実行することができる。いくつかの実施形態において、知識サービス３１０は、Word2Vec等の教師なし機械学習ツールを用いて入力データセットを分析することができる。Word2Vecは、テキスト入力（たとえば大きなデータソースからのテキストコーパス）を受けて各入力ワードのベクトル表現を生成することができる。次に、その結果得たモデルを用いて任意入力された一組のワードの関連性がどれほど高いかを識別してもよい。たとえば、大きなテキストコーパス（たとえばニュースアグリゲータまたはその他のデータソース）を用いて構築されたWord2Vecモデルを利用して、対応する数値ベクトルを入力ワードごとに求めることができる。これらのベクトルが分析される際に、ベクトルはベクトル空間内で「近い」（ユークリッドの意味で）と判断されることがある。これは入力ワードが関連していると識別することができるが（たとえばベクトル空間内で互いに近接してクラスタリングされている入力ワードを識別する）、Word2Vecは、ワードを説明するラベル（たとえば「メーカー」）を識別するには有用でない場合がある。知識サービス３１０は、キュレートされた知識ソース３４０（たとえばMax Planck Institute for InformaticsのＹＡＧＯ）を用いて関連ワードをカテゴリ分類するためのオペレーションを実装してもよい。知識サービス３１０は、知識ソース３４０からの情報を用いて、入力データセットに対してその他の関連データを追加することができる。

いくつかの実施形態において、知識サービス３１０は、トライグラムモデリングを実行することによって関連する用語のカテゴリ分類をさらに精密にするためのオペレーションを実装し得る。トライグラムモデリングを用いてワードの組をカテゴリ識別のために比較することができる。入力データセットは関連する用語で増補することができる。

知識サービス３１０は、追加データを含み得る入力データセットを用いて、マッチング方法（たとえばグラフマッチング法）を実装することにより、増補データセットからのワードを、知識ソース３４０からのデータのカテゴリと比較することができる。知識サービス３１０は、増補データセットと知識ソース３４０内の各カテゴリとの意味類似性を判断してそのカテゴリの名称を識別するための方法を実装することができる。カテゴリの名称は、最大類似性メトリックに基づいて選択してもよい。類似性メトリックは、カテゴリ名と一致するデータセット内の用語の数に基づいて計算されてもよい。カテゴリは、類似性メトリックに基づいて一致する最大数の用語に基づいて選択されてもよい。類似性分析およびカテゴリ分類のために実行される技術およびオペレーションを、以下においてさらに説明する。

いくつかの実施形態において、知識サービス３１０は、入力データセットを増補することができ、知識ソース３４０からの情報を用いて入力データセットにその他の関連データを追加することができる。たとえば、Word2Vec等のデータ分析ツールを用いて、ニュース収集サービスからのテキストコーパスのような知識ソースからの入力データセットに含まれているワードに意味的に類似するワードを識別することができる。いくつかの実施形態において、知識サービス３１０は、トライグラムモデリングを実装することにより、知識ソース３４０（ＹＡＧＯ等）から取得したデータを処理して、カテゴリによってインデックスが作成されたワードの表を生成することができる。知識サービス３１０は次に、増補されたデータセット内のワードごとにトライグラムを作成しそのワードをインデックス付
の知識ソース３４０からのワードとマッチングすることができる。

知識サービス３１０は、増補データセット（またはトライグラム一致増補データセット）を用いて、マッチングモジュール３１２に対し、増補データセットからのワードを、知識ソース３４０からのデータのカテゴリと比較するよう要求することができる。たとえば、知識ソース３４０内のデータの各カテゴリはツリー構造で表現することができる。ツリー構造のルート（root）ノードはカテゴリを表わし各リーフ（leaf）ノードはそのカテゴリに属するそれぞれのワードを表わす。知識サービス３１０は、増補データセットと知識ソース５１０内の各カテゴリとの意味類似性を判断するための方法（たとえばJaccard係
数またはその他の類似性メトリック）を実装することができる。次に、増補データセットと一致する（たとえば類似性メトリックが最大である）カテゴリの名称をラベルとして入力データセットに適用することができる。

いくつかの実施形態において、知識サービス３１０は、２つのデータセットＡおよびＢの類似性を、データセットＡおよびＢの共通集合の大きさの、これらのデータセットの合併集合の大きさに対する比率を求めることによって判断できる。たとえば、類似性メトリックを、１）データセット（たとえば増補データセット）とカテゴリとの共通部分の大きさと、２）これらを合併したものの大きさとの比率に基づいて計算してもよい。類似性メトリックは、上記のように、データセットとカテゴリとの比較のために計算してもよい。よって、類似性メトリックの比較に基づいて「ベストマッチ」を判断してもよい。この比較に使用されるデータセットを、類似性メトリックを用いてベストマッチを判断したカテゴリに対応するラベルで増補することによって強化してもよい。

上記のように、その他の類似性メトリックを、Jaccard係数に加えてまたはその代わり
に使用してもよい。上記技術に対していかなる類似性メトリックも使用し得ることを当業者は理解するであろう。代替の類似性メトリックのいくつかの例は、Dice-Sorensen係数
、Tversky係数、Tanimotoメトリック、およびコサイン類似度メトリックを含むが、これ
らに限定される訳ではない。

いくつかの実施形態において、知識サービス３１０は、Word2Vec等のデータ分析ツールを利用することにより、知識ソース３４０からのデータと知識ソースからのデータで増補し得る入力データとの間の一致度を示す精密なメトリック（たとえばスコア）を計算してもよい。スコア（「知識スコア」）は、入力データセットと比較対象のカテゴリとの類似度に関してより多くの知識を提供し得る。知識スコアによって、入力データを最も良く表わしているカテゴリ名をデータ強化サービス３０２が選択できるようにしてもよい。

上記技術において、知識サービス３１０は、知識ソース３４０における候補カテゴリ（たとえば属）の名称に対する、入力データセットにおける用語の一致の数をカウントしてもよい。この比較の結果から、完全な整数（whole integer）を表わす値を得ることがで
きる。よって、この値は、用語と用語の一致度を示すが、入力データセットと知識ソース内の各種用語との間の一致度は示さない場合がある。

知識サービス３１０は、Word2Vecを用いることにより、知識ソース内の各用語（たとえば種を表わす用語）と入力データの用語（たとえば種）との比較類似度を判断してもよい。知識サービス３１０は、Word2Vecを用いて入力データセットと知識ソースから取得した１つ以上の用語との類似性メトリック（たとえばコサイン類似度または距離）を計算することができる。コサイン類似度は、知識ソースから取得した用語のデータセット（たとえばドメインまたは属）と用語の入力データセットとの間のコサイン角度として計算してもよい。コサイン類似度メトリックは、Tanimotoメトリックと同様に計算してもよい。コサイン類似度に基づいて類似度メトリックを計算することにより、入力データセット内の各
用語を、その用語と候補カテゴリとの間の類似性のパーセンテージを示す値のような、完全値整数（whole-value integer）分の１とみなしてもよい。たとえば、タイヤメーカー
と名字との間の類似度メトリックを計算した結果、類似度メトリックは０．３かもしれない。一方、タイヤメーカーと企業名との間の類似度メトリックを計算した結果、類似度メトリックは０．５かもしれない。類似度メトリックを表わす非完全整数値を細かく比較することにより、一致度が高いカテゴリ名をより正確にすることができる。一致度が高いカテゴリ名を、値１に最も近い類似度メトリックに基づいて最も適切なカテゴリ名として選択してもよい。上記の例において、類似度メトリックに基づくと、企業名は正しいカテゴリである可能性が高い。よって、知識サービス３１０は、「名字」ではなく「企業」を、タイヤメーカーを含む、ユーザから提供されたデータ列に対応付ければよい。

知識サービス３１０は、知識グループ（たとえばドメインまたはカテゴリ）に関する情報を判断することができる。知識グループに関する情報は、グラフィカルユーザインターフェイスに表示することができる。知識ドメインに関する情報は、知識ドメインと用語の入力データセットとの間の類似度を示すメトリック（たとえば知識スコア）を含み得る。入力データを知識ソース３４０からのデータと比較してもよい。入力データセットは、ユーザによって指定されたデータセットからのデータの列に対応する場合がある。知識スコアは、入力データセットと、知識ソースから提供される１つ以上の用語との間の類似度を示し得る。各用語は知識ドメインに対応する。データの列は、場合によっては知識ドメインに属する用語を含み得る。

少なくとも１つの実施形態において、知識サービス３１０は、より正確なマッチングスコアを求めることができる。このスコアは、本明細書に援用されている文献を含む本明細書に記載の技術を利用するスコアリングの式を用いて計算された値に対応していてもよい。スコアリングの式により、２つのデータセット、たとえば、入力データセットと知識ソースから取得したドメイン（たとえば候補カテゴリ）の用語との間の意味類似性を求めてもよい。そのマッチングスコアがベストマッチ（たとえば最大マッチングスコア）を示すドメインを、入力データセットとの類似性が最大であるドメインとして選択してもよい。よって、入力データセット内の用語は、カテゴリとしてのドメイン名に対応付けられてもよい。

スコアリングの式を、入力データセットとドメイン（たとえば知識ソースから取得した用語のカテゴリ）に適用することにより、この入力データとドメインとの間の一致度を示すスコアを求めてもよい。ドメインは、集まってドメインを定義する１つ以上の用語を有し得る。スコアを用いることにより、入力データセットが最も類似するドメインを求めてもよい。入力データセットを、この入力データセットが最も類似するドメインを記述する用語に対応付けてもよい。

いくつかの実施形態において、ユーザインターフェイス３０６は、プロファイルエンジン３２６から提供されたメタデータに基づいて、グラフィカルなビジュアライゼーションを１つ以上生成することができる。上記のように、プロファイルエンジン３２６から提供されるデータは、プロファイルエンジン３２６によって処理されたデータに関するメトリックを示す統計情報を含み得る。プロファイリングされたデータのメトリックのグラフィカルなビジュアライゼーションの例は、図５Ａ〜図５Ｄに示される。グラフィカルなビジュアライゼーションは、グラフィカルダッシュボード（たとえばビジュアライゼーションダッシュボード）を含み得る。グラフィカルダッシュボードは複数のメトリックを示し得る。これら複数のメトリックは各々、データがプロファイリングされた時間に対する、データのリアルタイムメトリックを示す。グラフィカルなビジュアライゼーションはユーザインターフェイスに表示されてもよい。たとえば、グラフィカルなビジュアライゼーションをクライアントデバイスに送ることにより、クライアントデバイスが、クライアントデ
バイスのユーザインターフェイスに、グラフィカルなビジュアライゼーションを表示できるようにする。いくつかの実施形態において、グラフィカルなビジュアライゼーションはプロファイリング結果を提供し得る。

加えて、プロファイルエンジン３２６による構造分析により、推薦エンジンは、そのクエリをより適切に知識サービスに向けることができ、その結果、処理速度が改善されシステムリソースに対する負荷が低減される。たとえば、この情報を用いて、クエリ対象の知識の範囲を制限することにより、知識サービス３１０が数値データの列を場所名に対してマッチングするようなことが生じないようにすることができる。

図４Ａ〜図４Ｄは、本発明の実施形態に従う対話型データ強化を提供するユーザインターフェイスの例を示す。図４Ａに示されるように、代表的な対話型ユーザインターフェイス４００は、変換スクリプト４０２、推薦される変換４０４、および分析／変換の対象であるデータ４０６の少なくとも一部を表示することができる。パネルに一覧表示されている変換スクリプト４０２は、既にデータに適用されパネルで見ることができる変換４０６を含み得る。各変換スクリプト４０２は、ビジネスユーザにとってわかり易い単純な宣言型言語で記述することができる。パネルに一覧表示されている変換スクリプト４０２を、自動的にデータに適用し、対話型ユーザインターフェイス４００に表示されているデータ４０６の一部に反映させてもよい。たとえば、パネルに一覧表示されている変換スクリプト４０２は、その内容を記述すべきリネーム列を含む。対話型ユーザインターフェイス４００に示される列４０８は、変換スクリプト４０２に従って既にリネームされている（たとえば、列０００３はdate_time_02にリネームされ列０００７は「url」にリネームされ
ている等）。しかしながら、推薦される変換４０４はユーザのデータに自動的に適用されていない。

図４Ｂに示されるように、ユーザは推薦パネルの推薦４０４を見ることができこの推薦に基づいて変更すべきデータを識別することができる。たとえば、推薦４１０は、「Col_0008 to city」にリネームすることを推薦している。推薦は、（たとえばコードまたは疑似コードではなく）ビジネスユーザが理解できるように記述されているので、ユーザは対応するデータ４１２を簡単に識別できる。図４Ｂに示されるように、データ４１２はストリングの列（ユーザインターフェイス４００では行として表わされる）を含む。プロファイルエンジン３２６はデータを分析することによりこれが２つ以下のワード（またはトークン）のストリングを含むと判断することができる。このパターンを、知識サービス３１０に対してクエリすることができる推薦エンジン３１８に与えることができる。この場合、知識サービス３１０は、このデータパターンを都市名に対してマッチングし、推薦４０８はそれに応じて列をリネームするために生成された。

いくつかの実施形態において、パネルに一覧表示されている推薦４０４は、ユーザに向けて（たとえば変換を適用せよという命令に応じて）適用されていてもよく、または、自動的に適用されてもよい。たとえば、いくつかの実施形態において、知識サービス３１０は、所与のパターン一致に対して信頼性スコアを与えることができる。しきい値を推薦エンジン３０８に設定し、このしきい値よりも高い信頼性スコアを有する一致が自動的に適用されるようにすることができる。

ユーザは、推薦を受容れる場合、この推薦に対応付けられた受容アイコン４１４（この例では上向きの矢印のアイコン）を選択すればよい。図４Ｃに示されるように、そうすると、受容された推薦４１４は、変換スクリプト４０２のパネルに移動し、自動的に変換を対応するデータ４１６に適用する。たとえば、図４Ｃに示される実施形態において、Col_0008は、選択された変換に従って「city」にリネームされている。

いくつかの実施形態において、データ強化サービス３０２は、さらに他のデータ列をデータソースに加えることを提案できる。図４Ｄに示されるように、「city」の例を続けると、変換４１８は、都市の人口と経度および緯度を含む都市の位置の詳細とを含む新たな列でデータを強化することが受容されている。選択されると、ユーザのデータセットは、この追加情報４２０を含むように強化される。そうすると、このデータセットは、以前は総合的にかつ自動的にユーザが利用できなかった情報を含むことになる。この時点で、ユーザのデータセットを用いて、データセット内の他のデータに対応付けられた位置ゾーンおよび人口ゾーンからなる全国地図を作成することができる（たとえばこれを企業のウェブサイトトランザクションに対応付けてもよい）。

図５Ａ〜図５Ｄは、本発明の実施形態に従うデータセットのビジュアライゼーションを提供するさまざまなユーザインターフェイスの例を示す。

図５Ａは、本発明の実施形態に従うデータセットのビジュアライゼーションを提供するユーザインターフェイスの一例を示す。図５Ａに示されるように、代表的な対話型ユーザインターフェイス５００は、プロファイル概要５０２（「プロファイル結果」）と、変換スクリプト５０４と、推薦される変換５０６と、分析／変換対象のデータの少なくとも一部５０８とを表示することができる。パネルに一覧表示されている変換５０４は、既にデータに適用されパネルにおいて見ることができる変換５０８を含み得る。

プロファイル概要５０２は、全体統計（たとえば行総数および列総数）と、列特有の統計とを含み得る。列特有の統計は、データ強化サービス３０２によって処理されたデータの分析によって生成することができる。いくつかの実施形態において、列特有の統計は、データ強化サービス３０２によって処理されたデータの分析によって求められた列情報に基づいて生成することができる。

プロファイル概要５０２は、米国の地図（たとえば「ヒートマップ」）を含み得る。この地図では、分析対象のデータ５０８から識別された統計に基づいて、米国の異なる地域が色を変えて示される。この統計は、これらの場所が、データに対応付けられていると識別された頻度を示していてもよい。説明のための一例において、データはオンライン小売店における購入トランザクションを表わしていてもよく、この場合の各トランザクションは、たとえば配送先／請求先住所に基づいてまたは記録されているＩＰアドレスに基づいて）場所に対応付けることができる。プロファイル概要５０２は、購入トランザクションを表わすデータの処理に基づいてトランザクションの場所を示してもよい。いくつかの実施形態において、ビジュアライゼーションをユーザ入力に基づいて修正することにより、ユーザがデータを検索して有益な相関関係を見出すのを支援することができる。これらの特徴を以下でさらに説明する。

図５Ｂ、図５Ｃおよび図５Ｄは、データセットの対話型データ強化の結果の例を示す。図５Ｂはプロファイルメトリックパネル５４２を含み得るユーザインターフェイス５４０を示す。パネル５４２は、選択されたデータソースに対応付けられたメトリックの要約を示すことができる。図５Ｃに示されるように、いくつかの実施形態において、プロファイルメトリックパネル５６０は、データセット全体ではなく特定列のメトリック５６２を含み得る。たとえば、ユーザは、ユーザのクライアントデバイス上で特定の列を選択すればよく、そうすると対応する列のプロファイル５６４を表示することができる。この例において、プロファイラは、column_0008と、知識ソースの既知の都市との間の一致が９２％
であることを示す。いくつかの実施形態において、確率が高いことにより、変換エンジンが自動的にcol_0008のラベルを「city」にするようにできる。

図５Ｄは、全体的なメトリック５８２（たとえばデータセット全体に関連するメトリッ
ク）と、列ごとのビジュアライゼーション５８４とを含み得るプロファイルメトリックパネル５８０を示す。列ごとのビジュアライゼーション５８４は、ユーザによって選択されるおよび／または使用されることにより、（たとえばクリック、ドラッグ、スワイプ等によって）データをナビゲートすることができる。上記の例は、小さなデータセットへの簡単な変換を示す。同様のまたはより複雑な処理を、何十億もの記録を含む大きなデータセットに自動的に適用することもできる。

図６を参照して、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図で示されるプロセスとして説明し得る。フローチャートはオペレーションを逐次プロセスとして説明する場合があるが、これらのオペレーションのうちの多くは並列してまたは同時に実行し得る。加えて、オペレーションの順序は構成し直してもよい。プロセスは、そのオペレーションが完了したときに終了するが、図面には含まれていないさらに他のステップを有することがある。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応し得る。プロセスが関数に対応する場合、その終わりは、その関数の、呼出し関数またはメイン関数へのリターンに対応し得る。

図６に示すプロセスは、１つ以上の処理ユニット（たとえばプロセッサコア）によって実行されるソフトウェア（たとえばコード、命令、プログラム）、ハードウェア、または、これらを組合わせたもので、実装し得る。ソフトウェアはメモリ（たとえばメモリデバイス、非一時的なコンピュータ読取可能な記憶媒体）に格納されていてもよい。いくつかの実施形態において、本明細書のフローチャートに示されるプロセスは、データ強化サービス、たとえばデータ強化サービス３０２のコンピューティングシステムによって実装できる。本開示における特定の一連の処理ステップは限定を意図しているのではない。代替の実施形態に従って他の順序のステップも実施し得る。たとえば、本発明の代替の実施形態は、先に概要を述べたステップを他の順序で実行し得る。加えて、図面に示される個々のステップは、個々のステップに適したさまざまな順序で実行し得る複数のサブステップを含み得る。さらに、特定の用途に応じてその他のステップを追加してもよく削除してもよい。当業者は数多くの変形、修正および代替例を認識するであろう。

いくつかの実施形態のある側面において、図６のフローチャートの各プロセスは、１つ以上の処理ユニットによって実行できる。１つの処理ユニットは、シングルコアもしくはマルチコアプロセッサ、プロセッサの１つ以上のコア、またはその組合わせを含む、１つ以上のプロセッサを含み得る。いくつかの実施形態において、１つの処理ユニットは、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）等の専用コプロセッサを１つ以上含み得る。いくつかの実施形態において、処理ユニットのうちの一部またはすべてを、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のカスタマイズされた回路を用いて実装することができる。

図６は、本発明の実施形態に従うデータ強化方法のフローチャートを示す。いくつかの実施形態において、図６に示されるプロセスは、データ強化サービス３０２のコンピューティングシステムによって実装することができる。ブロック６０２で、コンピューティングシステムの処理部は、１つ以上のデータソースからのデータにおけるパターンを識別してもよい。ブロック６０４で、コンピューティングシステムの処理部は、このパターンを、知識サービスから取得したエンティティ情報に対してマッチングすることができる。エンティティ情報は、エンティティに関する情報を示し得る。たとえば、エンティティは、住所、事業所名、場所、個人名、ＩＤ番号等であってもよい。上記のように、プロファイルエンジンは、知識サービスと１つ以上の知識ソースとを用いてデータにおけるパターンを識別できる。エンティティ情報は、知識サービスから、限定されないが、アレイ、レコード、リレーショナルデータベース表、ハッシュ表、連結リスト、またはそれ以外の種類のデータ構造を含む、多数の種類のデータ構造のうちの１つまたはその組合わせにおいて
取得してもよい。

ブロック６０６で、コンピューティングシステムの処理部は、エンティティ情報に基づいてデータのための１つ以上の変換スクリプトを生成することができる。たとえば、変換スクリプトを、エンティティ情報と一致するパターンに対応するデータを変換するために決定してもよい。データを変換することは、データの一部を更新、追加、または削除することを含み得る。変換スクリプトは、データを削除するため、データを再フォーマット（たとえば修正）するため、および／またはデータを強化（たとえば追加）するためのスクリプトを含み得る。エンティティ情報に対応するエンティティを用いて、どのデータを変換するかおよび如何にしてそのデータを変換するかを判断してもよい。エンティティ情報は、データにおいて、そのデータの１つ以上の属性に基づいて識別してもよい。ブロック６０８で、コンピューティングシステムの処理部は、上記１つ以上の変換スクリプトに対応する１つ以上の推薦を生成してもよい。ブロック６１０で、コンピューティングシステムの処理部は、上記１つ以上の推薦をユーザインターフェイスに表示してもよい。

ブロック６１２で、コンピューティングシステムの処理部は、上記１つ以上の推薦に基づく変換命令を受けてもよい。変換命令は、選択された１つ以上の推薦に基づいて、１つ以上のデータソースから受けたデータを如何にして修正および／または強化し得るかを示してもよい。いくつかの実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む。いくつかの実施形態において、その他の変換命令を受けてデータの少なくとも１つの列をデフォルト名にリネームすることができる。デフォルト名は、予め定められた名称を含み得る。デフォルト名は、データの列の名称を判断できないかまたはデータの列の名称が規定されていないときに予め規定されるどのような名称であってもよい。変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令と、エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示する変換命令とを含み得る。いくつかの実施形態において、変換命令は、エンティティ情報に基づいて知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含み得る。

ブロック６１４で、コンピューティングシステムの処理部は、変換命令に基づいてデータを変換してもよい。先に説明したように、変換命令は、如何にしてデータを強化および／または修正するかを示す。データは、選択された推薦に基づいてデータを強化および／または修正するために、本明細書に開示されているようなオペレーションを実行することによって変換してもよい。たとえば、データを再フォーマットすることを指示する変換命令に対し、データを修正によって変換して再フォーマットしてもよい。よって、変換されたデータを再フォーマットしてもよい。ブロック６１６で、コンピューティングシステムの処理部は、変換命令に基づいて変換後のデータを１つ以上のデータターゲットに対して公開してもよい。このフローチャートは６１８で終了してもよい。

図７は、実施形態を実装するための分散型システム７００の簡略図を示す。示されている実施形態において、分散型システム７００は、１つ以上のクライアントコンピューティングデバイス７０２，７０４，７０６，および７０８を含み、これらは、１つ以上のネットワーク７１０を通じて、ウェブブラウザ、専用クライアント（たとえば、Oracle Forms）等のクライアントアプリケーションを実行し操作するように構成される。サーバ７１２は、ネットワーク７１０を介してリモートクライアントコンピューティングデバイス７０２，７０４，７０６，および７０８と通信可能に結合されてもよい。

さまざまな実施形態において、サーバ７１２は、文書（たとえばウェブページ）の分析および修正に関連する処理を提供するサービスおよびアプリケーション等の１つ以上のサ
ービスまたはソフトウェアアプリケーションを実行するように適合させてもよい。特定の実施形態において、サーバ７１２はその他のサービスまたはソフトアプリケーションも提供し得る。これは非仮想および仮想環境を含み得る。いくつかの実施形態において、これらのサービスは、ウェブベースもしくはクラウドサービスとして、または、サービスとしてのソフトウェア（ＳａａＳ）モデルの下で、クライアントコンピューティングデバイス７０２，７０４，７０６，および／または７０８のユーザに提供し得る。クライアントコンピューティングデバイス７０２、７０４および７０６，および／または７０８を操作するユーザは、１つ以上のクライアントアプリケーションを利用してサーバ７１２と対話することにより、これらのコンポーネントによって提供されるサービスを利用し得る。

図７に示される構成において、システム７００のソフトウエアコンポーネント７１８、７２０および７２２は、サーバ７１２上で実装されるものとして示されている。他の実施形態において、システム７００のコンポーネントのうちの１つ以上および／またはこれらのコンポーネントによって提供されるサービスも、クライアントコンピューティングデバイス７０２，７０４，７０６，および／または７０８のうちの１つ以上によって実装されてもよい。そうすると、クライアントコンピューティングデバイスを操作するユーザは、１つ以上のクライアントアプリケーションを利用して、これらのコンポーネントによって提供されるサービスを使用し得る。これらのコンポーネントは、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組合わせにおいて実装し得る。分散型システム７００とは異なり得るさまざまな異なるシステムコンフィギュレーションが可能であることが認識されるはずである。図７に示される実施形態はしたがって、実施形態のシステムを実装するための分散型システムの一例であり、限定を意図していない。

クライアントコンピューティングデバイス７０２，７０４，７０６，および／または７０８は、さまざまな種類のコンピューティングシステムを含み得る。たとえば、クライアントデバイスは、Microsoft Windows Mobile（登録商標）等のソフトウェアおよび／またはiOS、Windows Phone、Android、BlackBerry 10、Palm OS等のようなさまざまなモバイ
ルオペレーティングシステムを実行する、ポータブルハンドヘルドデバイス（たとえばiPhone（登録商標）、携帯電話、iPad（登録商標）、コンピューティングタブレット、携帯情報端末（ＰＤＡ））またはウェアラブルデバイス（たとえばGoogle Glass（登録商標）ヘッドマウントディスプレイ）を含み得る。これらのデバイスは、さまざまなインターネット関連アプリケーション、電子メール、ショートメッセージサービス（ＳＭＳ）アプリケーションをサポートし得るものであり、その他さまざまな通信プロトコルを使用し得る。クライアントコンピューティングデバイスはまた、一例として、さまざまなバージョンのMicrosoft Windows（登録商標）、Apple Macintosh（登録商標）、および／またはLinux（登録商標）オペレーティングシステムを実行するパーソナルコンピュータおよび／ま
たはラップトップコンピュータ含む汎用パーソナルコンピュータを含み得る。クライアントコンピューティングデバイスは、限定されないがたとえばGoogle Chrome OS等のさまざまなGNU/Linux（登録商標）オペレーティングシステムを含む市場で入手可能な多様なUNIX（登録商標）またはUNIX（登録商標）系オペレーティングシステムのうちのいずれかを
実行するワークステーションコンピュータであってもよい。クライアントコンピューティングデバイスはまた、ネットワーク７１０を通して通信可能な、シンクライアントコンピュータ、インターネット接続可能なゲームシステム（たとえばKinect（登録商標）ジェスチャー入力デバイスを有するまたは有しないMicrosoft Xboxゲームコンソール）、および／またはパーソナルメッセージングデバイス等の電子デバイスを含み得る。

図７では４つのクライアントコンピューティングデバイスを有する分散型システム７００が示されているが、任意の数のクライアントコンピューティングデバイスをサポートし得る。センサを有するデバイス等の他のデバイスがサーバ７１２と対話してもよい。

分散型システム７００のネットワーク７１０は、限定されないがＴＣＰ／ＩＰ（Transmission control protocol/Internet protocol）、ＳＮＡ（systems network architecture）、ＩＰＸ（Internet packet exchange）、AppleTalk（登録商標）等を含む利用できるさまざまなプロトコルのうちのいずれかを使用してデータ通信をサポートできる、当業者によく知られた任意のタイプのネットワークであってもよい。一例に過ぎないが、ネットワーク７１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネット（登録商標）、トークンリングに基づくネットワーク、広域ネットワーク、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（たとえばInstitute of Electrical and Electronics（ＩＥＥＥ）８０２．１１プロトコルスイート、Bluetooth（登録商標）、および／または任意の他の無線プロトコルのうちのいずれかの下で動作するネットワーク）、および／または上記および／またはその他のネットワークの任意の組合わせであってもよい。

サーバ７１２は、１つ以上の汎用コンピュータ、専用サーバコンピュータ（一例としてＰＣ（パーソナルコンピュータ）サーバ、UNIX（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウントサーバ等を含む）、サーバファーム、サーバクラスタ、または任意の他の適切な構成および／または組合わせによって構成されていてもよい。サーバ７１２は、仮想オペレーティングシステムを実行する１つ以上の仮想マシン、または、仮想化を伴うその他のコンピューティングアーキテクチャを含み得る。論理記憶デバイスの１つ以上のフレキシブルなプールを仮想化することによってサーバのための仮想記憶デバイスを維持してもよい。仮想ネットワークは、サーバ７１２が、ソフトウェアで規定されるネットワーキングを用いて制御することができる。さまざまな実施形態において、サーバ７１２は、これまでの開示において記載されている１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合させてもよい。たとえば、サーバ７１２は、本開示の実施形態に係る上記処理を実行するためのサーバに対応し得る。

サーバ７１２は、上記オペレーティングシステムのうちのいずれかおよび市場で入手可能なサーバオペレーティングシステムを含むオペレーティングシステムを実行し得る。また、サーバ７１２は、ＨＴＴＰ（hypertext transport protocol）サーバ、ＦＴＰ（file
transfer protocol）サーバ、ＣＧＩ（common gateway interface）サーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバ等を含む、さまざまな付加的なサーバアプリケーションおよび／またはミッドティアアプリケーションのうちのいずれかを実行し得る。典型的なデータベースサーバは、Oracle、Microsoft、Sybase、ＩＢＭ（International Business Machines）等から市販されているものを含むが、これらに限定されない。

いくつかの実装例において、サーバ７１２は、クライアントコンピューティングデバイス７０２，７０４，７０６，および７０８のユーザから受信したデータフィードおよび／またはイベントアップデートを分析し統合するための１つ以上のアプリケーションを含み得る。一例として、データフィードおよび／またはイベントアップデートは、限定されないが、１つ以上の第三者情報源および連続データストリームから受信したTwitter（登録
商標）フィード、Facebook（登録商標）更新、またはリアルタイム更新を含み得る。これらはセンサデータアプリケーション、株式相場ディスプレイデバイス、ネットワーク性能測定ツール（たとえばネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車トラフィック監視等に関連するリアルタイムイベントを含み得る。また、サーバ７１２は、クライアントコンピューティングデバイス７０２，７０４，７０６，および７０８の１つ以上のディスプレイデバイスを介してデータフィードおよび／またはリアルタイムイベントを表示するための１つ以上のアプリケーションを含み得る。

分散型システム７００は、１つ以上のデータベース７１４および７１６も含み得る。これらのデータベースは、ユーザ対話情報、使用パターン情報、適応則情報、および本発明の実施形態で使用されるその他の情報等の情報を格納するためのメカニズムを提供し得る。データベース７１４および７１６はさまざまな場所に存在し得る。一例として、データベース７１４および７１６のうちの１つ以上は、サーバ７１２に対してローカルな場所にある（および／またはサーバ内にある）非一時的な記憶媒体上にあってもよい。代替的に、データベース７１４および７１６は、サーバ７１２から遠隔の場所に位置してネットワークベースのまたは専用接続を介してサーバ７１２と通信してもよい。一組の実施形態において、データベース７１４および７１６は、ストレージエリアネットワーク（ＳＡＮ）内にあってもよい。同様に、サーバ７１２に帰する機能を実行するために必要な任意のファイルを、適宜、サーバ７１２に対してローカルな場所におよび／またはサーバ７１２から遠隔の場所に格納してもよい。一組の実施形態において、データベース７１４および７１６は、ＳＱＬフォーマットの命令に応答してデータを記憶、更新、および検索するように適合している、Oracleによって提供されるデータベース等のリレーショナルデータベースを含み得る。

いくつかの実施形態において、上記文書分析および修正サービスは、クラウド環境を介したサービスとして提供されてもよい。図８は、本開示の実施形態に従う、サービスをクラウドサービスとして提供し得るシステム環境８００の１つ以上のコンポーネントの簡略化されたブロック図である。図８に示されている実施形態において、システム環境８００は、使用パターンに応じて文書（たとえばウェブページ）を動的に修正するためのサービスを含むクラウドサービスを提供するクラウドインフラストラクチャシステム８０２と対話するためにユーザが使用し得る１つ以上のクライアントコンピューティングデバイス８０４，８０６，および８０８を含む。クラウドインフラストラクチャシステム８０２は、サーバ８１２に関して先に述べたものを含み得る１つ以上のコンピュータおよび／またはサーバを含み得る。

図８に示されているクラウドインフラストラクチャシステム８０２は示されているもの以外のコンポーネントを有し得ることが認識されるはずである。さらに、図８に示される実施形態は、本発明の実施形態を組込むことができるクラウドインフラストラクチャシステムの一例に過ぎない。他のいくつかの実施形態において、クラウドインフラストラクチャシステム８０２は、図示されているよりも多いまたは少ないコンポーネントを有していてもよく、２つ以上のコンポーネントを組合わせてもよく、または異なる構成または配置のコンポーネントを有していてもよい。

クライアントコンピューティングデバイス８０４，８０６，および８０８は、７０２，７０４，７０６，および７０８について先に述べたものと同様のデバイスであってもよい。クライアントコンピューティングデバイス８０４，８０６，および８０８は、以下のようなクライアントアプリケーションを操作するように構成されていてもよく、このクライアントアプリケーションは、たとえば、クライアントコンピューティングデバイスのユーザがクラウドインフラストラクチャシステム８０２と対話してクラウドインフラストラクチャシステム８０２が提供するサービスを使用するために使用し得る、ウェブブラウザ、専用クライアント（たとえばOracle Forms）、またはその他何らかのアプリケーション等である。典型的なシステム環境８００は３つのクライアントコンピューティングデバイスとともに示されているが、任意の数のクライアントコンピューティングデバイスをサポートし得る。センサ等を有するデバイスのようなその他のデバイスがクラウドインフラストラクチャシステム８０２と対話してもよい。

ネットワーク８１０は、クライアント８０４，８０６、８０８とクラウドインフラスト
ラクチャシステム８０２との間のデータの通信およびやり取りを容易にし得る。各ネットワークは、ネットワーク８１０について先に述べたものを含むさまざまな市場で入手可能なプロトコルのいずれかを使用してデータ通信をサポートすることができる、当業者によく知られた任意のタイプのネットワークであってもよい。

特定の実施形態において、クラウドインフラストラクチャシステム８０２によって提供されるサービスは、クラウドインフラストラクチャシステムのユーザがオンデマンドで利用できるようにされる多数のサービスを含み得る。使用パターンに応じて動的に文書を修正することに関連するサービスに加えて、その他さまざまなサービスも提供し得る。これらのサービスは、限定されないが、オンラインデータストレージおよびバックアップソリューション、ウェブベースの電子メールサービス、ホストされたオフィスパッケージおよびドキュメントコラボレーションサービス、データベース処理、管理された技術サポートサービス等である。クラウドインフラストラクチャシステムによって提供されるサービスは、そのユーザのニーズに合わせて動的にスケーリングできる。

特定の実施形態において、クラウドインフラストラクチャシステム８０２によって提供されるサービスの具体的なインスタンス化は、本明細書において「サービスインスタンス」と呼ばれることがある。一般的に、クラウドサービスプロバイダのシステムからインターネット等の通信ネットワークを介してユーザが利用できるようにされる任意のサービスは、「クラウドサービス」と呼ばれる。典型的に、パブリッククラウド環境において、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは異なる。たとえば、クラウドサービスプロバイダのシステムは、アプリケーションをホストしてもよく、ユーザは、インターネット等の通信ネットワークを介してオンデマンドでアプリケーションをオーダーして使用すればよい。

いくつかのの例において、コンピュータネットワーククラウドインフラストラクチャにおけるサービスは、クラウドベンダーによってまたは当該技術において周知の他のやり方でユーザに提供される、記憶装置、ホストされたデータベース、ホストされたウェブサーバ、ソフトウェアアプリケーション、または他のサービスに対する保護されたコンピュータネットワークアクセスを含み得る。たとえば、サービスは、インターネットを通じたクラウド上の記憶装置に対するパスワードで保護されたアクセスを含むことができる。別の例として、サービスは、ネットワーク化されたデベロッパーによる私的使用のためのウェブサービスベースのホストされたリレーショナルデータベースおよびスクリプト言語ミドルウェアエンジンを含むことができる。別の例として、サービスは、クラウドベンダーのウェブサイト上でホストされた電子メールソフトウェアアプリケーションに対するアクセスを含むことができる。

特定の実施形態において、クラウドインフラストラクチャシステム８０２は、セルフサービスの、申込みに基づく、弾力的にスケーラブルで、確実で、非常に有効で、かつ安全なやり方で、顧客に与えられる、アプリケーション、ミドルウェア、およびデータベースサービス提供物一式を含み得る。そのようなクラウドインフラストラクチャシステムの一例は、本願の譲受人によって提供されるOracle Public Cloudである。

クラウドインフラストラクチャシステム８０２は、「ビッグデータ」に関連する計算および分析サービスも提供し得る。「ビッグデータ」という用語は一般的に、大量のデータを可視化する、傾向を発見する、および／またはそうでなければデータと対話するために、アナリストおよびリサーチャーが保存し操作することができる極めて大きなデータセットに言及するときに用いられる。このビッグデータおよび関連するアプリケーションは、多数のレベルおよびさまざまな規模でインフラストラクチャシステムがホストおよび／または操作することができる。並列にリンクされた何十、何百、または何千ものプロセッサ
が、このようなデータに対して機能することにより、それを示すまたはデータに対する外部からの力をもしくはそれが表わしているものをシミュレートすることができる。これらのデータセットは、データベース内でそうでなければ構造化モデルに従って組織されたデータのような構造化データ、および／または非構造化データ（たとえば電子メール、画像、データＢＬＯＢ（（binary large object）バイナリラージオブジェクト）、ウェブペ
ージ、複雑なイベント処理）を含み得る。より多くの（またはより少ない）計算リソースを比較的素早く目標物に向ける実施形態の能力を高めることにより、企業、政府機関、リサーチ組織、私人、同じ目的を有する個人もしくは組織、またはその他のエンティティからの要求に基づいて大きなデータセットに対するタスクを実行するにあたり、クラウドインフラストラクチャシステムをより有効にすることができる。

さまざまな実施形態において、クラウドインフラストラクチャシステム８０２は、クラウドインフラストラクチャシステム８０２から提供されるサービスに対する顧客の申込みを自動的にプロビジョニングし、管理し、かつ追跡するように適合させることができる。クラウドインフラストラクチャシステム８０２は、異なるデプロイメントモデルを介してクラウドサービスを提供し得る。たとえば、サービスは、（たとえばOracle社所有の）クラウドサービスを販売する組織によってクラウドインフラストラクチャシステム８０２が所有されるパブリッククラウドモデルの下で提供されてもよく、サービスは、一般大衆または異なる産業企業にとって利用可能とされる。別の例として、サービスは、クラウドインフラストラクチャシステム８０２が単一の組織のためにのみ運営され、組織内の１つ以上のエンティティのためのサービスを提供し得る個人のクラウドモデルの下で提供し得る。また、クラウドサービスは、クラウドインフラストラクチャシステム８０２およびクラウドインフラストラクチャシステム８０２によって提供されるサービスが、関連するコミュニティー内の一部の組織によって共有されるコミュニティークラウドモデルの下で提供し得る。また、クラウドサービスは、２つ以上の異なるモデルの組み合わせであるハイブリッドクラウドモデルの下で提供し得る。

いくつかの実施形態において、クラウドインフラストラクチャシステム８０２によって提供されるサービスは、サービスとしてのソフトウェア（ＳａａＳ）カテゴリ、サービスとしてのプラットフォーム（ＰａａＳ）カテゴリ、サービスとしてのインフラストラクチャ（ＩａａＳ）カテゴリ、またはハイブリッドサービスを含む他のサービスカテゴリの下で提供される１つ以上のサービスを含み得る。顧客は、クラウドインフラストラクチャシステム８０２によって提供される１つ以上のサービスを申込みオーダーによってオーダーし得る。そうすると、クラウドインフラストラクチャシステム８０２は、顧客の申込みオーダーにおけるサービスを提供するための処理を行なう。

いくつかの実施形態において、クラウドインフラストラクチャシステム８０２によって提供されるサービスは、限定されないが、アプリケーションサービス、プラットフォームサービスおよびインフラストラクチャサービスを含み得る。いくつかの例において、アプリケーションサービスは、クラウドインフラストラクチャシステムによってＳａａＳプラットフォームを介して提供し得る。ＳａａＳプラットフォームは、ＳａａＳカテゴリに入るクラウドサービスを提供するように構成し得る。たとえば、ＳａａＳプラットフォームは、統合された開発およびデプロイメントプラットフォーム上のオンデマンドのアプリケーション一式を構築し、伝える能力を提供し得る。ＳａａＳプラットフォームは、ＳａａＳサービスを提供するための基礎的なソフトウェアおよびインフラストラクチャを管理し、制御し得る。ＳａａＳプラットフォームによって提供されるサービスを利用することによって、顧客は、クラウドインフラストラクチャシステム上で実行するアプリケーションを利用することができる。顧客は、顧客が別個のライセンスおよびサポートを購入する必要なしに、アプリケーションサービスを得ることができる。さまざまな異なるＳａａＳサービスが提供し得る。例は、限定されないが、大きな組織のための販売実績管理、企業統
合およびビジネス上のフレキシビリティのためのソリューションを提供するサービスを含む。

いくつかの実施形態において、プラットフォームサービスは、クラウドインフラストラクチャシステム８０２によってＰａａＳプラットフォームを介して提供し得る。ＰａａＳプラットフォームは、ＰａａＳカテゴリに入るクラウドサービスを提供するように構成し得る。プラットフォームサービスの例は、限定されないが、共有されている共通アーキテクチャ上の既存のアプリケーションを組織（Oracle等）が統合することを可能にするサービスと、プラットフォームによって提供される共有サービスを活用する新しいアプリケーションを構築する能力とを含み得る。ＰａａＳプラットフォームは、ＰａａＳサービスを提供するための基礎的なソフトウェアおよびインフラストラクチャを管理および制御し得る。顧客は、顧客が別個のライセンスおよびサポートを購入する必要なしに、クラウドインフラストラクチャシステム８０２によって提供されるＰａａＳサービスを得ることができる。プラットフォームサービスの例は、限定されないが、Oracle Java（登録商標） Cloud Service（ＪＣＳ）、Oracle Database Cloud Service（ＤＢＣＳ）他を含む。

ＰａａＳプラットフォームによって提供されるサービスを利用することによって、顧客は、クラウドインフラストラクチャシステムによってサポートされたプログラミング言語およびツールを採用し、また、デプロイされたサービスを制御することもできる。いくつかの実施形態において、クラウドインフラストラクチャシステムによって提供されるプラットフォームサービスは、データベースクラウドサービス、ミドルウェアクラウドサービス（たとえばOracle Fusion Middleware services）、およびＪａｖａ（登録商標）クラ
ウドサービスを含み得る。一実施形態において、データベースクラウドサービスは、組織がデータベースリソースをプールし、かつデータベースクラウドの形態でのサービスとして顧客にデータベースを提示することを可能にする共有サービスデプロイメントモデルをサポートし得る。ミドルウェアクラウドサービスは、顧客がさまざまなビジネスアプリケーションを展開しデプロイするためのプラットフォームを提供してもよく、Ｊａｖａ（登録商標）クラウドサービスは、クラウドインフラストラクチャシステムにおいて顧客がＪａｖａ（登録商標）アプリケーションをデプロイするためのプラットフォームを提供してもよい。

さまざまな異なるインフラストラクチャサービスは、クラウドインフラストラクチャシステムにおいてＩａａＳプラットフォームによって提供し得る。インフラストラクチャサービスは、ＳａａＳプラットフォームおよびＰａａＳプラットフォームによって提供されるサービスを利用する顧客のための記憶装置、ネットワーク、および他の基本のコンピューティングリソースといった基礎的なコンピューティングリソースの管理および制御を容易にする。

特定の実施形態において、クラウドインフラストラクチャシステム８０２はまた、クラウドインフラストラクチャシステムの顧客にさまざまなサービスを提供するために用いられるリソースを提供するためのインフラストラクチャリソース８３０を含み得る。一実施形態において、インフラストラクチャリソース８３０は、ＰａａＳプラットフォームおよびＳａａＳプラットフォームによって提供されるサービスを実行するためのサーバ、記憶装置、およびネットワークのリソースといったハードウェアの予め統合され最適化された組合わせ、ならびにその他のリソースを含み得る。

いくつかの実施形態において、クラウドインフラストラクチャシステム８０２におけるリソースは、複数のユーザによって共有され要求ごとに動的に再割当てされてもよい。加えて、リソースは、異なるタイムゾーンのユーザに割当てられてもよい。たとえば、クラウドインフラストラクチャシステム８０２は、第１のタイムゾーンの第１の組のユーザが
特定数の時間クラウドインフラストラクチャシステムのリソースを利用できるようにし、次いで異なるタイムゾーンに位置する別の組のユーザに対して同じリソースを再度割当てることによって、リソースの利用を最大化してもよい。

特定の実施形態において、クラウドインフラストラクチャシステム８０２の異なるコンポーネントまたはモジュールによって共有される多数の内部共有サービス８３２を提供し得る。これらの内部共有サービスは、限定されないが、セキュリティおよびアイデンティティサービス、インテグレーションサービス、企業リポジトリサービス、企業マネージャーサービス、ウィルススキャンおよびホワイトリストサービス、高アベイラビリティ、保存後修復サービス、クラウドサポートを可能にするためのサービス、電子メールサービス、通知サービス、ファイル転送サービス等を含み得る。

特定の実施形態において、クラウドインフラストラクチャシステム８０２は、クラウドインフラストラクチャシステムにおいてクラウドサービス（たとえばＳａａＳ、ＰａａＳおよびＩａａＳサービス）の包括的な管理を提供し得る。一実施形態において、クラウド管理機能は、クラウドインフラストラクチャシステム８０２によって受信された顧客の申込みをプロビジョニング、管理、および追跡する機能を含み得る。

一実施形態において、図８に示されるように、クラウド管理機能は、オーダー管理モジュール８２０、オーダーオーケストレーションモジュール８２２、オーダープロビジョニングモジュール８２４、オーダー管理および監視モジュール８２６、およびアイデンティティ管理モジュール８２６といった、１つ以上のモジュールによって提供し得る。これらのモジュールは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、または任意の他の適切な構成および／または組合わせであってもよい１つ以上のコンピュータおよび／またはサーバを含み得る、または、それらを用いて提供し得る。

典型的な動作では、８３４において、クライアントデバイス８０４、８０６、または８０８等のクライアントデバイスを用いる顧客は、クラウドインフラストラクチャシステム８０２によって提供される１つ以上のサービスを要求し、クラウドインフラストラクチャシステム８０２によって提示される１つ以上のサービスの申込みのためのオーダーを行なうことによって、クラウドインフラストラクチャシステム８０２と対話してもよい。特定の実施形態において、顧客は、クラウドＵＩ８１２、クラウドＵＩ８１４、および／またはクラウドＵＩ８１６等のクラウドユーザインターフェイス（ＵＩ）にアクセスし、これらのＵＩを介して申込みオーダーを行なってもよい。顧客がオーダーを行ったことに応じてクラウドインフラストラクチャシステム８０２によって受信されるオーダー情報は、顧客を特定する情報と、顧客が申込む予定のクラウドインフラストラクチャシステム８０２によって提供される１つ以上のサービスとを含み得る。

８３６において、顧客から受けたオーダー情報は、オーダーデータベース８１８に格納されてもよい。これが新しいオーダーであれば、このオーダーについて新たな記録が作成されてもよい。一実施形態において、オーダーデータベース８１８は、クラウドインフラストラクチャシステム８１８によって操作され、他のシステムエレメントとともに操作されるいくつかのデータベースのうちの１つであってもよい。

８３８において、オーダー情報は、オーダー管理モジュール８２０に転送されてもよい。オーダー管理モジュール８２０は、オーダーを確認し、確認後にオーダーを記入する等の、オーダーに関連する課金および会計機能を行なうように構成し得る。

８４０において、オーダーに関する情報は、オーダーオーケストレーションモジュール８２２に伝えられてもよい。オーダーオーケストレーションモジュール８２２は、顧客に
よって出されたオーダーのためのサービスおよびリソースのプロビジョニングを調整するように構成されている。いくつかのインスタンスにおいて、オーダーオーケストレーションモジュール８２２は、プロビジョニングのためにオーダープロビジョニングモジュール８２４のサービスを用いてもよい。特定の実施形態において、オーダーオーケストレーションモジュール８２２は、各オーダーに関連付けられたビジネスプロセスの管理を可能にし、オーダーがプロビジョニングに進むべきか否かを判断するためにビジネスロジックを適用する。

図８に示される実施形態において示されるように、８４２において、新規申込みのためのオーダーを受信すると、オーダーオーケストレーションモジュール８２２は、オーダープロビジョニングモジュール８２４に要求を送信して、リソースを割当て、申込みオーダーを遂行するために必要とされるリソースを構成する。オーダープロビジョニングモジュール８２４は、顧客によってオーダーされたサービスのためのリソースの割当てを可能にする。オーダープロビジョニングモジュール８２４は、クラウドインフラストラクチャシステム８００によって提供されるクラウドサービスと、リソースサービスを提供するためにリソースをプロビジョニングするために用いられる物理実装層との間に抽象化レベルを提供する。これにより、オーダーオーケストレーションモジュール８２２を、サービスおよびリソースが実際にオンザフライでプロビジョニングされまたは予めプロビジョニングされ要求後に割当て／アサインされるか否かといった実施の詳細から分離することができる。

８４４において、ひとたびサービスおよびリソースがプロビジョニングされると、要求されたサービスが現在利用できる状態にあることを示す通知を、申込んだ顧客に送ってもよい。いくつかのインスタンスにおいて、顧客が要求したサービスの利用を開始できるようにする情報（たとえばリンク）を顧客に送ってもよい。

８４６において、顧客の申込みオーダーは、オーダー管理および監視モジュール８２６によって管理および追跡されてもよい。いくつかのインスタンスにおいて、オーダー管理および監視モジュール８２６は、申込まれたサービスの顧客利用に関する使用統計を収集するように構成されてもよい。たとえば、記憶装置の使用量、データ転送量、ユーザ数、ならびにシステムアップタイムおよびシステムダウンタイムの量等について、統計が収集されてもよい。

特定の実施形態において、クラウドインフラストラクチャシステム８００は、アイデンティティ管理モジュール８２６を含み得る。アイデンティティ管理モジュール８２６は、クラウドインフラストラクチャシステム８００におけるアクセス管理および認可サービスといったアイデンティティサービスを提供するように構成される。いくつかの実施形態において、アイデンティティ管理モジュール８２６は、クラウドインフラストラクチャシステム８０２によって提供されるサービスを利用したい顧客に関する情報を制御し得る。そのような情報は、そのような顧客のアイデンティティを認証する情報と、さまざまなシステムリソース（たとえばファイル、ディレクトリ、アプリケーション、通信ポート、メモリセグメント等）に対しそれらの顧客が実行を認可されるアクションを記述する情報とを含むことができる。アイデンティティ管理モジュール８２６は、各顧客に関し、かつ、どのように誰によってその記述情報のアクセスおよび修正ができるかに関する記述情報の管理も含み得る。

図９は、本発明の実施形態を実装するために使用し得る典型的なコンピュータシステム９００を示す。いくつかの実施形態において、コンピュータシステム９００を用いて上記さまざまなサーバおよびコンピュータシステムのうちのいずれかを実装し得る。図９に示されるように、コンピュータシステム９００は、バスサブシステム９０２を介して多数の
周辺サブシステムと通信する処理部９０４を含むさまざまなサブシステムを含む。これらの周辺サブシステムは、処理加速部９０６と、Ｉ／Ｏサブシステム９０８と、記憶サブシステム９１８と、通信サブシステム９２４とを含み得る。記憶サブシステム９１８は、有形のコンピュータ読取可能記憶媒体９２２とシステムメモリ９１０とを含み得る。

バスサブシステム９０２は、コンピュータシステム９００のさまざまなコンポーネントおよびサブシステムを目的に合わせて互いに通信させるためのメカニズムを提供する。バスサブシステム９０２は、単母線として概略的に示されるが、バスサブシステムの代替的な実施形態は複数のバスを利用し得る。バスサブシステム９０２は、多様なバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、そのようなアーキテクチャは、ＩＥＥＥ Ｐ１３８６．１規格等に従って製造されたMezzanineバスとして実装できる、Industry Standard Architecture（ＩＳＡ）バ
ス、Micro Channel Architecture（ＭＣＡ）バス、Enhanced ISA（ＥＩＳＡ）バス、Video Electronics Standards Association（ＶＥＳＡ）ローカルバス、およびPeripheral Component Interconnect（ＰＣＩ）バスを含み得る。

処理サブシステム９０４は、コンピュータシステム９００の動作を制御し、１つ以上の処理部９３２，９３４等を含み得る。処理部は、シングルコアもしくはマルチコアプロセッサ、プロセッサの１つ以上のコア、またはこれらの組合わせを含む、１つ以上のプロセッサを含み得る。いくつかの実施形態において、処理サブシステム９０４は、グラフィックスプロセッサ、デジタル信号プロセッサ（ＤＳＰ）等といった１つ以上の専用コプロセッサを含み得る。いくつかの実施形態において、処理サブシステム９０４の処理部の一部またはすべてを、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のカスタマイズされた回路を用いて実装してもよい。

いくつかの実施形態において、処理サブシステム９０４の処理部は、システムメモリ９１０またはコンピュータ可読記憶媒体９２２に格納されている命令を実行できる。さまざまな実施形態において、処理部は、さまざまなプログラムまたはコード命令を実行することができ、かつ、同時に実行する複数のプログラムまたはプロセスを維持することができる。どの時点でも、実行すべきプログラムコードのうちの一部またはすべては、場合によっては１つ以上の記憶装置を含む、システムメモリ９１０および／またはコンピュータ可読記憶媒体９２２上に存在し得る。適切なプログラミングにより、処理サブシステム９０４は、使用パターンに応じて文書（たとえばウェブページ）を動的に修正するための上記さまざまな機能を提供することができる。

特定の実施形態において、処理加速部９０６は、カスタマイズされた処理を実行して、または処理サブシステム９０４が実行する処理の一部をオフロードして、コンピュータシステム９００が実行する処理全体を加速するために、提供し得る。

Ｉ／Ｏサブシステム９０８は、情報をコンピュータシステム９００に入力するためおよび／または情報をコンピュータシステム９００からもしくはコンピュータシステム９００を介して出力するためのデバイスおよびメカニズムを含み得る。一般的に、「入力デバイス」という用語を使用する場合は、コンピュータシステム９００に情報を入力するための可能なすべての種類のデバイスおよびメカニズムを含むことを意図している。ユーザインターフェイス入力デバイスは、たとえば、キーボード、マウスまたはトラックボール等のポインティングデバイス、ディスプレイに組込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイ−ル、ダイヤル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを備えた音声入力デバイス、マイク、およびその他の種類の入力デバイスを含み得る。ユーザインターフェイス入力デバイスはまた、ユーザが入力デ
バイスを制御しこれと対話することを可能にするMicrosoft Kinect（登録商標）モーションセンサ、Microsoft Xbox（登録商標）３６０ゲームコントローラ、ジェスチャーおよび音声コマンドを用いた入力を受けるためのインターフェイスを提供するデバイス等の、動き検知および／またはジェスチャー認識デバイスを含み得る。ユーザインターフェイス入力デバイスはまた、Google Glass（登録商標）まばたき検出器等のアイジェスチャー認識デバイスを含み得る。これは、ユーザの目の活動（たとえば撮影中および／またはメニュー選択中の「まばたき」）を検出し、入力デバイス（たとえばGoogle Glass（登録商標））に対する入力としてのアイジェスチャーを変換する。加えて、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドによって音声認識システム（たとえばSiri（登録商標）ナビゲーター）と対話することを可能にする音声認識検知装置を含み得る。

ユーザインターフェイス入力デバイスのその他の例は、限定されないが、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、およびスピーカ等のオーディオ／ビジュアルデバイス、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレイヤー、ウェブカメラ、イメージスキャナ、指紋スキャナ、バーコードリーダー３Ｄスキャナ、３Ｄプリンタ、レーザ測距装置、および視線追跡デバイスを含む。加えて、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影装置、磁気共鳴撮像装置、ポジトロン断層撮影装置、医療用超音波検査装置等の医療用撮像入力デバイスを含み得る。ユーザインターフェイス入力デバイスはまた、たとえば、ＭＩＤＩキーボード、デジタル楽器等といった音声入力装置を含み得る。

ユーザインターフェイス出力デバイスは、ディスプレイサブシステム、表示灯、または音声出力装置等の非視覚的ディスプレイを含み得る。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを用いるもの等のフラットパネルデバイス、投影デバイス、タッチスクリーン等であってもよい。一般的に、「出力デバイス」という用語を使用する場合は、コンピュータシステム９００からユーザまたは他のコンピュータに情報を出力するための可能なすべての種類のデバイスおよびメカニズムを含むことを意図している。たとえば、ユーザインターフェイス出力デバイスは、限定されないが、モニタ、プリンタ、スピーカ、ヘッドホン、カーナビゲーションシステム、プロッタ、音声出力デバイス、およびモデム等の、テキスト、図形、およびオーディオ／ビデオ情報を視覚的に伝えるさまざまなディスプレイデバイスを含み得る。

記憶サブシステム９１８は、コンピュータシステム９００によって使用される情報を格納するためのリポジトリまたはデータストアを提供する。記憶サブシステム９１８は、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構造を格納するための有形の非一時的なコンピュータ可読記憶媒体を提供する。処理サブシステム９０４によって実行されたときに上記機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム９１８に格納し得る。このソフトウェアは、処理サブシステム９０４の１つ以上の処理部によって実行し得る。記憶サブシステム９１８はまた、本発明に従い使用されるデータを格納するためのリポジトリを提供し得る。

記憶サブシステム９１８は、揮発性および不揮発性メモリデバイスを含む１つ以上の非一時的なメモリデバイスを含み得る。図９に示されるように、記憶サブシステム９１８は、システムメモリ９１０とコンピュータ可読記憶媒体９２２とを含む。システムメモリ９１０は、プログラム実行中の命令およびデータの格納のための揮発性メインランダムアクセスメモリ（ＲＡＭ）、および、固定命令が格納される不揮発性読出専用メモリ（ＲＯＭ）またはフラッシュメモリを含む、多数のメモリを含み得る。いくつかの実装例において、起動中等のコンピュータシステム９００内の要素間の情報の転送を支援する基本ルーチンを含む基本入出力システム（ＢＩＯＳ）が、典型的にはＲＯＭに格納されているであろ
う。ＲＡＭは典型的に、処理サブシステム９０４が現在処理し実行しているデータおよび／またはプログラムモジュールを含む。いくつかの実装例において、システムメモリ９１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（ＤＲＡＭ）等の複数の異なる種類のメモリを含み得る。

限定ではなく一例として、図９に示されるように、システムメモリ９１０は、クライアントアプリケーション、ウェブブラウザ、ミッドティアアプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）等を含み得るアプリケーションプログラム９１２と、プログラムデータ９１４と、オペレーティングシステム９１６とを含み得る。一例として、オペレーティングシステム９１６は、さまざまなバージョンのMicrosoft Windows（登録商標）、Apple Macintosh（登録商標）、および／またはLinux（登録商標）オ
ペレーティングシステム、市場で入手可能な多様なUNIX（登録商標）またはUNIX（登録商標）系オペレーティングシステム（限定されないが多様なGNU/Linux（登録商標）オペレ
ーティングシステム、Google Chrome（登録商標）OS等を含む）、および／またはiOS、Windows（登録商標）Phone、Android（登録商標） OS、BlackBerry（登録商標） 10 OS、Palm（登録商標） OSオペレーティングシステム等のモバイルオペレーティングシステムを
含み得る。

コンピュータ可読記憶媒体９２２は、いくつかの実施形態の機能を提供するプログラミングおよびデータ構造を格納し得る。処理サブシステム９０４のプロセッサによって実行されたときに上記機能を提供するソフトウェア（プログラム、コード、モジュール、命令）は、記憶サブシステム９１８に格納し得る。一例として、コンピュータ可読記憶媒体９２２は、ハードディスクドライブ、磁気ディスクドライブ等の不揮発性メモリ、ＣＤ ＲＯＭ、ＤＶＤ、Blu-Ray（登録商標）ディスク、またはその他の光学媒体等の光ディスク
ドライブを含み得る。コンピュータ可読記憶媒体９２２は、限定されないが、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープ等を含み得る。コンピュータ読取可能記憶媒体９２２はまた、フラッシュメモリベースのＳＳＤ、企業フラッシュドライブ、ソリッドステートＲＯＭ等といった不揮発性メモリベースのソリッドステートドライブ（ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ等の揮発性メモリベースのＳＳＤ、ならびにＤＲＡＭおよびフラッシュメモリベースのＳＳＤの組合わせを用いるハイブリッドＳＳＤを含み得る。コンピュータ可読媒体９２２は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータシステム９００のためのその他のデータのための記憶部を提供し得る。

特定の実施形態において、記憶サブシステム９００はまた、コンピュータ可読記憶媒体９２２にさらに接続できるコンピュータ可読記憶媒体読取装置９２０を含み得る。システムメモリ９１０とともに、また、任意でシステムメモリ９１０と組合わされて、コンピュータ可読記憶媒体９２２は、包括的に、コンピュータ可読情報を格納するための、遠隔、ローカル、固定、および／またはリムーバブル記憶装置プラス記憶媒体を含み得る。

特定の実施形態において、コンピュータシステム９００は、１つ以上の仮想マシンを実行するためのサポートを提供し得る。コンピュータシステム９００は、仮想マシンの構成および管理を容易にするためのハイパーバイザのようなプログラムを実行し得る。各仮想マシンに、メモリ、計算（たとえばプロセッサ、コア）、入出力、およびネットワーキングリソースを割当ててもよい。典型的に、各仮想マシンは自身のオペレーティングシステムを実行し、これは、コンピュータシステム９００が実行する他の仮想マシンが実行するオペレーティングシステムと同一でも異なっていてもよい。したがって、複数のオペレーティングシステムがコンピュータシステム９００によって同時に実行される可能性がある
。各仮想マシンは一般的にその他の仮想マシンから独立して実行される。

通信サブシステム９２４は、他のコンピュータシステムおよびネットワークへのインターフェイスを提供する。通信サブシステム９２４は、コンピュータシステム９００以外のシステムからデータを受信しコンピュータシステム９００以外のシステムにデータを送信するためのインターフェイスとして機能する。たとえば、通信サブシステム９２４は、クライアントデバイスとの間で情報を送受信するためのインターネットを介した１つ以上のクライアントデバイスへの通信チャネルを確立することができるようにする。

通信サブシステム９２４は、有線および／または無線通信プロトコル双方をサポートしてもよい。たとえば、特定の実施形態において、通信サブシステム９２４は、（たとえば携帯電話技術、３Ｇ、４ＧまたはＥＤＧＥ（enhanced data rates for global evolution）等の高度データネットワーク技術、ＷｉＦｉ（ＩＥＥＥ ８０２．１１系列基準、または他の移動通信技術、またはそれらの任意の組合わせを用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）トランシーバーコンポーネント、全地球測位システム（ＧＰＳ）レシーバーコンポーネント、および／または他のコンポーネントを含み得る。いくつかの実施形態において、通信サブシステム９２４は、無線インターフェイスに加えて、またはその代わりに、有線ネットワークコネクティビティ（たとえばイーサネット（登録商標））を提供することができる。

通信サブシステム９２４は、さまざまな形態のデータを受信し送信することができる。たとえば、いくつかの実施形態において、通信サブシステム９２４は、構造化および／または非構造化データフィード９２６、イベントストリーム９２８、イベントアップデート９３０等の形態の入力通信を受信し得る。たとえば、通信サブシステム９２４は、Twitter（登録商標）フィード、Facebook（登録商標）更新、Rich Site Summary（ＲＳＳ）フィード等のウェブフィード、および／または１つ以上の第三者情報源からのリアルタイム更新等の、ソーシャルメディアネットワークおよび／または他の通信サービスのユーザからのリアルタイムのデータフィード９２６を、受信（または送信）するように構成してもよい。

特定の実施形態において、通信サブシステム９２４は、明示的な終わりのない本質的に連続的または無限であってもよいリアルタイムイベントのイベントストリーム９２８および／またはイベントアップデート９３０を含み得る、連続データストリームの形態のデータを受信するように構成し得る。連続データを生成するアプリケーションの例は、たとえば、センサデータアプリケーション、株式相場表示装置、ネットワーク性能測定ツール（たとえば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車トラフィック監視等を含み得る。

通信サブシステム９２４はまた、構造化データおよび／または非構造化データフィード９２６、イベントストリーム９２８、イベントアップデート９３０等を、コンピュータシステム９００に結合された１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースに出力するように構成し得る。

コンピュータシステム９００は、ハンドヘルドポータブルデバイス（たとえばiPhone（登録商標）携帯電話、iPad（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブルデバイス（たとえばGoogle Glass（登録商標）ヘッドマウントディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他任意のデータ処理システムを含むさまざまな種類のうちの１つであってもよい。

コンピュータおよびネットワークの性質は常に変化しているので、図９に示されるコンピュータシステム９００の説明は、具体的な一例を意図しているに過ぎない。図９に示されるシステムよりも多いかまたは少ないコンポーネントを有する他の多くの構成が可能である。本明細書において提供される開示および教示に基づいて、当業者はさまざまな実施形態を実装するための他のやり方および／または方法を認識するであろう。

本発明の少なくとも１つの実施形態において、データ強化システムが提供される。データ強化システムは、コンピューティングシステムを含むクラウドコンピューティング環境において実行可能であり、データ強化システムは、少なくとも１つの通信ネットワークを通して複数の入力データソース（たとえば図１に示されるデータソース１０４）に通信可能に結合される。

データ強化システムはさらに、プロファイルエンジンと、推薦エンジンと、変換エンジンと、公開エンジンとを含む。プロファイルエンジン、推薦エンジン、変換エンジン、および公開エンジンはそれぞれ、たとえば図３に示される、プロファイルエンジン３２６、推薦エンジン３０８、変換エンジン３２２、および公開エンジン３２４であってもよい。

プロファイルエンジンは、データ強化要求をクライアントデバイスから受けたときに、データ強化要求において指定されている少なくとも１つのデータソースからのデータにおけるパターンを識別するように構成される。推薦エンジンは、このパターンを、知識サービス（たとえば図３に示される知識サービス３１０）からのエンティティ情報に対してマッチングするように構成される。変換エンジンは、エンティティ情報に基づいてデータのための１つ以上の変換スクリプトを生成するように構成され、上記変換エンジンは、１つ以上の変換スクリプトに対応する１つ以上の推薦を生成し、１つ以上の推薦を、クライアントデバイス上のユーザインターフェイスに表示させる。公開エンジンは、１つ以上の推薦に基づいて変換命令がクライアントデバイスから受信されかつ変換命令に基づいてデータが変換された後に、変換命令に基づいて変換後のデータを１つ以上のデータターゲットに対して公開するように構成される。

本発明の一実施形態において、データソースのうちの少なくとも１つのデータソースからのデータの少なくとも１つの列の選択を受けたときに、データの上記少なくとも１つの列のプロファイルをクライアントデバイス上のユーザインターフェイスに表示させ、上記データプロファイルは、データの上記少なくとも１つの列において識別された複数のパターンと、データの上記少なくとも１つの列に対応付けられた少なくとも１つのデータビジュアライゼーションとを示す。

本発明の一実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む。

本発明の一実施形態において、その他の変換命令を受けて、データの少なくとも１つの列をデフォルト名にリネームする。

本発明の一実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令を含む。

本発明の一実施形態において、変換命令は、エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示するその他の変換命令を含む。

本発明の一実施形態において、変換命令は、エンティティ情報に基づいて知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含む。

上記ユニット／モジュール（たとえばエンジン）の特定のオペレーションプロセスの代わりに、同一概念を共有する関連の方法／システムの実施形態の対応するステップ／コンポーネントを参照してもよく、この参照は、関連するユニット／モジュールの開示とみなされることが、当業者には明らかであろう。したがって、説明を適宜簡潔にするために、特定のオペレーションプロセスの中には、繰返しまたは詳細に説明しないものもある。

また、上記ユニット／モジュールは、電子デバイスにおいて、ソフトウェア、ハードウェア、および／またはソフトウェアとハードウェアの組合わせとして実装できることも、当業者には明らかであろう。別々のコンポーネントとして説明されているコンポーネントは、物理的に分離されていてもいなくてもよい。特に、本発明の各実施形態に従うコンポーネントは、１つの物理的コンポーネントに一体化されていてもよく、さまざまな別々の物理的コンポーネントに存在していてもよい。電子デバイスにおけるユニットのさまざまな実装はすべて、本発明の保護範囲に含まれる。

ユニット、装置、およびデバイスは、周知のまたは今後開発されるソフトウェア、ハードウェア、および／またはこのようなソフトウェアとハードウェアの組合わせの形態で実装し得ることが、理解されるはずである。

図３に示されるオペレーションを、特定のアプリケーション環境に応じて、ソフトウェア、ハードウェア、および／またはこのようなソフトウェアとハードウェアの組合わせの形態で実装し得ることは、当業者には明らかである。ステップのうちの少なくともいくつかを、メモリに命令が格納されている汎用プロセッサで命令を実行することによって実装できることは、当業者には明らかである。ステップのうちの少なくともいくつかを、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣを含むがこれらに限定されないさまざまなハードウェアによって実装できることも、当業者には明らかである。たとえば、いくつかの実施形態における「オペレーション」は、「オペレーション」の機能を実装するＣＰＵ、または、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の専用プロセッサにおいて命令が実行されることによって実装されてもよい。

本発明の特定の実施形態を説明してきたが、さまざまな修正、変更、代替構成、および均等物も本発明の範囲に含まれる。本発明の実施形態は、特定の具体的なデータ処理環境におけるオペレーションに限定されるのではなく、複数のデータ処理環境において自由に機能する。加えて、特定の一連のトランザクションおよびステップを用いて本発明の実施形態を説明してきたが、本発明の範囲が上述の一連のトランザクションおよびステップに限定されないことは当業者にとって明らかであろう。上記実施形態のさまざまな特徴および側面は、個別にまたは共同で使用してもよい。

さらに、ハードウェアおよびソフトウェアの特定の組合わせを用いて本発明の実施形態を説明してきたが、ハードウェアおよびソフトウェアの他の組合わせも本発明の範囲に含まれることが認識されねばならない。本発明の実施形態は、ハードウェアのみで、ソフトウェアのみで、またはそれらの組合わせを用いて実現し得る。本明細書に記載のさまざまなプロセスは、同一のプロセッサ上で実装できる、または、任意の組合わせの異なるプロセッサ上で実装できる。したがって、コンポーネントまたはモジュールが特定のオペレーションを実行するように構成されていると説明されている場合、このような構成は、たとえば、電子回路をそのオペレーションを実行するように設計することにより、または、プログラム可能な電子回路（マイクロプロセッサ等）をそのオペレーションを実行するようにプログラムすることにより、または、これらを任意に組合わせることにより、実現することができる。プロセスは、限定されないが従来のプロセス間通信技術を含むさまざまな技術を用いてやりとりすることができ、異なるプロセス対が異なる技術を用いてもよく、
または、同一のプロセス対がその時々で異なる技術を用いてもよい。

したがって、明細書および図面は、限定的な意味ではなく例示的な意味で考慮されねばならない。しかしながら、特許請求の範囲に記載されている広い精神および範囲から逸脱することなく、追加、削減、削除、ならびにその他の修正および変更を行ない得ることは、明らかであろう。よって、本発明の特定の実施形態を説明したが、これらの実施形態は限定することを意図していない。さまざまな修正および均等物は以下の特許請求の範囲に含まれる。

Claims (20)

1. 方法であって、
   コンピュータシステムによって、１つ以上のデータソースからのデータにおけるパターンを識別するステップと、
   知識サービスからのエンティティ情報に対して前記パターンをマッチングするステップと、
   前記エンティティ情報に基づいて前記データのための１つ以上の変換スクリプトを生成するステップと、
   前記１つ以上の変換スクリプトに対応する１つ以上の推薦を生成するステップと、
   前記１つ以上の推薦をユーザインターフェイスに表示させるステップと、
   前記１つ以上の推薦に基づく変換命令を受けるステップと、
   前記変換命令に基づいて前記データを変換するステップと、
   前記変換命令に基づいて前記変換されたデータを１つ以上のデータターゲットに対して公開するステップとを含む、方法。
2. 前記１つ以上のデータソースのうちの少なくとも１つのデータソースからデータの少なくとも１つの列の選択を受けるステップと、
   前記データの少なくとも１つの列のデータプロファイルを表示させるステップとをさらに含み、前記データプロファイルは、前記データの少なくとも１つの列において識別された複数のパターンと、前記データの少なくとも１つの列に対応付けられた少なくとも１つのデータビジュアライゼーションとを示す、請求項１または２に記載の方法。
3. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む、請求項１に記載の方法。
4. 前記データの少なくとも１つの列をデフォルト名にリネームすることを指示する他の変換命令を受けるステップをさらに含む、請求項３に記載の方法。
5. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示する他の変換命令を含む、請求項５に記載の方法。
7. 前記変換命令は、前記エンティティ情報に基づいて前記知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含む、請求項１から６のいずれか一項に記載の方法。
8. システムであって、
   複数のデータソースと、
   複数のデータターゲットと、
   クラウドコンピューティングインフラストラクチャシステムとを備え、前記クラウドコンピューティングインフラストラクチャシステムは、
   少なくとも１つの通信ネットワークを通して前記複数のデータソースに通信可能に結合されかつ前記複数のデータターゲットに通信可能に結合された１つ以上のプロセッサと、
   前記１つ以上のプロセッサに結合されたメモリとを含み、前記メモリは、データ強化サービスを提供することを指示する命令を格納し、前記命令は、前記１つ以上のプロセッ
   サによって実行されたときに、前記１つ以上のプロセッサに、
   データ強化要求をクライアントデバイスから受けることと、
   前記データ強化要求において指定されている少なくとも１つのデータソースからのデータにおけるパターンを識別することと、
   知識サービスからのエンティティ情報に対して前記パターンをマッチングすることと、
   前記エンティティ情報に基づいて前記データのための１つ以上の変換スクリプトを生成することと、
   前記１つ以上の変換スクリプトに対応する１つ以上の推薦を生成することと、
   前記１つ以上の推薦を前記クライアントデバイス上のユーザインターフェイスに表示させることと、
   前記１つ以上の推薦に基づく変換命令を受けることと、
   前記変換命令に基づいて前記データを変換することと、
   前記変換命令に基づいて前記変換されたデータを１つ以上のデータターゲットに対して公開することとを実行させる、システム。
9. 前記命令はさらに、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに、
   前記複数のデータソースのうちの少なくとも１つのデータソースからデータの少なくとも１つの列の選択を受けることと、
   前記データの少なくとも１つの列のデータプロファイルを前記ユーザインターフェイスに表示させることとを実行させ、前記データプロファイルは、前記データの少なくとも１つの列において識別された複数のパターンと、前記データの少なくとも１つの列に対応付けられた少なくとも１つのデータビジュアライゼーションとを示す、請求項８に記載のシステム。
10. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む、請求項８に記載のシステム。
11. 前記命令はさらに、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに、前記データの少なくとも１つの列をデフォルト名にリネームすることを指示する他の変換命令を受けることを実行させる、請求項１０に記載のシステム。
12. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令を含む、請求項８に記載のシステム。
13. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示する他の変換命令を含む、請求項１２に記載のシステム。
14. 前記変換命令は、前記エンティティ情報に基づいて前記知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含む、請求項８に記載のシステム。
15. 非一時的なコンピュータ可読記憶媒体であって、前記非一時的なコンピュータ可読記憶媒体に格納された命令を含み、前記命令は、プロセッサによって実行されたときに、前記プロセッサに、以下のオペレーションを実行させ、前記オペレーションは、
    コンピュータシステムによって、１つ以上のデータソースからのデータにおけるパターンを識別することと、
    知識サービスからのエンティティ情報に対して前記パターンをマッチングすることと、
    前記エンティティ情報に基づいて前記データのための１つ以上の変換スクリプトを生成
    することと、
    前記１つ以上の変換スクリプトに対応する１つ以上の推薦を生成することと、
    前記１つ以上の推薦をユーザインターフェイスに表示させることと、
    前記１つ以上の推薦に基づく変換命令を受けることと、
    前記変換命令に基づいて前記データを変換することと、
    前記変換命令に基づいて前記変換されたデータを１つ以上のデータターゲットに対して公開することとを含む、非一時的なコンピュータ可読記憶媒体。
16. 前記オペレーションは、
    前記１つ以上のデータソースのうちの少なくとも１つのデータソースからデータの少なくとも１つの列の選択を受けることと、
    前記データの少なくとも１つの列のデータプロファイルを表示させることとをさらに含み、前記データプロファイルは、前記データの少なくとも１つの列において識別された複数のパターンと、前記データの少なくとも１つの列に対応付けられた少なくとも１つのデータビジュアライゼーションとを示す、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
17. 前記変換命令は、前記エンティティ情報に基づいてデータの少なくとも１つの列をリネームすることを指示する変換命令を含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
18. 前記オペレーションは、前記データの少なくとも１つの列をデフォルト名にリネームすることを指示する他の変換命令を受けることをさらに含む、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
19. 前記変換命令は、
    前記エンティティ情報に基づいてデータの少なくとも１つの列を再フォーマットすることを指示する変換命令と、
    前記エンティティ情報に基づいてデータの少なくとも１つの列を難読化することを指示する他の変換命令とを含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
20. 前記変換命令は、前記エンティティ情報に基づいて前記知識サービスから取得したデータの１つ以上の列を追加することを指示する強化命令を含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。

Images