JP2022083983A - コンピュータシステム、コンピュータプログラム及びコンピュータ実装方法（時系列データから導出されるデータ品質ベースの信頼度計算） - Google Patents

Abstract

【課題】エラーを示す問題点を有するデータの置換データに対する信頼度値を提供するコンピュータシステム、コンピュータプログラム及びコンピュータ実装方法（時系列データから導出されるデータ品質ベースの信頼度計算）を提供する。【解決手段】方法は、潜在的に誤りのあるデータインスタンスを特定する段階と、潜在的に誤りのあるデータインスタンスに対する予測される置換値を判定する段階と、夫々の予測された置換値に対する信頼度値を判定する段階と、予測される置換値のうちの１つの予測される置換値を用いて潜在的に誤りのあるデータインスタンスを解消する段階と、潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を生成する段階と、を含む。データの問題点、置換データ及び信頼度値はＫＰＩに関連する。【選択図】図５Ｃ

Description

本開示は、時系列データ内の訂正されたデータに対する信頼度値を計算することに関し、より具体的には、１つ又は複数のエラーを示す問題点を有するデータに対する置換データの信頼度値を提供し、当該データの問題点、置換データ及び信頼度値は、１つ又は複数の重要業績評価指標（ＫＰＩ）に関する。

事業体及び住居エンティティを含む多くの既知のエンティティは、例えば、モノのインターネット（ＩｏＴ）デバイス、スマートホームデバイス、人の活動、機器活動度などの様々なソースから時系列データを収集するシステムを含む。収集されたデータは、省エネルギー、占有割り当てなどを促進するために分析され得る。

ときどき、制御されるデバイスの誤動作、それぞれのセンシングデバイスの誤動作、データ収集システムに関する問題点、データストレージシステム又はデータ伝送システムなどの様々な理由に起因して、収集された時系列データの一部に誤りがあり得る。

システム、コンピュータプログラム製品及び方法が、時系列データ内の訂正されたデータに対する信頼度値を計算するために提供される。

１つの態様において、時系列データ内の訂正されたデータに対する信頼度値を計算するために、コンピュータシステムが提供される。システムは、１つ又は複数の処理デバイス及び当該１つ又は複数の処理デバイスに動作可能に連結された少なくとも１つのメモリデバイスを含む。１つ又は複数の処理デバイスは、時系列データストリーム内の１つ又は複数の潜在的に誤りのあるデータインスタンスを特定し、１つ又は複数の潜在的に誤りのあるデータインスタンスに対する１つ又は複数の予測される置換値を判定するように構成される。１つ又は複数の処理デバイスはまた、１つ又は複数の予測される値のそれぞれの予測された置換値に対する信頼度値を判定し、１つ又は複数の予測される置換値のうちの１つの予測される置換値を用いて１つ又は複数の潜在的に誤りのあるデータインスタンスを解消するように構成される。１つ又は複数の処理デバイスは、さらに、１つ又は複数の潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を生成するように構成される。

別の態様において、時系列データ内の訂正されたデータに対する信頼度値を計算するために、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、１つ又は複数のコンピュータ可読記憶媒体及び当該１つ又は複数のコンピュータ記憶媒体上にまとめて格納されたプログラム命令を含む。製品はまた、時系列データストリーム内の１つ又は複数の潜在的に誤りのあるデータインスタンスを特定するプログラム命令を含む。製品は、さらに、１つ又は複数の潜在的に誤りのあるデータインスタンスに対する１つ又は複数の予測される置換値を判定するプログラム命令を含む。製品はまた、１つ又は複数の予測される値のそれぞれの予測された置換値に対する信頼度値を判定するプログラム命令を含む。製品は、さらに、１つ又は複数の予測される置換値の１つの予測される置換値を用いて１つ又は複数の潜在的に誤りのあるデータインスタンスを解消するプログラム命令を含む。製品はまた、１つ又は複数の潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を生成するプログラム命令を含む。

さらに別の態様において、時系列データ内の訂正されたデータに対する信頼度値を計算するために、コンピュータ実装方法が提供される。方法は、時系列データストリーム内の１つ又は複数の潜在的に誤りのあるデータインスタンスを特定する段階を含む。方法はまた、１つ又は複数の潜在的に誤りのあるデータインスタンスに対する１つ又は複数の予測される置換値を判定する段階を含む。方法は、さらに、１つ又は複数の予測される置換値のそれぞれの予測された置換値に対する信頼度値を判定する段階を含む。方法はまた、１つ又は複数の予測される置換値の１つの予測される置換値を用いて１つ又は複数の潜在的に誤りのあるデータインスタンスを解消する段階を含む。方法は、さらに、１つ又は複数の潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を生成する段階を含む。

本概要は、本開示の各態様、あらゆる実装もしくはあらゆる実施形態又はこれらの組み合わせを示すことは意図していない。これらの特徴及び他の特徴並びに利点は、添付図面と併せて本実施形態に関する以下の詳細な説明から明らかになろう。

本願に含まれる図面は、明細書に組み込まれ、その一部を形成する。それらは、本開示の実施形態を示しており、本記述と共に、本開示の原理を説明する役割を果たす。図面は特定の実施形態を例示するものであり、本開示を限定するものではない。

本開示のいくつかの実施形態に係るクラウドコンピュータ環境を示す概略図である。

本開示のいくつかの実施形態に係る、クラウドコンピューティング環境により提供される機能抽象化モデルレイヤのセットを示すブロック図である。

本開示のいくつかの実施形態に係る、本明細書で説明されるプロセスを実装するためのクラウドベースサポートシステムとして用いられてよいコンピュータシステム／サーバを示すブロック図である。

本開示のいくつかの実施形態に係る時系列データ内の訂正されたデータに対する信頼度値を計算するシステムを示す概略図である。

本開示のいくつかの実施形態に係る時系列データ内の訂正されたデータに対する信頼度値を計算するためのプロセスを示すフローチャートである。

図５Ａに示されるフローチャートの続きであり、本開示のいくつかの実施形態に係る時系列データ内の訂正されたデータに対する信頼度値を計算するためのプロセスを示す。

図５Ａ及び図５Ｂに示されるフローチャートの続きであり、本開示のいくつかの実施形態に係る時系列データ内の訂正されたデータに対する信頼度値を計算するためのプロセスを示す。

本開示のいくつかの実施形態に係る関連する問題点を特定するためのアルゴリズムを示すテキスト図である。

本開示のいくつかの実施形態に係る観測可能なボックスＫＰＩ解析のためのアルゴリズムを示すテキスト図である。

本開示のいくつかの実施形態に係る観測不可能なボックスＫＰＩ解析のためのアルゴリズムを示すテキスト図である。

本開示のいくつかの実施形態に係るスナップショットシミュレーションのための処理の一部を示す概略図である。

本開示のいくつかの実施形態に係る方法ベースのシミュレーションのための処理を示す概略図である。

本開示のいくつかの実施形態に係るポイントベースのシミュレーションのための処理を示す概略図である。

本開示のいくつかの実施形態に係るスナップショットオプティマイザのためのアルゴリズムを示すテキスト図である。

本開示のいくつかの実施形態に係るＫＰＩ値推定を示すグラフィック図である。

本開示のいくつかの実施形態に係る信頼度測定の生成を示すグラフィック／テキスト図である。

本開示のいくつかの実施形態に係る信頼度測定を示すグラフィック図である。

本開示のいくつかの実施形態に係る信頼度測定の説明を示すテキスト図である。

本開示は、様々な修正及び代替形態に補正可能であり、一方で図面には、それらの具体的内容が例示の目的で示されており、以下に詳細に説明されている。しかしながら、説明される特定の実施形態に本開示を限定する意図はないことを理解されたい。その反対に、本開示の精神及び範囲に含まれる修正例、均等例及び改変例のすべてをカバーする意図である。

本明細書において一般的に説明され、図に示される本実施形態のコンポーネントは、多岐にわたる異なる構成に配置されてよく、設計されてよいことが容易に理解されるであろう。故に、図に示されるような本実施形態の装置、システム、方法及びコンピュータプログラム製品の実施形態に関する以下の詳細な説明は、特許請求されるものとして実施形態の範囲を限定する意図はないが、単に選択された実施形態を表すものに過ぎない。さらに、本明細書では、特定の実施形態が例示の目的で説明されているが、実施形態の精神及び範囲から逸脱することなく様々な修正が行われてよいことが理解される。

本明細書全体にわたって、「選択した実施形態」、「少なくとも１つの実施形態」、「一実施形態」、「別の実施形態」、「他の実施形態」又は「実施形態」及び同様の言い回しへの言及は、実施形態に関連して説明される特有の特徴、構造又は特性が少なくとも１つの実施形態に含まれることを意味する。故に、本明細書全体にわたる様々な箇所において、「選択した実施形態」、「少なくとも１つの実施形態」、「一実施形態において」、「別の実施形態」、「他の実施形態」又は「実施形態」という表現の出現は、必ずしも同じ実施形態を指すわけではない。

例示的な実施形態は、図面を参照することにより最もよく理解され、全体にわたって、同様のパーツは同様の数字により指定されている。以下の説明は、例示の目的のみで意図されており、本明細書において、特許請求されるような実施形態と一致するデバイス、システム及び処理の特定の選択される実施形態を単に示しているだけである。

本開示は、クラウドコンピューティングに対する具体的な説明を含むが、本明細書で列挙される技術の実装は、クラウドコンピューティング環境に限定されるものではないことを理解されたい。むしろ、本開示の実施形態は、現在は知られていない又はもっと後になって開発されるあらゆる他のタイプのコンピューティング環境と連携して実装されることが可能である。

クラウドコンピューティングは、最小限の管理努力又はサービスのプロバイダとのやり取りで、迅速にプロビジョニング及びリリースされることができる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン及びサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするサービス提供のモデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル及び少なくとも４つの展開モデルを含み得る。

特性は以下のとおりである。

オンデマンドセルフサービス：クラウドコンシューマは、サービスのプロバイダとのヒューマンインタラクションを要求することなく、必要に応じて自動的に、サーバ時刻及びネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングできる。

幅広いネットワークアクセス：能力はネットワーク上で利用可能であり、異種のシンクライアント及びシッククライアントのプラットフォーム（例えば、携帯電話、ラップトップ及びＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、要求に従って動的に割り当て及び再割り当てされる異なる物理及び仮想リソースを持つマルチテナントモデルを用いて、複数のコンシューマにサービス提供する。コンシューマは、一般に、提供されるリソースの厳密な場所についての制御又は知識を有しないが、より高い抽象化レベル（例えば、国、州又はデータセンタ）で場所を指定することが可能であり得るという点で、場所独立性の意味がある。

迅速な伸縮性：能力は、すばやくスケールアウトするために、迅速かつ弾力的に、いくつかの場合では自動的にプロビジョニングされ得、すばやくスケールインするために迅速にリリースされ得る。コンシューマにとって、プロビジョニングに利用可能な能力はしばしば無制限にあるように見え、任意の量を任意の時点で購入され得る。

測定されるサービス：クラウドシステムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザアカウント）に対して適切ないくつかの抽象化レベルでのメータリング能力を利用して、リソース使用を自動的に制御して最適化する。リソースの利用状況をモニタリング、制御及び報告することでき、利用されるサービスのプロバイダ及びコンシューマの両方に対し透明性を提供する。

サービスモデルは以下のとおりである。

サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される能力は、クラウドインフラストラクチャ上で実行されるプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブブラウザ（例えば、ウェブベースの電子メール）などのシンクライアントインタフェースを通じて、様々なクライアントデバイスからアクセス可能である。コンシューマは、限定的なユーザ固有のアプリケーション構成設定は例外であり得るが、ネットワーク、サーバ、オペレーティングシステム、ストレージ又はさらには個々のアプリケーション能力を含む基本的なクラウドインフラストラクチャを管理又は制御しない。

サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される能力は、プロバイダによりサポートされるプログラミング言語及びツールを用いてコンシューマが作成又は取得したアプリケーションをクラウドインフラストラクチャ上に展開することである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム又はストレージを含む基本的なクラウドインフラストラクチャを管理又は制御しないが、展開されたアプリケーション及び場合によってはアプリケーションホスティング環境構成を介したコントロールを有する。

サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される能力は、処理、ストレージ、ネットワーク及び他の基礎的なコンピューティングリソースをプロビジョニングすることであり、コンシューマは、オペレーティングシステム及びアプリケーションを含み得る任意のソフトウェアを展開及び実行可能である。コンシューマは、基本的なクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションを介したコントロール、及び、場合によっては選択したネットワーキングコンポーネント（例えば、ホストファイヤウォール）の限定的な制御を有する。

展開モデルは、以下のとおりである。

プライベートクラウド：クラウドインフラストラクチャは、ある組織のためのみに動作される。クラウドインフラストラクチャは、その組織又はサードパーティにより管理されてよく、オンプレミス又はオフプレミスに存在してよい。

コミュニティクラウド：クラウドインフラストラクチャは、いくつかの組織により共有され、関心事（例えば、ミッション、セキュリティ要件、ポリシ、及びコンプライアンス考慮事項）を共有する特定のコミュニティをサポートする。クラウドインフラストラクチャは、その組織又はサードパーティにより管理されてよく、オンプレミス又はオフプレミスに存在してよい。

パブリッククラウド：クラウドインフラストラクチャは、一般公衆又は大きな産業グループに対して利用可能にされ、クラウドサービスを販売する組織により所有される。

ハイブリッドクラウド：クラウドインフラストラクチャは、独自のエンティティのままであるが、データ及びアプリケーションポータビリティ（例えば、クラウド間の負荷バランスを取るためのクラウドバースティング）を可能にする標準化又はプロプライエタリ技術により共に結びつけられた２つ又はそれより多くのクラウド（プライベート、コミュニティ又はパブリック）の合成である。

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性及びセマンティック相互運用性に焦点を当てたサービス指向である。クラウドコンピューティングの中核には、相互接続されたノードで構成されるネットワークを含むインフラストラクチャが存在する。

ここで図１を参照すると、例示的なクラウドコンピューティング環境５０が示される。図示されるように、クラウドコンピューティング環境５０は、１つ又は複数のクラウドコンピューティングノード１０を含み、例えば、パーソナルデジタルアシスタント（ＰＤＡ）又はセルラフォン５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃもしくは車両コンピュータシステム５４Ｎ又はその組み合わせなどのクラウドコンシューマにより用いられるローカルコンピューティングデバイスは、当該ノードと通信してよい。ノード１０は、互いと通信してよい。ノード１０は、上記で説明されたプライベート、コミュニティ、パブリックもしくはハイブリッドクラウド又はそれら組み合わせなどの１つ又は複数のネットワーク内で、物理的又は仮想的にグループ化されてよい（図示されていない）。これにより、クラウドコンピューティング環境５０は、クラウドコンシューマがローカルコンピューティングデバイス上のリソースを維持する必要のないサービスとしてのインフラストラクチャ、サービスとしてのプラットフォームもしくはサービスとしてのソフトウェア又はその組み合わせを提供できるようにする。図１に示されるコンピューティングデバイス５４Ａ－Ｎのタイプは、専ら例示的なものを意図し、コンピューティングノード１０及びクラウドコンピューティング環境５０は、任意のタイプのネットワークもしくはネットワークアドレス指定可能な接続（例えば、ウェブブラウザを用いて）又はその両方を介して、任意のタイプのコンピュータ化されたデバイスと通信できることが理解される。

ここで図２を参照すると、クラウドコンピューティング環境５０（図１）により提供される機能的抽象化レイヤのセットが示されている。図２に示されるコンポーネント、レイヤ及び機能は、専ら例示的なものであることを意図しており、本開示の実施形態は、これらに限定されるものではないことを予め理解されたい。描かれているように、以下のレイヤ及び対応する機能が提供される。

ハードウェア及びソフトウェアレイヤ６０は、ハードウェア及びソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例としては、メインフレーム６１と、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースのサーバ６２と、サーバ６３と、ブレードサーバ６４と、ストレージデバイス６５と、ネットワーク及びネットワークコンポーネント６６とが含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７及びデータベースソフトウェア６８を含む。

仮想化レイヤ７０は、仮想エンティティの以下の例が提供されてよい抽象化レイヤを提供し、その例とは、仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーション及びオペレーティングシステム７４並びに仮想クライアント７５である。

１つの例において、管理レイヤ８０は、以下で説明される機能を提供してよい。リソースプロビジョニング８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソース及び他のリソースの動的な調達を提供する。測定及び価格設定８２は、リソースがクラウドコンピューティング環境内で用いられる際のコスト追跡及びこれらのリソースの消費に対する請求書又はインボイスを提供する。１つの例において、これらのリソースは、アプリケーションソフトウェアライセンスを含んでよい。セキュリティは、クラウドコンシューマの身元確認及びタスク、並びに、データ及び他のリソースのための保護を提供する。ユーザポータル８３は、コンシューマ及びシステム管理者に対し、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、必要なサービスレベルが満たされるように、クラウドコンピューティングリソース割り当て及び管理を提供する。サービスレベルアグリーメント（ＳＬＡ）プランニング及び遂行８５は、ＳＬＡに従って将来の要件が予期されるクラウドコンピューティングリソースに対する事前取り決め及び調達を提供する。

ワークロードレイヤ９０は、クラウドコンピューティング環境が利用され得るための機能の例を提供する。このレイヤから提供され得るワークロード及び機能の例は、マッピング及びナビゲーション９１と、ソフトウェア開発及びライフサイクル管理９２と、仮想クラスルームでの教育配信９３と、データ解析処理９４と、トランザクション処理９５と、時系列データに対する信頼度値の計算９６とを含む。

図３を参照すると、本明細書において、コンピュータシステム１００と称される例示的なデータ処理システムのブロック図が提供される。システム１００は、単一の場所にあるコンピュータシステム／サーバにおいて具現化されてよい、又は、少なくとも１つの実施形態において、コンピューティングリソースを共有するクラウドベースのシステムにおいて構成されてよい。例えば、限定することなく、コンピュータシステム１００は、クラウドコンピューティングノード１０として用いられてよい。

コンピュータシステム１００の態様は、単一の場所にあるコンピュータシステム／サーバにおいて具現化されてよい、又は、少なくとも１つの実施形態において、本明細書で説明されるシステム、ツール及び処理を実装するクラウドベースサポートシステムとして、コンピューティングリソースを共有するクラウドベースのシステムにおいて構成されてよい。コンピュータシステム１００は、多くの他の汎用又は専用のコンピュータシステム環境又は構成で動作可能である。コンピュータシステム１００と共に用いるのに好適であってよい周知のコンピュータシステム、環境もしくは構成又はその組み合わせ例として、限定されるものではないが、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドデバイス又はラップトップデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、及び、上記のシステム、デバイス及びそれらの均等物の任意の物を含むファイルシステム（例えば、分散ストレージ環境及び分散クラウドコンピューティング環境）が含まれる。

コンピュータシステム１００は、コンピュータシステム１００により実行されるプログラムモジュールなどのコンピュータシステムが実行可能な命令の一般的なコンテキストで説明されてよい。一般に、プログラムモジュールは、特定のタスクを実行する、又は、特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含んでよい。コンピュータシステム１００は、タスクが通信ネットワークを通じてリンクされたリモート処理デバイスにより実行される分散クラウドコンピューティング環境で実施されてよい。分散クラウドコンピューティング環境において、プログラムモジュールは、メモリストレージデバイスを含むローカルコンピュータシステム記憶媒体及びリモートコンピュータシステム記憶媒体の両方に配置されてよい。

図３に示されるように、コンピュータシステム１００は、汎用コンピューティングデバイスの形式で示されている。コンピュータシステム１００のコンポーネントは、限定されるものではないが、１つ又は複数のプロセッサ又は処理デバイス１０４（プロセッサ及び処理ユニットと称される場合がある）、例えば、ハードウェアプロセッサと、システムメモリ１０６（メモリデバイスと称される場合がある）と、システムメモリ１０６を含む様々なシステムコンポーネントを処理デバイス１０４に連結する通信バス１０２とを含んでよい。通信バス１０２は、任意のいくつかのタイプのバス構造のうちの１つ又は複数を表し、メモリバス又はメモリコントローラ、ペリフェラルバス、アクセラレーテッドグラフィックスポート及び任意の様々なバスアーキテクチャを用いるプロセッサ又はローカルバスを含む。例示であって限定の目的ではなく、そのようなアーキテクチャとしては、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダードアソシエーション（ＶＥＳＡ）ローカルバス及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスが含まれる。コンピュータシステム１００は、典型的には、様々なコンピュータシステム可読媒体を含む。そのような媒体は、コンピュータシステム１００によりアクセス可能な任意の利用可能な媒体であってよく、そのような媒体は、揮発性媒体及び不揮発性媒体の両方、リムーバブル及び非リムーバブル媒体を含む。さらに、コンピュータシステム１００は、１つ又は複数の永続ストレージデバイス１０８、通信ユニット１１０、入力／出力（Ｉ／Ｏ）ユニット１１２及びディスプレイ１１４を含んでよい。

処理デバイス１０４は、システムメモリ１０６にロードされ得るソフトウェアに対する命令を実行するようにサービス提供する。処理デバイス１０４は、特定の実装に応じて、複数のプロセッサ、マルチコアプロセッサ又は他の特定のタイプのプロセッサであってよい。本明細書においてアイテムについて用いられるような数は、１つ又は複数のアイテムを意味する。さらに、処理デバイス１０４は、単一チップ上にメインプロセッサがセカンダリプロセッサと共に存在する複数の異種プロセッサシステムを用いて実装されてよい。別の例示として、処理デバイス１０４は、同じタイプの複数のプロセッサを含む対称的なマルチプロセッサシステムであってよい。

システムメモリ１０６及び永続ストレージ１０８は、ストレージデバイス１１６の例である。ストレージデバイスは、情報を格納することが可能なハードウェアの任意の部分であってよく、情報は、例えば、限定することなく、データ、機能的形式のプログラムコード及び／又は一時的ベース及び／又は永続的ベースのいずれかの他の好適な情報などである。システムメモリ１０６は、これらの例において、例えば、ランダムアクセスメモリ又は任意の他の好適な揮発性又は不揮発性のストレージデバイスであってよい。システムメモリ１０６は、ランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュメモリ又はその両方などの揮発性メモリの形態のコンピュータシステム可読媒体を含んでよい。

永続ストレージ１０８は、特定の実装に応じて、様々な形式を取ってよい。例えば、永続ストレージ１０８は、１つ又は複数のコンポーネント又はデバイスを含んでよい。例えば、限定することなく、永続ストレージ１０８は、非リムーバブルの不揮発性磁気媒体（図示されていない、典型的に「ハードドライブ」と呼ばれる）との間で読み出し及び書き込みをするために提供され得る。図示されていないが、リムーバルの不揮発性磁気ディスク（例えば、「フロッピーディスク」）との間で読み出し及び書き込みを行うための磁気ディスクドライブと、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光学的媒体などのリムーバル不揮発性光ディスクとの間で読み出し又は書き込みを行うための光ディスクドライブとが提供され得る。そのような例において、それぞれは、１つ又は複数のデータメディアインタフェースにより通信バス１０２に接続されてよい。

通信ユニット１１０は、これらの例において、他のコンピュータシステム又はデバイスとの通信を提供してよい。これらの例において、通信ユニット１１０は、ネットワークインタフェースカードである。通信ユニット１１０は、物理リンク及び無線通信リンクのいずれか又は両方の使用を通じて通信を提供してよい。

入力／出力ユニット１１２は、コンピュータシステム１００に接続され得る他のデバイスとのデータの入力及び出力を可能にし得る。例えば、入力／出力ユニット１１２は、キーボード、マウスもしくはいくつかの他の好適な入力デバイス又はこれらの組み合わせを通じてユーザ入力のための接続を提供してよい。さらに、入力／出力ユニット１１２は、プリンタに出力を送信してよい。ディスプレイ１１４は、ユーザに情報を表示するメカニズムを提供してよい。コンピュータシステム１００内の様々なデバイス間での通信の確立を促進する入力／出力ユニット１１２の例は、限定することなく、ネットワークカード、モデム及び入力／出力インタフェースカードを含む。さらに、コンピュータシステム１００は、ネットワークアダプタ（図３において示されていない）を介して、ローカルエリアネットワーク（ＬＡＮ）、一般的なワイドエリアネットワーク（ＷＡＮ）もしくはパブリックネットワーク（例えば、インターネット）又はその組み合わせなどの１つ又は複数のネットワークと通信してよい。図示されていないが、他のハードウェアコンポーネントもしくはソフトウェアコンポーネント又はその両方がコンピュータシステム１００と併せて用いられることができることを理解されたい。そのようなコンポーネントの例は、制限されるものではないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ及びデータアーカイブストレージシステムが含まれる。

オペレーティングシステム、アプリケーションもしくはプログラム又はその組み合わせのための命令は、ストレージデバイス１１６内に配置されてよく、ストレージデバイス１１６は、通信バス１０２を通じて処理デバイス１０４と通信する。これらの例示において、命令は、永続ストレージ１０８上の機能的形式である。これらの命令は、処理デバイス１０４により実行されるために、システムメモリ１０６にロードされてよい。異なる実施形態のプロセスは、コンピュータ実装命令を用いて処理デバイス１０４によって実行されてよく、当該命令は、システムメモリ１０６などのメモリ内に配置されてよい。これらの命令は、処理デバイス１０４内のプロセッサにより読み出されて実行され得るプログラムコード、コンピュータ使用可能プログラムコード又はコンピュータ可読プログラムコードと称されてよい。異なる実施形態におけるプログラムコードは、システムメモリ１０６又は永続ストレージ１０８などの異なる物理的又は有形のコンピュータ可読媒体上に具現化されてよい。

プログラムコード１１８は、選択的に取り外し可能であるコンピュータ可読媒体１２０上に機能的形式で配置されてよく、処理デバイス１０４による実行のために、コンピュータシステム１００にロードされてよく、又は、転送されてよい。これらの例において、プログラムコード１１８及びコンピュータ可読媒体１２０は、コンピュータプログラム製品１２２を形成してよい。１つの例において、コンピュータ可読媒体１２０は、コンピュータ可読記憶媒体１２４又はコンピュータ可読信号媒体１２６であってよい。コンピュータ可読記憶媒体１２４は、例えば、永続ストレージ１０８の一部であるハードドライブなどのストレージデバイスに転送するために、永続ストレージ１０８の一部であるドライブ又は他のデバイスに挿入される又は配置される光ディスク又は磁気ディスクを含んでよい。コンピュータ可読記憶媒体１２４はまた、コンピュータシステム１００に接続されるハードドライブ、サムドライブ又はフラッシュメモリなどの永続ストレージの形式を取ってもよい。いくつかの例において、コンピュータ可読記憶媒体１２４は、コンピュータシステム１００から取り外し可能でなくてよい。

代替的に、プログラムコード１１８は、コンピュータ可読信号媒体１２６を用いてコンピュータシステム１００に転送されてよい。コンピュータ可読信号媒体１２６は、例えば、プログラムコード１１８を含む伝搬されたデータ信号であってよい。例えば、コンピュータ可読信号媒体１２６は、電磁信号、光学信号もしくは任意の他の適切なタイプの信号又はこれらの組み合わせであってよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線もしくは任意の他の適切なタイプの通信リンク又はその組み合わせなどの通信リンクを経由して伝送されてよい。つまり、例示において、通信リンクもしくは接続又はその両方は、物理的であってよく、又は無線であってよい。

いくつかの例示的な実施形態において、プログラムコード１１８は、ネットワーク経由で別のデバイス又はコンピュータシステムから、コンピュータ可読信号媒体１２６を通じて永続ストレージ１０８にダウンロードされて、コンピュータシステム１００内で用いられてよい。例えば、サーバコンピュータシステム内のコンピュータ可読記憶媒体内に格納されたプログラムコードは、ネットワーク経由でサーバからコンピュータシステム１００にダウンロードされてよい。プログラムコード１１８を提供するコンピュータシステムは、サーバコンピュータ、クライアントコンピュータ、又はプログラムコード１１８を格納及び送信可能ないくつかの他のデバイスであってよい。

プログラムコード１１８は、例示であって限定の目的ではなく、システムメモリ１０６内に格納されてよい１つ又は複数のプログラムモジュール（図３示されていない）並びにオペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでよい。オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータ又はこれらのいくつかの組み合わせの各々は、ネットワーク環境の実装を含んでよい。プログラムコード１１８のプログラムモジュールは一般に、本明細書に説明されるような実施形態の機能もしくは方法論又はその両方を実行する。

コンピュータシステム１００について例示される異なる複数のコンポーネントは、異なる実施形態が実装され得る方式に関するアーキテクチャ上の限定をもたらすことを意味しているわけではない。異なる例示的な実施形態は、コンピュータシステム１００について例示されたものに加えて又はその代わりとなるコンポーネントを含むコンピュータシステムにおいて実装されてよい。

本開示は、統合の考え得る任意の技術的な詳細レベルにおけるシステム、方法もしくはコンピュータプログラム製品又はこれらの組み合わせであってよい。コンピュータプログラム製品は、プロセッサに、本開示の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又は、複数の媒体）を含んでよい。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持及び格納できる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、限定されるものではないが、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又は、前述の任意の好適な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、その上に命令が記録されたパンチカード又は溝に浮き彫りされた構造などの機械的にエンコードされたデバイス及び前述の任意の適切な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で用いられるように、例えば、無線波又は他の自由に伝搬される電磁波、導波路又は他の送信媒体（例えば、ファイバ光ケーブルを通過する光パルス）を通じて伝搬される電磁波又は有線を通じて伝送される電気信号といった、一時的信号それ自体として解釈されないものとする。

本明細書に説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてよく、又は、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークもしくは無線ネットワーク又はこれらの組み合わせといったネットワーク経由で外部コンピュータもしくは外部ストレージデバイスにダウンロードされてよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ又はその組み合わせを含み得る。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてよく、又は、例えばインターネット、ローカルエリアネットワーク、広域ネットワークもしくは無線ネットワーク又はこれらの組み合わせといったネットワーク経由で外部コンピュータもしくは外部ストレージデバイスにダウンロードされてよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ又はその組み合わせを含み得る。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本開示の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、又は、Ｓｍａｌｌｔａｌｋ（登録商標）又はＣ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの手続型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせにおいて記述されたソースコード又はオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、全部がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で、又は全体がリモートコンピュータ上でもしくはサーバ上で実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよいし、又は、（例えば、インターネットサービスプロバイダを利用してインターネットを通じて）外部コンピュータに接続されてもよい。いくつかの実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本開示の態様を実行すべく、コンピュータ可読プログラム命令の状態情報を用いてコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズしてよい。

本開示の態様は、本開示の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート図もしくはブロック図又はその両方を参照して本明細書で説明される。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサ又は他のプログラマブルデータ処理装置に提供されて、マシンを生成してよく、当該命令は、当該コンピュータのプロセッサ又は他のプログラマブルデータ処理装置により実行され、フローチャートもしくはブロック図又はその両方のブロック又は複数のブロックに指定された機能／動作を実装するための手段を形成する。これらのコンピュータ可読プログラム命令はまたコンピュータ可読記憶媒体内に格納されてよく、当該命令は、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに対し、特定の態様で機能するよう命令し得、その結果、格納された命令を有するコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図のブロック又は複数のブロックに指定された機能／動作の態様を実装する命令を含む製品を備えるようになる。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされて、当該コンピュータ、当該他のプログラム可能装置又は他のデバイス上で一連の動作ステップが実行されて、コンピュータ実装プロセスを生成してよく、その結果、当該コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される当該命令が、フローチャートもしくはブロック図又はその両方のブロック又は複数のブロックに指定された機能／動作を実装する。

図におけるフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の考えられる実装のアーキテクチャ、機能及び処理を示す。これに関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント又は命令の一部を表す場合がある。いくつかの代替的な実装において、ブロックに示されている機能は、図に示されている順序以外で現れてよい。例えば、連続して示される２つのブロックは、実際には、１つのステップとして実行され、部分的又は全体的に時間的に重複する方法で、同時に、又は実質的に同時に実行され得るか、又は、場合によっては、関連する機能に応じてブロックが逆の順序で実行され得る。ブロック図もしくはフローチャート図又はその組み合わせの各ブロック、並びに、ブロック図もしくはフローチャート図又はその組み合わせにおけるブロックの組み合わせは、指定された機能又は行動を実行する専用ハードウェアベースのシステムによって実装できる、又は、専用ハードウェア及びコンピュータ命令の組み合わせを実行できることにも留意されたい。

事業体及び住居エンティティを含む多くの既知のエンティティは、例えば、モノのインターネット（ＩｏＴ）デバイス、スマートホームデバイス、人の活動、機器活動度などの様々なソースから時系列データを収集するシステムを含む。収集されたデータは、省エネルギー、占有割り当てなどを促進するために分析され得る。ときどき、制御されるデバイスの誤動作、それぞれのセンシングデバイスの誤動作、データ収集システムに関する問題点、データストレージシステム又はデータ伝送システムなどの様々な理由に起因して、収集された時系列データの一部に誤りがあり得る。例えば、一実施形態において、占有管理システムは、ピーク負荷値に関する電力使用量を評価し、誤り占有データ値に応じてピーク使用料を回避すべく、関連する空間にある予め定められたデバイスの電気供給の停止を誤って開始してしまう可能性がある。

また、多くの既知のエンティティは、１つ又は複数の重要業績評価指標（ＫＰＩ）を保有しており、本明細書で用いられるように、ＫＰＩは、１つ又は複数の重要な目標と関連付けられた１つ又は複数の測定可能な指標を指す。ＫＰＩは、これらの重要な目標を満たした時点での成功の評価を通じて重要な目標を達成することを促進する。企業規模のＫＰＩが用いられてよく、並びに、より低いレベルの下位組織固有のＫＰＩ、例えば、売り上げ、マーケティング、ＨＲ、ＩＴサポート及びメンテナンスＫＰＩが用いられてよいという点で、ＫＰＩは、スケーラブルである。いくつかの実施形態において、ＫＰＩは、１つ又は複数の文書において明示的に特定及び説明され、いくつかの実施形態において、ＫＰＩは、収集されたデータの解析に応じて明らかになり、「隠れた」ＫＰＩが「発見」されるかもしれず、以前に規定されていたＫＰＩが検証され得る。

１つ又は複数のセンサデバイスから時系列データを収集することに対して、システム、コンピュータプログラム製品及び方法が本明細書において開示及び説明されている。いくつかの実施形態において、システムは、データ品質－ＫＰＩ予測信頼度エンジンを含む。収集された時系列データは、本明細書において、「元のデータ」及び「元の時系列データストリーム」と称される。示されない限り、各時系列データのストリームは、様々な実施形態について本明細書で説明されるように、単一のセンシングデバイスに又は複数のセンサに由来し、当該ストリームは、組み合わせ、例えば、それぞれのセンサからの出力、又は、オークションにかけられた、又は、別の方法で選択された複数のセンサのうちの１つのセンサからの出力の集約のいずれかである。また、示されない限り、システムは、本明細書で説明されるように、データストリームの数に応じて、限定することなく、複数のデータストリームを同時に分析するように構成される。したがって、システムは、本明細書で説明されるように、個々のデータストリームを分析するように構成される。

１つ又は複数の実施形態において、それぞれのデータストリーム内に埋め込まれたデータの品質が分析され、２段階プロセスを通じてそれぞれのデータに関するそれぞれの１つ又は複数のＫＰＩに応じて、判定が行われる。初めに、データパケットのような元のデータの品質がセンサからデータ検査モジュールに伝送され、データパケットは、データ検査モジュール内に埋め込まれたデータ検査サブモジュールにより検査される。いくつかの場合、１つ又は複数のデータパケットは、潜在的に欠陥のあるデータを含むものとして、それぞれのデータパケットを特定する問題点を含んでよい。そのような問題点の１つは、サンプリング周波数と関連付けられ得る。例えば、限定することなく、データ検査サブモジュールは、データセンサのサンプリング周波数をチェックして、データに複数のサンプリング周波数が存在するかどうか、例えば、サンプリング周波数に偶発的な混乱（ｏｃｃａｓｉｏｎａｌ ｐｅｒｔｕｒｂａｔｉｏｎ）があるかどうか、及び、連続したサンプリング周波数の変化があるかどうかを判定する。また、例えば、限定することなく、データ検査サブモジュールは、データのタイムスタンプをチェックして、データにタイムスタンプが欠損しているかどうか、連続的な延長された継続時間にデータが欠損しているかどうか、及び、変化したフォーマットのタイムスタンプがあるかどうかを判定する。また、例えば、限定することなく、データ検査サブモジュールは、構文的な値の問題点をチェックして、数値であると推定されるデータが、「非数（ＮａＮ）」、及び、不適切な数値の丸め及び端数切り捨てであるデータの広範な継続時間を含むかどうかを判定する。さらに、例えば、限定することなく、データ検査サブモジュールは、セマンティックな値の問題点をチェックし、データのいずれかが異常イベント及びノイズの多いデータを含むかどうかを判定する。したがって、データ検査サブモジュールは、ストリーム内のデータを調査し、データが予め定められた許容範囲内にあるかどうか、及び、データ内及びエラーにおいて何らかの疑わしいエラーがあるかどうかを判定する。

いくつかの実施形態では、２つの様式、すなわち、（上述したように）データ品質を判定するためにシステムが操作しようとしている元のデータの処理、及び、データに適用される予定の１つ又は複数のＫＰＩ策定の判定がある。本明細書で用いられるように、ＫＰＩ策定は、１つ又は複数のＫＰＩ特性を含み、ＫＰＩ特性はまた、限定することなく、策定の詳細、例えば、限定することなく、１つ又は複数のデータの問題点を含み、策定のアルゴリズムは、アルゴリズム自体と、それぞれのＫＰＩの任意のパラメータ及び定義とを対象とする。いくつかの実施形態では、データ検査モジュール通じて、両方の様式が実行される、すなわち、データ検査サブモジュールを通じて、データ品質が評価され、データ検査サブモジュールに動作可能に連結されるＫＰＩ特性判定サブモジュールを通じて、ＫＰＩで特徴付けられた策定評価が実行される。いくつかの実施形態において、ＫＰＩ特性判定サブモジュールは、データ検査モジュールに動作可能に連結される別個のモジュールである。したがって、データ検査の特徴及び関連のあるＫＰＩ策定特性の判定が密接に統合される。

少なくともいくつかの実施形態において、そのようなＫＰＩ策定特性の少なくとも一部は、典型的には、到着したデータストリームを操作して、それぞれのＫＰＩをサポートするために必要な出力データ及び機能をユーザに提供するアルゴリズムとして実装される。また、いくつかの実施形態において、ＫＰＩ策定は、ＫＰＩ特性判定サブモジュール内に埋め込まれるＫＰＩ策定サブモジュール内に容易に配置される。したがって、前述したように、データは、初めに、一定の許容範囲内にあることを検証すべくチェックされ、それから第２に、１つ又は複数の特定のＫＰＩと潜在的に誤りのあるデータとに何らかの関連性があるかどうかの判定が行われる。１つ又は複数の実施形態において、収集された元のデータの少なくとも一部は、いずれのＫＰＩとも関連付けられておらず、したがって、そのような誤りのある元のデータは、所与のＫＰＩに対するインパクトは強くない。したがって、関連する問題点の初期の識別を実行すべく、シンプルなＫＰＩ関連性テストが実行される。例えば、限定することなく、１つ又は複数の特定のＫＰＩが平均ベースの策定を用いており、かつ、それぞれのデータストリーム内の潜在的に誤りのあるデータが順序のないタイムスタンプを含む場合、当該順序のないタイムスタンプは、それぞれの１つ又は複数のＫＰＩに対して何も影響を与えないと判定される。同様に、１つ又は複数の特定のＫＰＩが中央値又はモードベースの策定である場合、それぞれのデータストリーム内の外れ値の存在は、それぞれのＫＰＩに対して何も影響を与えない。したがって、いくつかの誤りのあるデータ特性は、特定のＫＰＩに対して影響がないかもしれず、そのようなデータは、本明細書においてさらに説明されるＫＰＩに関連する解析とは関係ない。

いくつかの実施形態において、採用され得るＫＰＩ関連性を判定するための１つのさらなるメカニズムは、既知の誤りのないデータと、いくつかの実施形態では、誤りの疑いがあるデータと有する元の時系列データストリームの少なくとも一部を、ＫＰＩ策定サブモジュール内の１つ又は複数のそれぞれのＫＰＩ策定に渡して、それらから数値を生成する、すなわち、それらから元のＫＰＩテスト値を生成する。具体的には、誤りのある値がないデータは、少なくとも１つの値を既知の誤りのある値に変更するように操作されてよく、それにより、それぞれの１つ又は複数のＫＰＩからインピュートされるＫＰＩテスト値を生成すべくそれらにも渡されるインピュートされるエラーを運んでいるデータを生成する。いくつかの実施形態において、注入されるエラーは、限定することなく、元のデータストリーム内のデータのいくつかのランダム選択、及び、欠損データの問題点が関連しているかどうかを判定するためのそのようなランダムなデータの除去、及び、外れ値の問題点が関連するかどうかを判定するための、既知の誤りのないデータと、確立された許容範囲を超えて拡張することが知られている注入値とのランダム選択を含んでよい。元のＫＰＩテスト値に対して、インピュートされるＫＰＩテスト値が比較され、その間に十分な類似性がある場合、元のデータ、すなわち、元のデータと関連付けられた問題点は、それぞれのＫＰＩに関連するものとして分類される。インピュートされるＫＰＩテスト値と元のＫＰＩテスト値との間の類似性が十分でない場合、前述の問題点を含む元のデータは、それぞれのＫＰＩに関係ないものとして分類される。したがって、元のデータストリーム内の疑わしい、又は別の方法で特定されるデータエラー間に何らかの関連関係があるかどうかを判定すべく、その中に埋め込まれる予め定められたエラーを有するデータは、それぞれのＫＰＩ策定に対して誤りのあるデータの何らかの関連性及び相当な影響があるかどうかを判定するために用いられる。

少なくともいくつかの実施形態において、ＫＰＩ特性判定が実行される。ＫＰＩ特性評価と称される場合がある各ＫＰＩ特性判定に対する基礎は、１つ又は複数のＫＰＩ、例えば、ビジネスについては１つ又は複数のビジネス固有のＫＰＩ、及び、個人住居については１つ又は複数の住居固有のＫＰＩを含む。いくつかの実施形態において、ＫＰＩは、予め定められており、例えば、特定の事業目標を達成することを目指して、成功の明示的な測定又はそれらの不足として説明される。いくつかの実施形態において、ＫＰＩは、その他の点で、事業目標を達成するための未確認の測定を判定すべく、業務データの収集及び解析に応じて展開され、それにより、１つ又は複数の追加のＫＰＩの特定が容易になる。したがって、元のものに関わらず、ＫＰＩは、元のデータにおいて発見されるそれぞれの問題点に対して、ＫＰＩ内で関連する固有の性質を合致させるために、いくつかの例では、関連する問題点の特定を容易にするために利用可能である。

１つ又は複数の実施形態において、元のデータがデータ検査モジュールへと伝送されたときに、ＫＰＩ特性判定オペレーションがその場で実行される。また、リアルタイムに生成される元のデータの問題点の性質は前もって知られていないので、データ検査及びＫＰＩ特性判定は、リアルタイムに動的に行われることになる。したがって、それぞれのＫＰＩのそれぞれの策定内に埋め込まれるそれぞれの特性を用いたそれぞれのＫＰＩの判定は、到着した元のデータに影響を与えている問題点の判定と併せて実行される。ＫＰＩ特性判定の少なくとも一部は、元のデータと関連付けられるそれぞれのＫＰＩの性質を判定することを含む。いくつかの実施形態において、到着した元のデータの一部は、ＫＰＩと何も関連付けられておらず、このデータは、本開示に関してはこれ以上操作されることはなく、任意の埋め込まれている問題点は無視され、そのままデータが処理されるか、又は、問題点の通知が１つ又は複数の方式でユーザに伝送されるかのいずれかである。他の実施形態において、到着した元のデータと関連するＫＰＩ策定との関係がさらに判定される。

実施形態において、ＫＰＩ策定は、２つのタイプの策定、すなわち、「観測可能なボックス」及び「観測可能でないボックス」策定のうちの１つにグループ化される。観測可能なボックスＫＰＩ策定は、検査のために利用可能である、すなわち、詳細が観測され、ＫＰＩ特性判定サブモジュールは、観測可能なボックスサブモジュールを含む。観測可能でないボックスＫＰＩ策定は、動作及びその中に含まれるアルゴリズムに応じて不透明であり、例えば、限定することなく、それぞれの観測可能でないボックスアルゴリズム及び動作は、実際にはプロプライエタリであってよく、それぞれのユーザは、それらのコンテンツに対するいくつかのレベルの秘密性及び機密性を要求する。ＫＰＩ特性判定サブモジュールは、観測可能でないボックスサブモジュールを含む。観測可能なボックス及び観測可能でないボックスＫＰＩ策定の両方についてのいくつかの実施形態では、関連するアルゴリズムは、限定することなく、最大値の判定、最小値の判定、平均値の判定、中央値の判定、及び、他の統計上の判定、例えば、限定することなく、標準偏差解析のうちの１つ又は複数を含む問題点を用いたデータに関する周辺の元のデータ値の１つ又は複数の解析を適切なＫＰＩ特性策定が含むか否かを調査する。前述したように、それぞれの元のデータとＫＰＩ策定特性との間に関係がない場合、本開示ごとの問題点を抱えるデータに対して、さらなる動作が取られることはない。したがって、（両方ともユーザにより供給される）ＫＰＩとの関係を有する元のデータと関連付けられたこれらの問題点について、観測可能なボックスか観測可能でないボックスかのＫＰＩ策定の性質、すなわち、特性が、関連するＫＰＩに悪影響を与え得る関連するデータ品質の問題点を適切に分類でき、後続の最適化を実行できるように判定される。

１つ又は複数の実施形態において、スナップショット生成モジュールは、既知の埋め込まれている問題点を有する誤りのあるデータ及びそれぞれのＫＰＩ策定特性を含むデータ検査モジュールの出力を受信する。スナップショット生成モジュールは、元のデータのシミュレーションを容易にする製品に配置される１つ又は複数のモデルを通じて、それぞれのデータ値のシミュレーションを通じてシミュレーションされたデータのスナップショットを生成するように構成される。いくつかの実施形態において、方法ベースのシミュレーション及びポイントベースのシミュレーションが用いられる。当該シミュレーションのいずれかは、同時に両方を含む誤りのあるデータにおける問題点の性質に関わらず用いられてよく、一方、いくつかの実施形態では、２つのシミュレーションの選択が元のデータの品質問題の性質に基づいており、いくつかの実施形態では、当該選択は、ユーザにより生成される予め定められた命令に基づいてよい。しかしながら、一般に、方法ベースのシミュレーションは、欠損している値の問題点を処理するために上手く構成されており、ポイントベースのシミュレーションは、外れ値の問題点を処理するために上手く構成されている。

例えば、いくつかの実施形態において、ユーザによる以前の試行は、データが連続的な延長された継続時間に欠損しているか、又は、構文的な値の問題点が存在するどうかに基づいて、欠損データが判定され得ることを示していたかもしれない、すなわち、数値であると推定されるデータは、判定されるＮａＮ又は不適切な数値の丸めもしくは端数切り捨てであるデータの広範な継続時間を含む。そのため、方法ベースのシミュレーションは、前述の条件に対してより良い解析をもたらし得る。セマンティックな値の問題点がある場合、すなわち、データのいくつかが、異常イベント又は一貫したもしくはパターン化されたノイズの多いデータを含む場合、外れ値の問題点が判定され得る。そのため、ポイントベースのシミュレーションは、前述の条件に対してより良い解析をもたらし得る。同様に、方法ベースのシミュレーション又はポイントベースのシミュレーションが、指定された条件に対してより良いシミュレーションをもたらすかどうかが不確定であり得ると、ユーザが判定した場合、いずれかがより良いシミュレーションをもたらす場合のこれらの条件について、上述したように、両方のシミュレーション方法が用いられてよい。

スナップショット生成モジュールは、方法ベースのシミュレーションを用いて、１つ又は複数の修復の方法を分析するように構成され、各修復の方法は、例えば、限定することなく、平均値、中央値などを判定するためのアルゴリズムを含んでよい。さらに、方法ベースのシミュレーションサブモジュールは、ＫＰＩ策定特性が観測可能でないボックスであるか、観測可能なボックスであるかに関わらず用いられてよい。各修復の方法は、もしその特定の修復の方法が用いられるのであれば、誤りのある値に対する潜在的な解決手段又は置換として、それぞれのシミュレーションスナップショットに含まれる１つ又は複数のインピュートされた値の生成を含む。特に、インピュートされた値は、潜在的な置換値であってもよい、又は、潜在的な置換値でなくてもよい。修復の方法が、特定の存在する条件に対して一番良い又は最も正しい置換値をもたらすということに関して、予め定められた概念がないので、複数のモデルが用いられており、各モデルは、それぞれの修復の方法を実行するために用いられる。いくつかの実施形態において、方法ベースのシミュレーションサブモジュールは、ＫＰＩ策定サブモジュールに通信可能に連結される。また、誤りのあるデータに対してインピュートされた値を計算するために用いられる誤りのないデータの一部は、特定の修復技術に依存する。例えば、欠損している値をすべての値の平均値と置き換えると判定された場合、それぞれのデータの実質的に完成したセットが修復モジュールにおいて用いられる。代替的に、欠損している値を計算するために、周辺の３つの値のみが用いられる場合、これら周辺の値のみが修復モジュールにより用いられる。したがって、方法ベースのシミュレーションは、誤りのない元のデータの１つ又は複数のシミュレーションスナップショット、及び、各誤りのある元のデータ値に対するインピュートされた値を生成するために用いられ、各シミュレーションされた値は、特定の修復方法が用いられたときに、データ値がどのように見えるのかを示しており、それにより、複数のインピュートされた値を生成し、各インピュートされた値は、異なる修復方法の結果である。

少なくともいくつかの実施形態において、データ収集は、それらが収集されときにデータポイント内のパターンの判定を容易するヒューリスティックベースの特徴の使用を含む。本明細書で用いられるように、用語「データポイント」及び用語「データエレメント」は、同じ意味で用いられる。いくつかの条件下で、元のデータの１つ又は複数のインスタンスは、確立されたデータパターンにデータポイントの値が応じるべき確率に基づいた閾値を超えるそれぞれのデータポイントに起因して間違っているように見えるかもしれない。例えば、限定することなく、見掛けのデータ偏位、すなわち、データ急上昇又は急下降は、誤りのあるデータパケットを通じて、又は、リアルタイムに発生する正確な描写に応じてのいずれかで、生成されてよい。したがって、スナップショット生成モジュールは、さらに、ポイントベースのシミュレーションを用いて、エラーを分析し、明らかに誤りのあるデータが実際に誤りのあるデータであるかどうかを判定するように構成される。

１つ又は複数の実施形態において、データは、既知の誤りのない元のデータ及び疑わしい潜在的に誤りのあるデータポイントを含み、潜在的に誤りのあるデータ値が正しいか、誤りがあるかの確率の判定を開始すべく、様々な構成で組み合わされる。各潜在的に誤りのあるデータ値は、離散的な「正しい」又は離散的な「誤り」のいずれかとして個別に推定され、潜在的に誤りのあるデータ値は、それらを既知の誤りのない元のデータと区別するために、「推定されるデータポイント」と称される。そのため、推定されるデータポイントは、伝送されたときの元のデータ値、及び、正しいか又は誤りかのいずれかとして推定されるラベルを有する。残りの解析は、推定されるデータポイントに限定的に焦点を合わせる。具体的には、前述のシミュレーションスナップショットにおいて収集された推定されるデータポイントのあらゆる可能な組み合わせのすべてが評価される。離散的な「正しい」ラベル及び離散的な「誤り」ラベルの可能な組み合わせのすべての生成、及び、そのようなものの後続の集約は、「最良」のアクションが誤りのあるデータを訂正するか、又は、正確なデータを受け入れるかについてのさらなる判定をしやすくする。これらの動作は、「正しい」又は「誤り」である疑わしい潜在的に誤りのあるデータ値の１つ又は複数の確率を判定することを通じて、誤りがあるかもしれない、又は、誤りがないかもしれない元のデータと関連付けられた許容される間違いを考慮する。例えば、限定することなく、誤りのあるデータポイントがある例について、２^３個、つまり８個の組み合わせがポイントベースのシミュレーションにより生成される。当該組み合わせのそれぞれにおいて、誤りのある値のいくつかが間違って特定され、いくつかは、誤りとして正確に特定されることが想定される。そのため、各組み合わせについて、誤りのある値は、予め定められた修正方法に基づいてインピュートされた値と置き換えられる。したがって、各組み合わせは、正しい及び正しくないデータポイントの異なるセットを有し、予め定められた修正技術に基づいて、異なるインピュートされた値が必要になる。

離散的な「正しい」及び「誤り」と推定されるデータポイントの各可能な組み合わせの総数は、推定されるデータポイントの数と共に指数関数的に増え（すなわち、２^ｘであり、ｘ＝推定されるデータ値の数である）、すべての可能な組み合わせを生成し、それらを処理することは、時間及びリソース集中型となり得る。推定されるデータポイントの各組み合わせは、潜在的なシミュレーションであり、潜在的なシミュレーションとして組み合わせのそれぞれを処理することは、単に、処理するオーバヘッドを増加させるだけである。したがって、推定されるデータポイントの説明される可能な組み合わせがさらに考慮されるが、しかしながら、推定されるデータポイントの可能な組み合わせは、すべての可能な組み合わせのサブセットのみがさらに考慮されるように「プルーニングされる」。したがって、ポイントベースのシミュレーションサブモジュールは、スナップショット最適化サブモジュールに動作可能に連結される。そのような実施形態において、スナップショット最適化の特徴は、前述したように、ＫＰＩ策定特性が観測可能でないボックスであるか、観測可能なボックスであるかに関わらず判定されるＫＰＩ策定特性を用いることを通じて採用される。例えば、限定することなく、最大値、最小値、平均値及び中央値の解析のためのＫＰＩ策定特性は、推定されるデータポイントのシミュレーションをフィルタリングするために用いられ得る。したがって、スナップショット最適化モジュールは、ＫＰＩ策定サブモジュールに通信可能に連結される。一般に、プルーニングプロセスを通じて渡すのに成功したインピュートされた値と推定されるデータポイントのこれらの組み合わせのみが、モデルを通じて疑わしいポイント値のそれぞれのシミュレーションを生成し、誤りのない元のデータと、特定された誤りのあるデータに対してインピュートされた値とを用いてそれぞれのシミュレーションスナップショットを生成するために存続し、疑わしい誤りのあるポイント値の一部は、実際には、誤りがないかもしれず、それらの置換の必要がない。

少なくともいくつかの実施形態において、シミュレーションスナップショットは、スナップショット生成モジュールにより作成され、方法ベースであるか、又は、ポイントベースであるかが、ＫＰＩ値推定モジュールに伝送される。上述したように、各シミュレーションスナップショットは、誤りのない元のデータと、誤りのあるデータに対してインピュートされた値とを含む。インピュートされた値及び関連する元のデータのそれぞれは、予測される置換値、すなわち、それぞれのシミュレーションスナップショットにあるインピュートされた値のそれぞれに対して推定されるスナップショット値を生成するために、それぞれのＫＰＩ策定に提示される。各推定されるスナップショット値は、時系列データストリーム上の誤りのない元のデータについてのコンテキスト内にあるそれぞれのＫＰＩ策定に少なくとも部分的に基づいている。したがって、ＫＰＩ値推定モジュールに伝送されるシミュレーションスナップショットごとに、１つ又は複数の予測される置換値、すなわち、推定されるスナップショット値が生成される。

いくつかの実施形態において、推定されるスナップショット値は、推定されるスナップショット値のそれぞれに対して、（以下でさらに説明される）信頼度値の形式で解析スコアを生成する信頼度測定モジュールに伝送される。誤りのあるデータに対する各それぞれの採点された推定されるスナップショット値について、最高の信頼度値が選択され、それぞれの推定されるスナップショット値は、ここで、誤りのあるデータを置き換えるために選択されたＫＰＩ値に昇格され、選択されたＫＰＩ値は、推定されるＫＰＩ値と称される。したがって、推定されるＫＰＩ値は、潜在的に誤りのあるデータインスタンスを解消するために、１つ又は複数の予測される置換値から選択される値（すなわち、推定されるスナップショット値）である。

１つ又は複数の実施形態では、さらに、信頼度測定モジュールは、それぞれの情報を受信して、推定されるＫＰＩ値及び追加の情報の選択を促進して、選択されていた推定されるＫＰＩ値の説明を生成する。一般に、信頼度測定モジュールは、前述のシミュレーションのうちの１つ又は複数を通じて生成される推定されるスナップショット値をそれぞれの元の誤りのあるデータと比較する。比較の結果の少なくとも１つは、推定されるスナップショット値のそれぞれに対する数値の形式のそれぞれの信頼度値である。データのそれぞれのスナップショットに適用されるようなそれぞれの信頼度値は、それぞれの推定されるスナップショット値が正しいという信頼度の予測されるレベルを示す。比較的低い信頼度値は、推定されるＫＰＩ値を含むそれぞれの推定されるスナップショット値が用いられるべきではない、又は、注意して用いられるかのいずれかであることを示す。比較的高い信頼度値は、推定されるＫＰＩ値を含むそれぞれの推定されるスナップショット値が用いられるべきであることを示す。関連する信頼度値に対する閾値は、ユーザにより確立されてよく、また、１つ又は複数のモデルを訓練するために用いられてよく、両方の条件が選択を完全に自動化することを容易にする。さらに、後続の動作が自動化され得る。例えば、限定することなく、所定の閾値を下回る信頼度値について、それぞれの推定されるスナップショット値は、元のデータストリームを利用して、ネイティブアプリケーション内のさらなる処理のために渡されることはない。同様に、所定の閾値を上回る信頼度値について、それぞれの選択された推定されるＫＰＩ値は、元のデータを利用して、ネイティブアプリケーション内のさらなる処理のために渡される。したがって、本明細書で説明されるようなシステム及び方法は、不用意な動作を防ぐ、又は、条件及び正確なデータの指示に従って適切な動作を開始する方式で自動的に元のデータストリーム内の誤りのあるデータを用いて問題点を正す。

さらに、推定されるＫＰＩ値に対する信頼度値が１００％ではない可能性があるので、信頼度測定モジュールは、特定のシミュレーションされたスナップショットの選択についての詳細及び証拠に推定されるＫＰＩ値をもたらすことを通じて、１つ又は複数の潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を提供する説明サブモジュールを含む。説明サブモジュールは、限定することなく、データセットにおいて検出された問題点のタイプ、生成されるシミュレーションの数及び性質、様々なシミュレーションから取得されるスコアの統計的特性、及び、スコアの比較を含むそのような詳細を提供する。したがって、信頼度測定モジュールは、ＫＰＩ値推定モジュールからシミュレーションされたスナップショットの様々な値、及び、それぞれの推定されるＫＰＩ値の選択の明確性をさらに提供すべく、ユーザが値の分散の性質を理解しやすくするための情報を生成する。

いくつかの実施形態において、信頼度測定モジュールはまた、そのような値をサポートすべく、前述の信頼度値並びに詳細及び証拠を生成することを促進する複数の追加のサブモジュールを含む。これらの実施形態のいくつかにおいて、３つの信頼度測定サブモジュール、すなわち、品質ベースの信頼度測定サブモジュールと、スプレッドベースの信頼度測定サブモジュールと、品質及びスプレッドベースの信頼度測定サブモジュールとが用いられる。

品質ベースの信頼度測定サブモジュールは、ＫＰＩ値推定モジュールから取得した値の大きさを考慮に入れて、例えば、ＫＰＩ値の大きさが５０であるか、又は、１０５０であるかといった関連する信頼度測定情報を生成するように構成され、結果として得られるＫＰＩ値における信頼度は、追加のデータ及び条件の観点から異なり得る。スプレッドベースの信頼度測定サブモジュールは、シミュレーションされた値がある範囲を検討し、関連する信頼度測定情報を生成する、すなわち、ＫＰＩ値の絶対的な大きさの代わりに、スプレッドベースの信頼度測定は、ＫＰＩ値の平均、最小、最大及び標準偏差のような統計的特性を用いており、したがって、実質的には、大きさにより影響されることはない。品質及びスプレッドベースの信頼度測定サブモジュールは、値の大きさ並びに範囲を検討し、関連する信頼度測定情報を生成する。

図４を参照すると、システム、すなわち、時系列データ内の訂正されたデータに対する信頼度値を計算するように構成される時系列データ置換信頼度システム４００を示す概略図が提供される。時系列データ置換信頼度システム４００は、特定される時系列データ置換信頼度システム４００以外のものに対して、本明細書では、「システム４００」と称される。システム４００は、１つ又は複数のメモリデバイス４０６（１つのみが示されている）に通信可能及び動作可能に連結される１つ又は複数の処理デバイス４０４（１つのみが示されている）を含む。システム４００はまた、通信バス４０２を通じて処理デバイス４０４及びメモリデバイス４０６に通信可能に連結されるデータストレージシステム４０８を含む。１つ又は複数の実施形態において、通信バス４０２、処理デバイス４０４、メモリデバイス４０６及びデータストレージシステム４０８は、図３に示されるそれらと同等のもの、すなわち、通信バス１０２、処理デバイス１０４、システムメモリ１０６及び永続ストレージデバイス１０８とそれぞれ同様である。

１つ又は複数の実施形態において、システム４００は、本明細書で説明されるように、限定することなく、電気処理（例えば、エネルギー管理システム）、機械処理（機械管理システム）、電気機械処理（工業生産システム）及び金融的処理を含むシステム４００の動作を可能にする任意の処理を動作させるように構成されるプロセス制御システム４１０を含む。いくつかの実施形態では、プロセス制御システム４１０は、システム４００に通信可能に連結される外部システムである。図示及び本明細書で説明されるように、処理デバイス４０４、メモリデバイス４０６及びデータストレージシステム４０８は、いくつかの実施形態において、（図３に示される）入力／出力ユニット１１２を通じてプロセス制御システム４１０に通信可能に連結される。

プロセス制御システム４１０は、それぞれの１つ又は複数の処理と連動する１つ又は複数の処理デバイス４１２を含み、処理デバイス４１２は、処理デバイス４０４及びメモリデバイス４０６を通じて関連するプログラム命令のインタラクションを通じて生成されるデバイス／プロセス制御コマンド４１４を実行する。プロセス制御システム４１０はまた、処理デバイス４１２及びそれぞれの処理をモニタリングするために用いられ、処理デバイス４１２へのフィードバック４１８（例えば、限定することなく、「センサ正常動作」及び「センサ誤動作」信号）を生成するセンサを含むセンサ群４１６と、センサ群４１６の処理測定出力を代表する元のデータ４２２と以下で称されるデータパケットを含む１つ又は複数の元の時系列データストリーム４２０とを含む。

メモリデバイス４０６は、元の時系列データストリーム４２０を受信して、デバイス／プロセス制御コマンド４１４を生成するように構成されるプロセス制御アルゴリズム及びロジックエンジン４３０を含む。また、いくつかの実施形態において、メモリデバイス４０６は、データ品質－ＫＰＩ予測信頼度エンジン４４０を含む。１つ又は複数の実施形態において、データ品質－ＫＰＩ予測信頼度エンジン４４０は、その中に埋め込まれる１つ又は複数のモデル４４２を含む。システム４００はまた、データ品質－ＫＰＩ予測信頼度エンジン４４０の出力４４４を受信すべく、通信バス４０２に通信可能に連結される１つ又は複数の出力デバイス４５０を含む。データ品質－ＫＰＩ予測信頼度エンジン４４０のモジュール及びサブモジュールは図５に関連して説明される。

データストレージシステム４０８は、限定することなく、（元の時系列データストリーム４２０を通じて補足される）元の時系列データ４６２と、信頼度値及び説明４６４とを含むデータ品質－ＫＰＩ予測信頼度データ４６０を格納する。データストレージシステム４０８は、策定４６８、性質及び特性４７０（本明細書において同じ意味で用いられる）、並びに、それぞれの測定値４７２を含むビジネスＫＰＩ４６６も格納し、策定４６８は、特性４７０及び測定値４７２を含む。

図５Ａを参照すると、フローチャートが提供され、時系列データ内の訂正されたデータに対する信頼度値を計算するための処理５００を示す。また、図４を参照すると、データ品質－ＫＰＩ予測信頼度エンジン４４０のモジュール及びサブモジュールの少なくとも一部も図５Ａに関連して示され及び説明される。

１つ又は複数の実施形態において、それぞれの元の時系列データストリーム４２０内に埋め込まれる（元のデータ４２２と実質的に同様である）元のデータ５０４の品質が分析され、２段階プロセスを通じてそれぞれの元のデータ５０４に関連するそれぞれの１つ又は複数のＫＰＩに応じて、判定が行われる。初めに、データパケットとしての元のデータ５０４の品質は、（センサ群４１６と実質的に同様である）センサ群５０２のそれぞれのセンサから（データ品質－ＫＰＩ予測信頼度エンジン４４０内に存在する）データ検査モジュール５１０に伝送され、データパケットは、データ検査モジュール５１０内に埋め込まれるデータ検査サブモジュール５１２により検査される。少なくともいくつかの実施形態において、さらに説明されるように、データ検査モジュール５１０はまた、統合されたＫＰＩ特性判定特徴を含み、それにより、データ検査サブモジュール５１２が冗長になることを回避する。

いくつかの実施形態において、元のデータ５０４の１つ又は複数のデータパケットは、潜在的に欠陥のあるデータを含むものとして、それぞれのデータパケットを特定する問題点を含んでよい。そのような問題点の１つは、サンプリング周波数と関連付けられ得る。例えば、限定することなく、データ検査サブモジュール５１２は、センサ群５０２のサンプリング周波数をチェックして、元のデータ５０４に複数のサンプリング周波数が存在するかどうか、例えば、サンプリング周波数に偶発的な混乱（ｏｃｃａｓｉｏｎａｌ ｐｅｒｔｕｒｂａｔｉｏｎ）があるかどうか、及び、連続したサンプリング周波数の変化があるかどうかを判定する。また、例えば、限定することなく、データ検査サブモジュール５１２は、元のデータ５０４のタイムスタンプをチェックして、元のデータ５０４にタイムスタンプが欠損しているかどうか、連続的な延長された継続時間に元のデータ５０４が欠損しているかどうか、及び、変化したフォーマットのタイムスタンプがあるかどうかを判定する。また、例えば、限定することなく、データ検査サブモジュール５１２は、構文的な値の問題点をチェックして、数値であると推定されるデータが、「非数（ＮａＮ）」、及び、不適切な数値の丸め及び端数切り捨てであるデータ５０４の広範な継続時間を含むかどうかを判定する。さらに、例えば、限定することなく、データ検査サブモジュール５１２は、セマンティックな値の問題点をチェックし、元のデータ５０４のいずれかが、異常イベント及びノイズの多いデータを含むかどうかを判定する。したがって、データ検査サブモジュール５１２は、それぞれの元の時系列データストリーム４２０内の元のデータ５０４を調査し、元のデータ５０４が予め定められた許容範囲内にあるかどうか、及び、元のデータ５０４内及びエラーの性質において、何らかの疑わしいエラーがあるかどうかを判定する。

いくつかの実施形態では、２つの様式、すなわち、（上述したように）データ品質を判定するためにシステム４００が操作しようとしている元のデータ５０４の処理、及び、元のデータ５０４に適用される予定の１つ又は複数のＫＰＩ策定４６８の判定がある。本明細書で用いられるように、ＫＰＩ策定４６８は、１つ又は複数のＫＰＩ特性４７０を含み、ＫＰＩ特性４７０はまた、限定することなく、策定４６８の詳細、例えば、限定することなく、１つ又は複数のデータの問題点を含み、策定４６８のアルゴリズムは、アルゴリズム自体と、それぞれのＫＰＩ４６６の任意のパラメータ及び定義を対象とする。策定４６８、特性４７０及び測定４７２を含むＫＰＩ４６６は、データストレージシステム４０８に格納される。いくつかの実施形態では、データ検査モジュール５１０を通じて、両方の様式が実行される、すなわち、データ検査サブモジュール５１２を通じて、データ品質が評価され、データ検査サブモジュール５１２に動作可能に連結されるＫＰＩ特性判定サブモジュール５１４を通じて、ＫＰＩ策定特性評価が実行される。いくつかの実施形態において、ＫＰＩ特性判定サブモジュール５１４は、データ検査モジュール５１０に動作可能に連結される別個のモジュールである。したがって、データ検査特徴及び関連のあるＫＰＩ策定特性４７０の判定が密接に統合される。

少なくともいくつかの実施形態において、そのようなＫＰＩ策定特性４７０の少なくとも一部は、典型的には、到着した元の時系列データストリーム４２０を操作して、それぞれのＫＰＩ４６６をサポートするために必要な出力データ及び機能をユーザに提供するアルゴリズムとして実装される。また、いくつかの実施形態において、ＫＰＩ策定４６８は、ＫＰＩ特性判定サブモジュール５１４内に埋め込まれるＫＰＩ策定サブモジュール５１６内に容易に配置され、そのようなＫＰＩ策定４６８は、データストレージシステム４０８からインポートされ得る。したがって、前述したように、元のデータ５０４は、初めに、一定の許容範囲内にあることを検証すべくチェックされ、それから第２に、１つ又は複数の特定のＫＰＩ４６６と任意の潜在的に誤りのあるデータとに何らかの関連性があるかどうかの判定が行われる。１つ又は複数の実施形態において、収集された元のデータ５０４の少なくとも一部は、いずれのＫＰＩ４６６とも関連付けられておらず、したがって、そのような誤りのある元のデータ５０４は、所与のＫＰＩ４６６に対するインパクトは強くない。したがって、関連する問題点の初期の識別を実行すべく、シンプルなＫＰＩ関連性テストが実行される。例えば、限定することなく、１つ又は複数の特定のＫＰＩ４６６は、平均ベースの策定を用いており、かつ、それぞれの元の時系列データストリーム４２０内の潜在的に誤りのあるデータ５０４が順序のないタイムスタンプを含む場合、当該順序のないタイムスタンプは、それぞれの１つ又は複数のＫＰＩ４６６に対して何も影響を与えないと判定される。同様に、１つ又は複数の特定のＫＰＩ４６６が中央値又はモードベースの策定４６８である場合、それぞれの元の時系列データストリーム４２０内の外れ値の存在は、それぞれのＫＰＩ４６６に対して何も影響を与えない。したがって、いくつかの誤りのあるデータ特性は、特定のＫＰＩ４６６に対して影響がないかもしれず、そのようなデータは、本明細書においてさらに説明されるＫＰＩに関連する解析とは関係ない。

いくつかの実施形態において、採用され得るＫＰＩ関連性を判定するための１つのさらなるメカニズムは、既知の誤りのないデータと、いくつかの実施形態では、誤りの疑いがあるデータとを有する元の時系列データストリーム４２０の少なくとも一部を、ＫＰＩ策定サブモジュール５１６内の１つ又は複数のそれぞれのＫＰＩ策定４６８に渡して、それらから数値を生成する、すなわち、それらから元のＫＰＩテスト値を生成する。具体的には、誤りのある値がないデータは、少なくとも１つの値を既知の誤りのある値に変更するように操作されてよく、それにより、それぞれの１つ又は複数のＫＰＩ策定４６８からインピュートされるＫＰＩテスト値を生成すべくそれらにも渡されるインピュートされるエラーを運んでいるデータを生成する。

図６を参照すると、関連する問題点を特定するための例示的なアルゴリズム６００を示すテキスト図が提示される。また、図４及び図５Ａを参照すると、アルゴリズム６００は、ＫＰＩ策定サブモジュール５１６内に存在する。アルゴリズム６００は、問題点リストオペレーション６０２を含み、潜在的なデータエラーの問題点についての予め定められたセットは、アルゴリズム６００内の選択のためにリスト化されており、各潜在的なデータエラーの問題点は、１つ又は複数の対応するモデル４４２を含む。データ特定オペレーション６０４は、元の時系列データストリーム４２０内の元のデータ５０４のどの部分が潜在的なエラー、潜在的なデータ置換、及び、置換の信頼度判定のために分析されるかを特定するために実行される。いくつかの実施形態において、データ品質－ＫＰＩ予測信頼度エンジン４４０は、元の時系列データストリーム４２０の複数のストリームを同時に調査するためにスケーラブルであり、限定することなく、元のデータ５０４のごく一部を含み、すべての元の時系列データストリーム４２０にあるすべての元のデータ５０４へとスケールアップする。ユーザにより開発されるようなＫＰＩ策定４６８は、ＫＰＩ策定の特定及び検索オペレーション６０６において特定及び検索され、分析対象の選択された元のデータ５０４は、元のデータ－ＫＰＩ策定オペレーション６０８におけるそれぞれのＫＰＩ策定４６８を通じて渡される。問題点リストオペレーション６０２から影響のある問題点は、影響のある問題点解析選択アルゴリズム６１０を通じて、一度に１つずつ又は並行して同時に、のいずれかを通じて循環される。

１つ又は複数の実施形態において、インピュートされたデータ注入オペレーション６１４を通じて、インピュートされた誤りのあるデータを有する元のデータ５０４の少なくとも一部を注入することを含むデータ－問題点サブアルゴリズム６１２が実行される。いくつかの実施形態において、注入されるエラーは、限定することなく、元の時系列データストリーム４２０内の元のデータ５０４のいくつかのランダム選択、欠損データの問題点が関連するかどうかを判定するためのそのようなランダムデータの除去を含んでよい。さらに、注入されるエラーは、限定することなく、外れ値の問題点が関連するかどうかを判定するための、既知の誤りのない元のデータ５０４と、確立された許容範囲を超えて拡張されることが知られている注入値とのランダム選択を含んでよい。インピュートされるデータは、ＫＰＩテスト値生成オペレーション６１６を通じて、インピュートされるＫＰＩテスト値を判定するために、ＫＰＩ策定４６８を通じて伝送される。オペレーション６１６からインピュートされるＫＰＩテスト値は、ＫＰＩ値比較オペレーション６１８を通じたオペレーション６０８からの元のＫＰＩテスト値と比較され、比較オペレーション６１８に応じて、問題点判定オペレーション６２０が実行される。いくつかの実施形態において、インピュートされるＫＰＩテスト値及び元のＫＰＩテスト値に十分な類似性がある場合、元のデータ５０４、すなわち、元のデータ５０４と関連する問題点は、それらのＫＰＩ策定４６８を通じてそれぞれのＫＰＩ４６６に関連するものとして分類される。インピュートされるＫＰＩテスト値と元のＫＰＩテスト値との間の類似性が十分でない場合、前述の問題を含む元のデータ５０４は、それらのＫＰＩ策定４６８を通じて、それぞれのＫＰＩ４６６とは関係ないものとして分類される。問題点リストオペレーション６０２からの問題点の枯渇を通じてサブアルゴリズム６１２を実行すると、サブアルゴリズム６１２は終了６２２し、アルゴリズム６００は終了６２４する。したがって、元の時系列データストリーム４２０内の疑わしい、又は別の方法で特定されるデータエラー間に何らかの関連関係があるかどうかを判定すべく、その中に埋め込まれる予め定められたエラーを有するデータは、それぞれのＫＰＩ策定４６８に対して誤りのあるデータの何らかの関連性及び相当な影響があるかどうかを判定するために用いられる。

再び図４及び図５Ａを参照すると、少なくともいくつかの実施形態において、ＫＰＩ特性判定が実行される。各ＫＰＩ特性判定の基礎は、ＫＰＩ特性評価と称される場合があり、１つ又は複数のＫＰＩ４６６を含む。例えば、限定することなく、ビジネスに対する基礎は、１つ又は複数のビジネス固有のＫＰＩ４６６であり、個人住居について、その基礎は、１つ又は複数の住居固有のＫＰＩ４６６である。いくつかの実施形態において、本明細書で開示される時系列データ置換信頼度システム４００を可能にする任意のエンティティベースのＫＰＩが用いられる。

いくつかの実施形態において、ＫＰＩ４６６は、予め定められており、例えば、特定の事業目標を達成することを目指して、成功の明示的な測定又はそれらの不足として説明される。いくつかの実施形態において、ＫＰＩ４６６は、の他の点で、事業目標を達成するための未確認の測定を判定すべく、業務データの収集及び解析に応じて展開され、それにより、１つ又は複数の追加のＫＰＩ４６６の特定が容易になる。したがって、元のものに関わらず、元のデータにおいて発見されるそれぞれの問題点５０４に対して、ＫＰＩ４６６は、それぞれのＫＰＩ策定４６８内で関連する固有の特性を合致させるために、いくつかの例では、関連する問題点の特定を容易するために利用可能である。

１つ又は複数の実施形態において、元のデータ５０４がデータ検査モジュール５１２に伝送されたときに、ＫＰＩ特性判定オペレーションが実行される。また、リアルタイムに生成される元のデータの問題点の性質は前もって知られていないので、データ検査及びＫＰＩ特性判定は、リアルタイムに動的に行われることになる。したがって、それぞれのＫＰＩ４６６のそれぞれの策定４６８内に埋め込まれるそれぞれの特性４７０を用いたそれぞれのＫＰＩ４６６の判定は、到着した元のデータ４２２に影響を与えている問題点の判定と併せて実行される。ＫＰＩ特性判定の少なくとも一部は、元のデータ５０４と関連付けられているそれぞれのＫＰＩ４６６の性質を判定することを含む。

いくつかの実施形態において、到着した元のデータ５０４の一部は、ＫＰＩ４６６と何も関連付けられておらず、このデータは、本開示に関してはこれ以上操作されることはなく、任意の埋め込まれている問題点は無視され、そのままデータが処理されるか、又は、例えば、限定することなく、出力デバイス４５０の１つ又は複数を通じて、問題点の通知が１つ又は複数の方式でユーザに伝送されるかのいずれかである。他の実施形態において、到着した元のデータと関連するＫＰＩ策定４６８との関係がさらに判定される。

実施形態において、ＫＰＩ策定４６８は、２つのタイプの策定、すなわち、「観測可能なボックス」及び「観測可能でないボックス」策定のうちの１つにグループ化される。観測可能なボックス及び観測可能でないボックスＫＰＩ策定の両方のいくつかの実施形態において、関連するアルゴリズムは、限定することなく、最大値の判定、最小値の判定、平均値の判定、中央値の判定、及び、他の統計上の判定、例えば、限定することなく、モード値の判定及び標準偏差解析のうちの１つ又は複数を含む、問題点を有するデータに関する周辺の元のデータ値の１つ又は複数の解析を適切なＫＰＩ特性策定が含むか否かを調査する。

少なくともいくつかの実施形態において、観測可能なボックスＫＰＩ策定４６８は、検査のために利用可能である、すなわち、詳細が観測され、ＫＰＩ特性判定サブモジュール５１４は、観測可能なボックスサブモジュール５１８を含む。図７を参照すると、観測可能なボックスＫＰＩ解析のための例示的なアルゴリズム７００を示すテキスト図が提供される。また、図４及び図５Ａを参照すると、アルゴリズム７００は、観測可能なボックスサブモジュール５１８内に存在する。アルゴリズム７００は、ＫＰＩ策定提示オペレーション７０２を含み、それぞれのＫＰＩ策定４６８の特性は、本明細書で説明されるようなユーザ及びシステム４００に明確に示される。アルゴリズムはまた、解析木オペレーション７０４を含み、ＫＰＩ特性４７０は、ＫＰＩ４６６の詳細が様々なコードブロックを利用可能な場合、ＡＳＴ内のノードとして解析され、理解可能であり得るように、それぞれのプログラミング言語内のソースコードを表現する抽象構文木（ＡＳＴ）としてＫＰＩ特性４７０を生成するために、ＡＳＴに変換される。図７に示されるように、アルゴリズム７００は、第１のサブアルゴリズム、すなわち、ＡＳＴ内の特定のノードが関数、例えば、限定することなく、さらに説明されるような数学的な演算であるかどうかを判定するように構成される関数解析オペレーション７０６を含む。

図７に示される実施形態において、第２のサブアルゴリズム、すなわち、中央値判定オペレーション７０８は、ＫＰＩ特性割当オペレーション７１０が実行されるように、元のデータ５０４の中央値の判定を定義するこれらのＫＰＩ策定特性４７０に対して実行され、この場合、割り当てられたＫＰＩ特性４７０は、処理５００の後続の部分のための「中央値」である。次に、中央値判定オペレーション７０８は終了する７１２。いくつかの実施形態において、アルゴリズムは、他のタイプのＫＰＩ特性、例えば、限定することなく、最大値の判定、最小値の判定、平均値の判定及び他の統計上の判定、例えば、限定することなく、モード値の判定及び標準偏差解析に対する第１のサブアルゴリズムの１つ又は複数のさらなる部分を含む。図７の例示的な実施形態において、第３のサブアルゴリズム、すなわち、平均値判定オペレーション７１４は、ＫＰＩ特性割当オペレーション７１６が実行されるように、元のデータ５０４の平均値の判定を定義するこれらのＫＰＩ策定特性４７０に対して実行され、この場合、割り当てられたＫＰＩ特性４７０は、処理５００の後続の部分のための「平均値」である。次に、平均値判定オペレーション７１４は終了する７１８。任意の残りの可能なＫＰＩ策定特性４７０は、上述したように、同様に判定される。関数解析オペレーション７０６が完了すると、終了する７２０。

さらに、１つ又は複数の実施形態において、図７に示されるように、アルゴリズム７００は、第４のサブアルゴリズム、すなわち、ＡＳＴ内の特定のノードが２項演算、例えば、限定することなく、別のエレメントを作成する２つのエレメント又はオペランドを用いる数学的な演算であるかどうかを判定するように構成される２項演算解析オペレーション７２２を含む。図７に示される実施形態において、第５のサブアルゴリズム、すなわち、除算サブアルゴリズム７２４は、元のデータ５０４の除算演算を定義するこれらのＫＰＩ策定特性４７０に対して実行される。除算演算は、第６のサブアルゴリズム、すなわち、統合された加算オペランド及び長さオペランド、又は、統合された平均値アルゴリズム７２６を含み、長さオペランド又はオペレーションは、ＫＰＩ特性割当オペレーション７２８が実行されるように、加算される項目の数を提供し、この場合、割り当てられたＫＰＩ特性４７０は、処理５００の後続の部分のための「平均値」である。統合された平均値アルゴリズム７２６は終了し７３０、除算サブアルゴリズム７２４は終了し７３２、２項演算サブアルゴリズム７２２が終了する７３４。オープンサブアルゴリズム７３６は、さらに、関数及び２項演算を超えたさらなる演算がユーザにより要された場合に示される。解析木オペレーション７０４は、それぞれのＫＰＩ４６６と関連付けられるそれぞれの観測可能なボックスオペレーションのすべてが特定された場合に終了する７３８。

少なくともいくつかの実施形態において、観測可能でないボックスＫＰＩ策定４６８は、動作及びその中に含まれるアルゴリズムに応じて不透明であり、例えば、限定することなく、それぞれの観測可能でないボックスアルゴリズム及び動作は、実際にはプロプライエタリであってよく、それぞれのユーザは、それらのコンテンツに対するいくつかのレベルの秘密性及び機密性を要求する。いくつかの実施形態において、そのような観測可能でないボックス策定は、アプリケーションプログラミングインタフェース（ＡＰＩ）の形式を取り得る。したがって、観測可能でないボックスＫＰＩ策定４６８内のＫＰＩ策定特性４７０を判定するための１つのメカニズムは、策定のシミュレーションを通じて元のデータ５０４をテストするための元のデータ５０４の繰り返しのサンプリングを含む。したがって、ＫＰＩ特性判定サブモジュール５１４は、観測可能でないボックスサブモジュール５２０を含む。

図８を参照すると、観測不可能なボックスＫＰＩ解析のための例示的なアルゴリズム８００を示すテキスト図が提供される。また、図４及び図５Ａを参照すると、アルゴリズム８００は、観測可能でないボックスサブモジュール５２０内に存在する。少なくともいくつかの実施形態において、アルゴリズム８００は、データサブセット生成オペレーション８０２を含み、元のデータ５０４は、Ｋ個のサブセットのデータに分割され、各サブセットは、Ｍ個のデータポイントをその中に有し、Ｍは予め定められた定数である。例えば、限定することなく、１００個のデータポイントのストリングは、それぞれ２０個のポイントの５つのサブセットに分割され得る。そのようなサブセットの生成は、特定のエラーが繰り返し発生しているか、又は、単一のインスタンスのエラー、すなわち、１回限りのエラーであるかの判定を容易にする。アルゴリズム８００はまた、観測可能でないボックス計算内で用いられ得る潜在的なＫＰＩ策定特性４７０のすべてを特定するように構成されるＫＰＩ策定特性リストオペレーション８０４を含む。本明細書で前述したように、そのようなＫＰＩ策定特性４７０は、限定することなく、平均値の判定（「平均」）、中央値の判定（「中央」）、モード値の判定（「モード」）、最大値の判定（「最大」）、最小値の判定（「最小」）及び他の統計上の判定、例えば、限定することなく、標準偏差解析のうちの１つ又は複数を含む。これらのＫＰＩ策定特性４７０のそれぞれは、誤りのあるデータの潜在的な問題点を特定するために、１つ又は複数の観測可能でないボックスモデルベースのシミュレーションを通じて調査され、観測可能でないボックスモデルベースのシミュレーションは、スナップショット生成に関して本明細書でさらに説明されるシミュレーションモデル化とは直接的には関係していない。

１つ又は複数の実施形態において、元のＫＰＩ評価オペレーション８０６が実行され、各データサブセットの各データエレメントは、それぞれの観測可能でないボックスモデルを用いることを通じて処理され、そのようなモデルは、未だに判定されていない。本明細書で用いられるように、用語「データポイント」及び用語「データエレメント」は、同じ意味で用いられる。したがって、１００個のデータポイント又は元のデータ５０４のデータエレメントの実施形態において、１００個のそれぞれのＫＰＩ値、すなわち、元のデータ５０４の５つのサブセットのそれぞれに対して、２０個のＫＰＩ値がある。そのため、１００個の処理データエレメントは、実際の観測可能でないボックス策定を通じて１００個の元のＫＰＩ値を生成するために、それらが何であれ、観測可能でないボックス策定を通じて処理され得る。また、いくつかの実施形態において、シミュレーション／相関関係サブアルゴリズム８１０を含む相関関係オペレーション８０８が実行される。具体的には、１つ又は複数の実施形態において、シミュレーションされるＫＰＩ評価オペレーション８１２が実行され、元のデータ５０４の各データエレメントは、ＫＰＩ策定特性リストオペレーション８０４において特定された各ＫＰＩ策定特性４７０のそれぞれのモデルを用いることを通じて分析される。元のＫＰＩ値－シミュレーションされたＫＰＩ値相関関係オペレーション８１４が実行され、元のＫＰＩ値の各値は、ＫＰＩ策定特性リストオペレーション８０４から特定されたＫＰＩ策定特性４７０の各モデルを通じて生成された各それぞれのシミュレーションされたＫＰＩ値と比較される。そのため、１００個のデータエレメントを用いた実施形態については、ＫＰＩ策定特性リストオペレーション８０４から特定される各ＫＰＩ策定特性４７０に対して１００個の相関関係がある。いくつかの実施形態において、相関関係の強度、例えば、限定することなく、弱い相関関係及び強い相関関係を判定するために、相関関係があるデータエレメントの各セットの統計的な評価が実行され、各相関関係の定義は、ユーザにより確立され得る。強い相関関係は、シミュレーションされたＫＰＩ策定が実際の観測可能でないボックスＫＰＩ策定４６８に従うことを示す。弱い相関関係は、シミュレーションされたＫＰＩ策定が実際の観測可能でないボックスＫＰＩ策定４６８と連携していないことを示す。相関関係を通じた処理が完了すると、シミュレーション／相関関係サブアルゴリズム８１０は終了する８１６。観測不可能なボックスＫＰＩ解析のためのアルゴリズム８００は、ＫＰＩ策定特性選択オペレーション８１８を含み、最も高い相関係数のある特性が選択される。観測可能でないボックスＫＰＩ策定が判定されると、アルゴリズム８００は終了する８２０。

データ検査モジュール５１０の出力５２２は、その中に何らかのデータエラーあるかどうか、及び、もしあれば、影響を受けるＫＰＩ策定特性４７０があるかどうかを判定するための元のデータ５０４の解析を含む。エラーがない場合、それぞれのデータは、もはやプロセス５００を通じて処理されることはなく、ＫＰＩ特性判定サブモジュール５１４内のオペレーションが呼び出されることはなく、出力５２２がない。元のデータ５０４内にデータエラーがある場合、出力５２２は、ＫＰＩ特性判定サブモジュール５１４の解析に基づいて、データの問題点が特定されたＫＰＩに対する関連するかどうかを判定５２４する判定オペレーション５２４に伝送される。前述したように、それぞれの元のデータ５０４とＫＰＩ策定特性４７０との間に関係がない場合、「ない（Ｎｏ）」判定が生成され、本開示ごとの問題点を抱えるデータに対して、さらなる動作が取られることはない。ユーザは、要望があれば、データエラーに対して他の措置を取ることを選択してよい。「はい（Ｙｅｓ）」判定について、すなわち、それぞれの性質を通じて、（ユーザにより両方供給される）ＫＰＩと関係を有する元のデータ５０４と関連付けられるこれらのデータエラーの問題点について、判定オペレーション５２４の出力５２６は、さらなる処理のために伝送され、出力５２６は、出力５２２と実質的に同様である。したがって、観測可能なボックスであるか、又は、観測可能でないボックスであるかについての誤りのあるデータに対するＫＰＩ策定４６８の特性４７０が関連するＫＰＩに悪影響を与えると判定された場合、エラーは、それが適切に分類されることができ、かつ、後続の最適化を実行できるようにさらに分析される。

図５Ｂを参照すると、図５Ａに示されるフローチャートの続きが提供され、時系列データ内の訂正されたデータに対する信頼度値を計算するためのプロセス５００をさらに示す。また、図４を参照すると、１つ又は複数の実施形態において、プロセス５００は、出力５２６をスナップショット生成モジュール５３０に送信することをさらに含む。スナップショット生成モジュール５３０は、既知の埋め込まれている問題点を有する誤りのあるデータと、それぞれのＫＰＩ策定特性４７０の識別情報とを含むデータ検査モジュール５１０の出力５２６を受信する。スナップショット生成モジュール５３０は、元のデータ５０４のシミュレーションを容易にすべく、製品に配置される１つ又は複数のモデルを通じて、それぞれのデータ値のシミュレーションを通じたシミュレーションされたデータのスナップショットを生成するように構成される。

図９を参照すると、概略図が提供され、スナップショット生成モジュール５３０と実質的に同様のスナップショット生成モジュール９０４を用いたスナップショットシミュレーションのためのプロセス９００の一部を示す。また、図５Ｂを参照すると、スナップショット生成モジュール９０４への出力５２６を通じて伝送される元のデータ５０４と実質的に同様の元のデータ９０２は、さらに評価される。（その中に埋め込まれている誤りのあるデータの問題点を有する）元のデータ９０２は、本明細書でさらに説明されるように、シミュレーションされたデータを含む複数のシミュレーションスナップショット９０６を生成すべく、（図４に示されるモデル４４２と実質的に同様の）複数のモデル５３２を通じて処理される。シミュレーションされたデータスナップショット９０６は、コンテキストのみのために、図９に示されるＫＰＩインタフェース９０８及び信頼度測定９１０のために後で用いられる。

再び図４及び図５Ｂを参照すると、いくつかの実施形態において、方法ベースのシミュレーション及びポイントベースのシミュレーションが用いられる。当該のシミュレーションのいずれかが、同時に両方を含む誤りのあるデータにおける問題点の性質に関わらず用いられてよい一方、いくつかの実施形態では、２つのシミュレーションの選択が元のデータの品質問題の性質に基づいており、いくつかの実施形態では、選択は、ユーザにより生成される予め定められた命令に基づいてよい。しかしながら、一般に、方法ベースのシミュレーションは、欠損している値の問題点を処理するために上手く構成されており、ポイントベースのシミュレーションは、外れ値の問題点を処理するために上手く構成されている。
例えば、いくつかの実施形態において、ユーザによる以前の試行は、データが連続的な延長された継続時間に欠損しているか、又は、構文的な値の問題点が存在するどうかに基づいて、欠損データが判定され得ることを示していたかもしれない、すなわち、数値であると推定されるデータは、判定されるＮａＮ又は不適切な数値の丸めもしくは端数切り捨てであるデータの広範な継続時間を含む。そのため、方法ベースのシミュレーションは、前述の条件に対してより良い解析をもたらし得る。セマンティックな値の問題点がある場合、すなわち、データのいくつかが、異常イベント又は一貫したもしくはパターン化されたノイズの多いデータを含む場合、外れ値の問題点が判定され得る。そのため、ポイントベースのシミュレーションは、前述の条件に対してより良い解析をもたらし得る。同様に、方法ベースのシミュレーション又はポイントベースのシミュレーションが、指定された条件に対してより良いシミュレーションをもたらすかどうかが不確定であり得ると、ユーザが判定した場合、いずれかがより良いシミュレーションをもたらし得る場合のこれらの条件について、上述したように、両方のシミュレーション方法が用いられてよい。

１つ又は複数の実施形態において、スナップショット生成モジュール５３０は、方法ベースのシミュレーションを用いて、１つ又は複数の修復の方法を分析するように構成され、各修復の方法は、例えば、限定することなく、データエラーにより影響を受けるそれぞれのＫＰＩ４６６に応じて、平均値、中央値などを少なくとも部分的に判定するためのアルゴリズムを含んでよい。しかしながら、修復の方法は、必ずしもＫＰＩ策定特性４７０に限定されるものではない。スナップショット生成モジュール５３０は、ＫＰＩ策定特性４７０が観測可能でないボックスであるか、又は、観測可能なボックスであるかに関わらず用いられ得る方法ベースのシミュレーションサブモジュール５３４を含む。

図１０を参照すると、方法ベースのシミュレーションを生成するためのプロセス１０００を示す概略図が提示される。また、図４及び図５Ｂを参照すると、方法ベースのシミュレーションは、方法ベースのシミュレーションサブモジュール５３４を通じて生成される。埋め込まれた問題点を有する誤りのあるデータ、及び、それぞれのＫＰＩ策定特性４７０の識別情報を含むデータ検査モジュール５１０の出力５２６の一部は、誤りのないデータ１００４の１０個のインスタンス及び誤りのあるデータ１００６の３つのインスタンスを有するスニペット１００２として示される。データスニペット１００２は、修復の方法Ｍ１、Ｍ２、Ｍ３及びＭ４を含む複数の修復の方法１０１０へと伝送され、各修復の方法Ｍ１～Ｍ４は、異なるそれぞれのモデル５３２と関連付けられており、番号４は非限定的である。各修復の方法Ｍ１～Ｍ４は、もしその特定の修復の方法が用いられるのであれば、誤りのある値に対する潜在的な解決手段又は置換としてそれぞれのシミュレーションスナップショットに含まれる１つ又は複数のインピュートされた値の生成を含む。修復の方法Ｍ１～Ｍ４が、特定の現在誤りのあるデータ１００６に対して一番良い又は最も正しい潜在的な置換値をもたらすということに関して、予め定められた概念がないので、複数のモデル５３２が用いられており、各モデル５３２は、それぞれの修復の方法Ｍ１～Ｍ４を実行するために用いられる。いくつかの実施形態において、方法ベースのシミュレーションサブモジュール５３４は、その中に存在するＫＰＩ策定４６８へのアクセスの準備のために、ＫＰＩ策定サブモジュール５１６に通信可能に連結される。

少なくともいくつかの実施形態において、複数のシミュレーションされたデータスナップショット１０２０が生成される。例えば、例示的な実施形態において、修復の方法Ｍ１は、それぞれのモデル５３２を利用して、シミュレーションされたデータスナップショット１０２２においてインピュートされた値１０２４を計算する。いくつかの実施形態において、誤りのあるデータ１００６に対してインピュートされた値１０２４を計算するために用いられる誤りのないデータ１００４の一部は、それぞれの修復の方法Ｍ１と関連付けられる特定の修復技術に依存する。例えば、欠損している値をすべての値の平均値と置き換えると判定された場合、それぞれの誤りのないデータ１００４の実質的に完成したセットがそれぞれの修復の方法Ｍ１において用いられる。代替的に、誤りのないデータ１００４の周辺の３つの値のみが欠損している値、すなわち、誤りのあるデータ１００６を計算するために用いられる場合、誤りのないデータ１００４のこれら周辺の値のみがそれぞれの修復の方法Ｍ１により用いられる。同様に、シミュレーションされたデータスナップショット１０３２、１０４２及び１０５２は、それぞれの修復の方法Ｍ２～Ｍ４を通じて生成され、それぞれのインピュートされた値１０３４、１０４４及び１０５４を含む。修復の方法Ｍ１～Ｍ４が異なるので、それぞれのインピュートされた値１０２４、１０３４、１０４４及び１０５４も異なっている方が良い。図４及び図５Ｂを参照すると、シミュレーションされたデータスナップショット１０２２、１０３２、１０４２及び１０５２は、方法ベースのシミュレーションサブモジュール５３４からの出力５３６として示されており、出力５３６は、いくつかの実施形態において、データストレージシステム４０８内に存在するデータシミュレーションスナップショットストレージモジュール５３８に伝送される。

例示的な実施形態などの少なくとも１つの実施形態において、誤りのあるデータ１００６の３つのインスタンスは、実質的に同一である。少なくとも１つの実施形態において、誤りのあるデータ１００６のインスタンスのそれぞれは異なる。したがって、複数のモデル５３２及び修復の方法Ｍ１～Ｍ４が誤りのあるデータ１００６のすべてに対して用いられるので、各異なるエラーに対して複数のそれぞれのインピュートされた値１０２４、１０３４、１０４４及び１０５４を生成することが容易になる。したがって、修復の方法Ｍ１～Ｍ４の形式の方法ベースのシミュレーションは、誤りのない元のデータ１００４の１つ又は複数のシミュレーションスナップショット１０２２、１０３２、１０４２及び１０５２、及び、各誤りのある元のデータ値１００６に対してインピュートされた値１０２４、１０３４、１０４４及び１０５４を生成するために用いられ、インピュートされた値１０２４、１０３４、１０４４及び１０５４のそれぞれは、特定の修復の方法Ｍ１～Ｍ４が用いられる場合に、データ値がどのように見えるのかを示し、インピュートされた値１０２４、１０３４、１０４４及び１０５４のそれぞれは、異なる修復の方法Ｍ１～Ｍ４の成果物である。

少なくともいくつかの実施形態において、センサ群４１６を通じた元の時系列データストリーム４２０の収集は、それらが収集される際のデータエレメント内のパターンの判定を容易にするヒューリスティックベースの特徴の使用を含む。いくつかの条件下で、元のデータ４２２の１つ又は複数のインスタンスは、確立されたデータパターンにデータエレメントの値が応じるべき確率に基づいた閾値を超えるそれぞれのデータエレメントに起因して間違っているように見えるかもしれない。例えば、限定することなく、見掛けのデータ偏位、すなわち、データ急上昇又は急下降は、誤りのあるデータパケットを通じて、又は、リアルタイムに発生する正確な描写に応じてのいずれかで生成されてよい。したがって、スナップショット生成モジュール５３０は、さらに、ポイントベースのシミュレーションを用いて、エラーを分析し、明らかに誤りのあるデータが実際に誤りのあるデータであるかどうかを判定するように構成される、すなわち、スナップショット生成モジュール５３０は、ポイントベースのシミュレーションサブモジュール５４０を含む。

図１１を参照すると、ポイントベースのシミュレーションのためのプロセス１１００を示す概略図が提供される。また、図４及び図５Ｂを参照すると、ポイントベースのシミュレーションは、ポイントベースのシミュレーションサブモジュール５４０を通じて生成される。埋め込まれた問題点を有する誤りのあるデータ、及び、それぞれのＫＰＩ策定特性４７０の識別情報を含むデータ検査モジュール５１０の出力５２６の一部は、誤りのないデータポイント１１０４の１０個のインスタンス及び疑わしい潜在的に誤りのあるデータポイント１１０６の３つのインスタンスを有するデータスニペット１１０２として示される。疑わしい潜在的に誤りのあるデータポイント１１０６の３つのインスタンスは、個別に１１０６Ａ、１１０６Ｂ及び１１０６Ｃと称され、まとめて、１１０６と称される。１つ又は複数の実施形態において、既知の誤りのない元のデータ、すなわち、誤りのないデータポイント１１０４及び疑わしい潜在的に誤りのあるデータポイント１１０６を含むデータスニペット１１０２は、疑わしい潜在的に誤りのあるデータポイント１１０６の値が正しいか、又は、誤りがあるかの確率の判定を開始するための構成のマトリックス１１１０に組み合わせられる。図示されるように、マトリックス１１１０は、３つの疑わしい潜在的に誤りのあるデータポイント１１０６、すなわち、２^３を有する、又は、３つの疑わしい潜在的に誤りのあるデータポイント１１０６の８通りの組み合わせに基づいている。マトリックス１１１０は、３つの列１１１２、１１１４及び１１１６、すなわち、それぞれ、疑わしい潜在的に誤りのあるデータポイント１１０６Ａ、１１０６Ｂ及び１１０６Ｃのそれぞれに１つずつで構成されている。結果として得られる８つの行は、個別にＤ１からＤ８と称され、まとめて１１２０と称され、３つの疑わしい潜在的に誤りのあるデータポイント１１０６の利用可能な組み合わせを含む。

３つの疑わしい潜在的に誤りのあるデータポイント１１０６のそれぞれは、離散的な「正しい」又は離散的な「誤り」のいずれかとして個別に推定され、潜在的に誤りのあるデータ値は、それらを既知の誤りのない元のデータ、すなわち、誤りのないデータポイント１１０４と区別するために「推定されるデータポイント」と称される。図１１に示されるように、推定される誤りのあるデータポイントは、まとめて１１３０と称される。疑わしい潜在的に誤りのあるデータポイント１１０６Ａと関連付けられているこれらの推定される誤りのあるデータポイント１１３０は、個別に示されており、列１１１２において１１２２、１１３２、１１６２及び１１８２と称されている。また、疑わしい潜在的に誤りのあるデータポイント１１０６Ｂと関連付けられているこれらの推定される誤りのあるデータポイント１１３０は、個別に示されており、列１１１４において１１２４、１１４４、１１６４及び１１７４と称されている。さらに、疑わしい潜在的に誤りのあるデータポイント１１０６Ｃと関連付けられているこれらの推定される誤りのあるデータポイント１１３０は、個別に示されており、列１１１６において１１２６、１１４６、１１７６及び１１８６と称されている。

同様の方式で、図１１に示されるように、推定される正しいデータポイントは、まとめて１１４０と称されている。疑わしい潜在的に誤りのあるデータポイント１１０６Ａと関連付けられているこれらの推定される正しいデータポイント１１４０は、個別に示されており、列１１１２において１１４２、１１５２、１１７２及び１１９２と称されている。また、疑わしい潜在的に誤りのあるデータポイント１１０６Ｂと関連付けられているこれらの推定される正しいデータポイント１１４０は、個別に示されており、列１１１４において１１３４、１１５４、１１８４及び１１９４と称されている。さらに、疑わしい潜在的に誤りのあるデータポイント１１０６Ｃと関連付けられているこれらの推定される正しいデータポイント１１４０は、個別に示されており、列１１１６において１１３６、１１４６、１１６６及び１１９６と称されている。マトリックス１１２０のシミュレーションスナップショット５４２が実行される。

したがって、第１行Ｄ１は、推定される誤りのあるデータポイント１１３０として３つの疑わしい潜在的に誤りのあるデータポイント１１０６をすべて表す。同様に、第８行Ｄ８は、推定される正しいデータポイント１１４０として３つの疑わしい潜在的に誤りのあるデータポイント１１０６をすべて表す。第２行、第３行及び第４行Ｄ２、Ｄ３及びＤ４は、それぞれ、推定される誤りのあるデータポイント１１３０として、３つの疑わしい潜在的に誤りのあるデータポイント１１０６のうちの１つのみ、及び、推定される正しいデータポイント１１４０として、３つの疑わしい潜在的に誤りのあるデータポイント１１０６のうちの２つを表す。第５行、第６行及び第７行Ｄ５、Ｄ６及びＤ７は、それぞれ、推定される誤りのあるデータポイント１１３０として３つの疑わしい潜在的に誤りのあるデータポイント１１０６のうちの２つ、及び、推定される正しいデータポイント１１４０として３つの疑わしい潜在的に誤りのあるデータポイント１１０６のうちの１つのみを表す。

そのため、推定される誤りのあるデータポイント１１３０及び推定される正しいデータポイント１１４０は、伝送されたときの元のデータ値、及び、正しいか又は誤りがあるかのいずれかとして離散的な推定されるラベルを有する。残りの解析は、推定される誤りのあるデータポイント１１３０及び推定される正しいデータポイント１１４０に限定的に焦点を合わせる。具体的には、Ｄ１からＤ８として示されるような推定されるデータポイント１１３０及び１１４０のあらゆる可能な組み合わせのすべては、さらなる評価のために前述のシミュレーションスナップショット５４２において収集される。離散的な「正しい」ラベル、すなわち、推定される正しいデータポイント１１４０、及び、離散的な「誤り」ラベル、すなわち、推定される誤りのあるデータポイント１１３０及びそのようなものの後続の集約のすべての可能な組み合わせの生成は、「最良」のアクション、及び「最良」のアクションが誤りのあるデータを訂正するか、又は、正確なデータを受け入れるかについてのさらなる判定をしやすくする。これらの動作は、疑わしい潜在的に誤りのあるデータ値のうちの１つ又は複数の確率が「正しい」か又は「誤り」であると判定したことを通じて、誤りかもしれない又はそうではないかもしれないデータスニペット１１０２内の元のデータと関連付けられている許容される間違い考慮する。組み合わせＤ１からＤ８のそれぞれにおいて、疑わしい潜在的に誤りのある値１１０６のいくつかが誤りとして間違って特定され、いくつかは、誤りとして正確に特定されることが想定される。そのため、組み合わせＤ１からＤ８のそれぞれについて、誤りのある値は、限定されるものではないが、図１０に関して説明されるものと同様の予め定められた修正方法に基づいてインピュートされた値と置き換えられる。したがって、各組み合わせＤ１からＤ８は、正しい及び正しくないデータポイントの異なるセットを有し、予め定められた修正技術に基づいて異なるインピュートされた値を必要とする。

上述したように、ポイントベースのシミュレーションは、外れ値の問題点を処理するために上手く構成され、外れ値の問題点は、図１１における例示的な実施形態をさらに説明するために用いられる。上述したように、パターンは、データスニペット１１０２、及び、それぞれのデータエレメントの値が確立されたデータパターンに応じるべき確率を含む元のデータ５０４において識別されてよい。したがって、離散的な「誤り」推定されるデータポイント１１３０は、これに割り当てられるパーセント保証で誤りのあるものとして誤判定される確率を有する。３つの疑いの可能性がある誤りのある値１１０６のそれぞれの確率は、値１１０６に誤りがあるかそうでないかを判定するために用いされる。様々な８つの組み合わせＤ１からＤ８が評価される際に、Ｄ１からＤ８のそれぞれが真である確率が判定され、真である確率が最も高いこれらの行Ｄ１からＤ８は、さらなる解析に提出される。Ｄ１からＤ８の全確率は１００％である。例えば、限定することなく、Ｄ１における各ポイント１１２２、１１２４及び１１２６のヒューリスティック解析及びそれらの関連する合計した確率を考慮すると、誤りがあるＤ１における３つのポイントのすべてが、（３つの値がすべて正しい）行Ｄ８のように、比較的低い確率を有すると判定され得る。これら２つの行Ｄ１及びＤ８は、これ以上考慮されることはない。特に、誤りのある値がない行Ｄ８が正しいという確率が最も高いこれらの実施形態について、さらなる解析が実行される必要はなく、値１１０６は、さらに説明されるように、下流工程を通じて訂正されることはない。したがって、真である確率がより高い値の組み合わせがさらに処理される。

一般に、離散的な「正しい」及び「誤り」推定されるデータポイント１１３０及び１１４０の各可能な組み合わせの総数は、推定されるデータポイントの数と共に指数関数的に増え（すなわち、２^ｘであり、ｘ＝推定されるデータ値生成の数である）、すべての可能な組み合わせを生成し、それらを処理することは、時間及びリソース集中型となり得る。推定されるデータポイントの各組み合わせは、潜在的なシミュレーションであり、潜在的なシミュレーションとして組み合わせのそれぞれを処理することは、単に、処理するオーバヘッドを増加させるだけである。したがって、推定されるデータポイント１１３０及び１１４０の説明される可能な組み合わせＤ１からＤ８がさらに考慮されるが、しかしながら、推定されるデータポイント１１３０及び１１４０の可能な組み合わせは、すべての可能な組み合わせのサブセットのみがさらに考慮されるように「プルーニングされる」。上述したように、初期のプルーニングは、潜在的に誤りのある値の低い確率の組み合わせがさらなる処理から除外される際に発生する。

ポイントベースのシミュレーションサブモジュール５４０は、スナップショット最適化サブモジュール５４４に動作可能に連結される。そのような実施形態において、スナップショット最適化の特徴は、前述したように、ＫＰＩ策定特性４７０が観測可能でないボックスであるか、又は、観測可能なボックスであるかに関わらず判定されるＫＰＩ策定特性４７０を用いることを通じて利用される。例えば、限定することなく、最大値、最小値、平均値及び中央値の解析のためのＫＰＩ策定特性４７０は、推定されるデータポイント１１３０及び１１４０のシミュレーションをフィルタリングするために用いられ得る。したがって、スナップショット最適化モジュール５４４は、ＫＰＩ策定サブモジュール５１６に通信可能に連結される。一般に、プルーニングプロセスを通じて渡すのに成功した推定されるデータポイントのこれらの組み合わせのみが、モデルを通じて疑わしいポイント値のそれぞれのシミュレーションを生成し、誤りのない元のデータと、特定された誤りのあるデータに対してインピュートされた値とを用いてそれぞれのシミュレーションスナップショットを生成するために存続し、疑わしい誤りのあるポイント値の一部は、実際には、誤りがないかもしれず、それらの置換の必要がない。

図１２を参照すると、（図５Ｂに示されるように）スナップショット最適化サブモジュール５４４内での実行のために構成されるスナップショットオプティマイザのための例示的なアルゴリズム１２００を示すテキスト図が提供される。図４、図５Ａ、図５Ｂ及び図１１を参照すると、アルゴリズム１２００は、ＫＰＩ特性判定サブモジュール５１４により以前に判定されたものとして、かつ、図６～図８に関して説明したようなＫＰＩ策定特性４７０を判定するオペレーション１２０２を含む。マトリックス１１２０のように例示的な実施形態において表されるようなデータ、つまり、上述したように低い確率に起因して除外されている残りの行に埋め込まれるデータは、さらに、データ提示オペレーション１２０４を通じて本明細書において説明されるようなプルーニング効果を生成するために分析される。上述したように、例示的な埋め込みは、外れ値を分析することを含む。１つ又は複数の実施形態において、第１のサブアルゴリズム、すなわち、「最高」サブアルゴリズム１２０６が実行のために考慮される。以前に判定されたＫＰＩ策定特性４７０が最高の特性であるというイベントにおいて、修正されたデータオペレーション１２０８がモデル５３２の１つ又は複数を通じて実行される。修正されたデータオペレーション１２０８は、疑わしい潜在的に誤りのあるデータ１１０６が、元のデータ５０４のデータスニペット１１０２の上昇ピーク内の外れ値であるかどうかを判定することを含む。データスニペット１１０２が上昇傾向を示しておらず、それにより、上昇ピークのいずれの機会も除外している場合、アルゴリズム１２００は、次のオペレーションのセットに進む。データスニペット１１０２が上昇傾向を示している場合、影響を受ける外れ値は、疑わしい誤りのあるデータに実際には誤りがあったといういくつかのレベルの確実性をもたらす以前に説明した確率値を用いて、修正されたデータオペレーション１２０８ごとの上昇傾向に対して平滑効果をもたらす値と置き換えられる。これらのデータポイントは、１つ又は複数のモデル５３２を通じたシミュレーションのために選択される。データ置換識別情報又は「修正」が実行されると、最高サブアルゴリズム１２０６は終了する１２１０。

第２のサブアルゴリズム、すなわち、「最低」サブアルゴリズム１２１２が実行のために考慮される。以前に判定されたＫＰＩ策定特性４７０が最低の特性であるというイベントにおいて、修正されたデータオペレーション１２１４は、モデル５３２の１つ又は複数を通じて実行される。修正されたデータオペレーション１２１４は、疑わしい潜在的に誤りのあるデータ１１０６が元のデータ５０４のデータスニペット１１０２の下降ピーク内の外れ値であるかどうかを判定することを含む。データスニペット１１０２が下降傾向を示しておらず、それにより、下降ピークのいずれの機会も除外している場合、アルゴリズム１２００は、次のオペレーションのセットに進む。データスニペット１１０２が下降傾向を示している場合、影響を受ける外れ値は、疑わしい誤りのあるデータに実際には誤りがあったといういくつかのレベルの確実性をもたらす以前に説明した確率値を用いて、修正されたデータオペレーション１２１４ごとの下降傾向に対して平滑効果をもたらす値と置き換えられる。これらのデータポイントは、１つ又は複数のモデル５３２を通じたシミュレーションのために選択される。データ修復又は「修正」が実行されると、最低サブアルゴリズム１２１２が終了する１２１６。

第３のサブアルゴリズム、すなわち、「平均値」サブアルゴリズム１２１８が実行のために考慮される。以前に判定されたＫＰＩ策定特性４７０が平均的な特性であるというイベントにおいて、修正されたデータオペレーション１２２０は、１つ又は複数のモデル５３２を通じて実行される。修正されたデータオペレーション１２２０は、すべての問題点、すなわち、影響を受ける疑いのある潜在的に誤りのあるデータ１１０６、及び、上述したそれぞれの確率のすべてを検討することを通じて、疑わしい潜在的に誤りのあるデータ１１０６が外れ値であるかどうかを判定すること、及び、互いに関連するそれぞれの値の近傍に基づいて、それらを潜在的に誤りのあるデータ値の１つ又は複数のクラスタにグループ化することを含む。いくつかの実施形態において、クラスタリングするための基礎として用いられる平均的な特性を示す潜在的に誤りのあるデータ値の複数のクラスタがあってよい。クラスタ検討オペレーション１２２２が実行され、代表点、例えば、限定することなく、各クラスタからの平均値の収集がシミュレーションのための代表点とみなされる。シミュレーションのためのデータ選択が１つ又は複数のモデル５３２を通じて実行されると、平均値サブアルゴリズム１２１８が終了する１２２４。

第４のサブアルゴリズム、すなわち、「中央値」サブアルゴリズム１２２６が実行のために考慮される。以前に判定されたＫＰＩ策定特性４７０が中央値の特性であるというイベントにおいて、修正されたデータオペレーション１２２８は、モデル５３２の１つ又は複数を通じて実行される。修正されたデータオペレーション１２２８は、すべての問題点、すなわち、影響を受ける疑いのある潜在的に誤りのあるデータ１１０６及び上述したそれぞれの確率のすべてを検討することを通じて、疑わしい潜在的に誤りのあるデータ１１０６が外れ値であるかどうかを判定することを含む。疑わしい潜在的に誤りのあるデータ１１０６が実際に外れ値である場合、中央値ベースのＫＰＩが値の混乱による影響を受けないので、当該データに対してさらなる動作が取られることはなく、中央値サブアルゴリズム１２２６は終了する１２３０。いくつかの実施形態において、サブアルゴリズム１２０６、１２１２、１２１８及び１２２６は、並行して同時に実行されてよい。最適化されたシミュレーションされたデータスナップショット５４６として示されるスナップショット最適化モジュール５４４の出力は、いくつかの実施形態では、データストレージシステム４０８内に存在するデータシミュレーションスナップショットストレージモジュール５３８に伝送される。したがって、複数のシミュレーションスナップショット５３６及び５４６は、さらなる処理のために生成され、シミュレーションスナップショット５３６及び５４６は、他の多数のインピュートされた値を大幅に減らす方式で生成される。

引き続き図４、図５Ｂ、図１０及び図１１を参照すると、少なくともいくつかの実施形態において、シミュレーションスナップショット５３６及び５４６は、スナップショット生成モジュールにより作成され、方法ベースであるか、又は、ポイントベースであるかがＫＰＩ値推定モジュール５５０に伝送される。上述したように、シミュレーションスナップショット５３６及び５４６の各シミュレーションスナップショットは、誤りのない元のデータ（例えば、１００４及び１１０４）と、確立された誤りのあるデータに対してインピュートされた値（例えば、１００６及び１１０６）とを含む。インピュートされた値及び関連する元のデータのそれぞれは、予測される置換値、すなわち、それぞれのシミュレーションスナップショット５３６及び５４６におけるインピュートされた値のそれぞれに対して推定されるスナップショット値を生成するために、それぞれのＫＰＩ策定４６８に提示される。そのため、元のデータ５０４もＫＰＩ値推定モジュール５５０に伝送される。

図１３を参照すると、ＫＰＩ値推定処理１３００の少なくとも一部を示すグラフィック図が提示される。また、図４及び図５Ｂを参照すると、シミュレーションスナップショット５３６及び５４６に対して推定されるスナップショット値は、それぞれのＫＰＩ策定４６８に基づいており、時系列データストリーム上の誤りのない元のデータのコンテキスト内にある。したがって、ＫＰＩ値推定モジュール５５０に伝送される各シミュレーションスナップショット５３６及び５４６に対して、予測される置換値、すなわち、推定されるスナップショット値が生成される。図１３は、横軸（Ｙ軸）１３０２及び縦軸（Ｘ軸）１３０４を示す。Ｙ軸１３０２は、４１．８から４２．６まで広がることが示されており、値は無名数である。Ｘ軸１３０４は、無価値及び無名数が示されている。値の性質は重要ではないが、しかしながら、処理１３００は、シミュレーションスナップショット５３６及び５４６を提示されるＫＰＩ策定特性４７０に応じて判定される値の一部を示す。元のＫＰＩ値１３０６、すなわち、それぞれのＫＰＩ策定４６８を通じて誤りの疑いがあるデータを処理することにより生成される値が基準として提示され、それぞれの値は、４２．１７７である。シミュレーションされるＫＰＩ最大値スナップショット１３０８は、４２．５４８の推定されるスナップショット値を提示し、シミュレーションされるＫＰＩ平均値スナップショット１３１０は、４２．０９１の推定されるスナップショット値を提示し、シミュレーションされるＫＰＩ最小値スナップショット１３１２は、４１．８０５の推定されるスナップショット値を提示する。これらの推定されるスナップショット値は、処理５００の後続の部分の議論で用いられる。

図５Ｃを参照すると、図５Ａ及び図５Ｂに示されるフローチャートの続きが提供され、時系列データ内の訂正されたデータに対する信頼度値を計算するための処理５００を示す。また、図５Ｂを参照すると、ＫＰＩ値推定モジュール５５０の出力は、推定されるポイントベースのスナップショット値５５２、推定される方法ベースのスナップショット値５５４及び元のデータ５０４を含み、これらは、ＫＰＩ値推定モジュール５５０に通信可能に連結される信頼度測定モジュール５７０に伝送される。一般に、信頼度測定モジュール５７０内のＫＰＩ値推定モジュール５５０におけるシミュレーションスナップショットから生成される誤りのあるデータに対するそれぞれの推定されるスナップショット値ごとに、推定されるスナップショット値は、個別に採点される。それぞれの採点法は、採点された推定されるポイントベースのスナップショット値５６２、すなわち、それぞれの信頼度値を有する推定されるポイントベースのスナップショット値５５２を生成することを含む。さらに、それぞれの採点法は、採点された推定される方法ベースのスナップショット値５６４、すなわち、それぞれの信頼度値を有する推定される方法ベースのスナップショット値５５４を生成する。信頼度値の生成は以下でさらに説明される。最高の解析スコアが選択され、それぞれの推定されるスナップショット値は、ここで、誤りのあるデータを置き換えるために選択されたＫＰＩ値へと昇格され、選択されたＫＰＩ値は、推定されるＫＰＩ値５６６と称される。したがって、推定されるＫＰＩ値５６６は、潜在的に誤りのあるデータインスタンスを解消するために、１つ又は複数の予測される置換値から選択された値（すなわち、採点された推定されるスナップショット値５６２及び５６４）である。

いくつかの実施形態において、信頼度測定モジュール５７０は、信頼度値並びに詳細及び証拠の生成を促進して、そのような値をサポートする複数の追加のサブモジュールを含む。これらの実施形態のいくつかにおいて、３つの信頼度測定サブモジュール、すなわち、品質ベースの信頼度測定サブモジュール５７２、スプレッドベースの信頼度測定サブモジュール５７４、及び、品質及びスプレッドベースの信頼度測定サブモジュール５７６が用いられる。

品質ベースの信頼度測定サブモジュール５７２は、ＫＰＩ値推定モジュール５５０から取得される値の大きさを考慮に入れて、それぞれの信頼度スコアを含む関連する信頼度測定情報を生成するように構成される。例えば、限定することなく、ＫＰＩ値の大きさが５０であるか、又は、１０５０であるかといった結果として得られるＫＰＩ値における信頼度は、追加のデータ及び条件の観点から異なり得る。スプレッドベースの信頼度測定サブモジュール５７４は、シミュレーションされた値があり、それぞれの信頼度スコアを含む関連する信頼度測定情報を生成する範囲を検討する。ＫＰＩ値の絶対的な大きさの代わりに、スプレッドベースの信頼度測定は、ＫＰＩ値の平均、最小、最大及び標準偏差のような統計的特性を用いており、したがって、実質的には、大きさにより影響されることはない。品質及びスプレッドベースの信頼度測定サブモジュール５７６は、大きさ並び値の範囲を検討して、それぞれの信頼度スコアを含む関連する信頼度測定情報を生成する。いくつかの実施形態において、サブモジュール５７２、５７４及び５７６の３つすべてが並行して用いられ、それぞれの結果が選択のために考慮及び評価される。いくつかの実施形態において、サブモジュール５７２、５７４及び５７６のうちの１つ又は２つのみが、到着した推定されるＫＰＩ値５６６の性質及び他のデータ５６８（以下でさらに説明される）に基づいて選択される。

図１４を参照すると、グラフィック／テキスト図が提供され、数値的な信頼度測定の生成１４００を示す。また、図５Ｂ及び図５Ｃを参照すると、推定されるポイントベースのスナップショット値５５２及び推定される方法ベースのスナップショット値５５４の信頼度値が生成される。線形的なグラフィカル表現１４１０は、図１３に示される４つの値と共に提示される。具体的には、（図５Ｃに示される）他のデータ５６８、例えば、限定することなく、４１．８０５の推定されるスナップショット値を有するＫＰＩ最小値スナップショット値１４１２、４２．０９１の推定されるスナップショット値を有するシミュレーションされたＫＰＩ平均スナップショット値１４１４、４２．１１７の元のＫＰＩ値１４１６、及び、４２．５４８の推定されるスナップショット値を有するＫＰＩ最大値スナップショット値１４１８は示される。また、図１４に提示されるものは、第１のセットの信頼度測定評価アルゴリズム、すなわち、最大偏差信頼度測定アルゴリズム１４３０である。信頼度測定１Ａのアルゴリズムは、元のＫＰＩ値１４１６に応じて、推定されるスナップショット値１４１２、１４１４及び１４１８の最大分散間の関係を判定する。信頼度測定１Ｂのアルゴリズムは、シミュレーションされたＫＰＩ平均スナップショット値１４１４に応じて、推定されるスナップショット値１４１２、１４１４及び１４１８の最大分散間の関係を判定する。さらに、図１４に提示されるものは、第２のセットの信頼度測定評価アルゴリズム、すなわち、平均偏差信頼度測定アルゴリズム１４４０である。信頼度測定２Ａのアルゴリズムは、元のＫＰＩ値１４１６に応じて、元のＫＰＩ値１４１６と、シミュレーションされたＫＰＩ平均スナップショット値１４１４との間の分散の関係を判定する。信頼度測定２Ｂのアルゴリズムは、シミュレーションされたＫＰＩ平均スナップショット値１４１４に応じて、元のＫＰＩ値１４１６と、シミュレーションされたＫＰＩ平均スナップショット値１４１４との間の分散の関係を判定する。また、図１４は、スプレッドベースの測定アルゴリズム１４５０、すなわち、シミュレーションされたＫＰＩ最大値１４１８と、シミュレーションされたＫＰＩ最小値１４１２との間のスプレッド１４５４に応じて、元のＫＰＩ値１４１６と、シミュレーションされたＫＰＩ平均スナップショット値１４１４との間の偏差１４５２を評価する信頼度測定３のアルゴリズムを提示する。信頼度測定１Ａ及び１Ｂの最大偏差信頼度測定アルゴリズム１４３０、及び、信頼度測定２Ａ及び２Ｂの平均偏差信頼度測定アルゴリズム１４４０は、品質ベースの信頼度測定サブモジュール５７２及び品質及びスプレッドベースの信頼度測定サブモジュール５７６内に存在する。同様に、スプレッドベースの測定アルゴリズム１４５０の信頼度測定３のアルゴリズムは、スプレッドベースの信頼度測定サブモジュール５７４及び品質及びスプレッドベースの信頼度測定サブモジュール５７６内に存在する。

また、図１５を参照すると、グラフィック図、すなわち、カラムチャート１５００が提供され、アルゴリズムから計算された値と、その間の比較を用いて図１４において提供される値とを用いた信頼度測定を示す。カラムチャート１５００は、０％と１００％との間に広がる計算された信頼度値の値を代表する縦軸（Ｙ軸１５０２）を含む。カラムチャート１５００はまた、信頼度測定１Ａ、１Ｂ、２Ａ、２Ｂ及び３を特定する横軸（Ｘ軸）１５０４を含む。信頼度測定２Ａ及び２Ｂの信頼度値は、９９．８の最も高い値を提供する。したがって、シミュレーションされたＫＰＩ平均スナップショット値１４１４は、誤りのあるデータに対する最高の信頼度値を提供する。少なくともいくつかの実施形態において、シミュレーションされたＫＰＩ平均スナップショット値１４１４は、本例についての推定されるＫＰＩ値５６６である。

一般に、信頼度測定モジュール５７０は、前述のシミュレーションのうちの１つ又は複数を通じて生成される推定されるスナップショット値５５２及び５５４をそれぞれの元の誤りのあるデータと比較する。比較の結果の少なくとも１つは、推定されるスナップショット値５５２及び５５４が誤りのあるデータに対して適切な置換であることの信頼度のレベルを示すデータのそれぞれのスナップショットに適用されるように、推定されるスナップショット値５５２及び５５４のそれぞれに対する数値の形式の信頼度値である。比較的低い信頼度値は、結果として得られる推定されるＫＰＩ値５６６を含むそれぞれの推定されるスナップショット値５５２及び５５４が用いられるべきではない、又は、注意して用いられる、のいずれかであることを示す。比較的高い信頼度値は、結果として得られる推定されるＫＰＩ値５６６を含むそれぞれの推定されるスナップショット値５５２及び５５４が用いられるべきではないことを示す。関連する信頼度値の閾値は、ユーザにより確立されてよく、また、１つ又は複数のモデルを訓練するために用いられてよく、両方の条件は、選択を完全に自動化することを容易にする。さらに、後続の動作が自動化され得る。例えば、限定することなく、所定の閾値を下回る信頼度値について、推定されるＫＰＩ値５６６は、元のデータストリーム４２０を利用して、ネイティブアプリケーション内のさらなる処理、例えば、プロセス制御システム４１０に対して渡されることはない。同様に、所定の閾値を上回る信頼度値について、推定されるＫＰＩ値５６６は、元のデータ４２２を利用して、ネイティブアプリケーション内のさらなる処理のために渡される。したがって、本明細書で説明されるようなシステム及び方法は、不用意な動作を防ぐ、又は、条件及び正確なデータの指示に従って適切な動作を開始する方式で自動的に元のデータストリーム４２０内の誤りのあるデータを用いて問題点を正す。

図５Ｃを再び参照すると、信頼度測定モジュール５７０は、信頼度測定サブモジュール５７２、５７４及び５７６から信頼度ベースのデータ５８０を受信するように構成される説明サブモジュール５７８を含む。信頼度ベースのデータ５８０は、限定することなく、推定されるＫＰＩ値５６６及びその関連する信頼度値、推定されるＫＰＩ値５６６の選択と関連付けられるそれぞれの情報及び追加の情報を含み、限定することなく、それぞれの信頼度値を含む推定されるスナップショット値５５２及び５５４のすべてを含む他のデータ５６８を含む、選択された推定されるＫＰＩ値５６６の説明を生成する。さらに、予測、すなわち、推定されるＫＰＩ値５６６に対する信頼度値が１００％ではない可能性があるので、説明サブモジュール５７８は、推定されるＫＰＩ値５６６として、特定の採点された推定されるスナップショット値５６２及び５６４の選択についての詳細及び証拠を提供することを通じて、１つ又は複数の潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を提供する。説明サブモジュール５７８は、限定することなく、データセットにおいて検出された問題点のタイプ、生成されるシミュレーションの数及び性質、様々なシミュレーションから取得されるスコアの統計的特性及びスコアの比較を含むそのような詳細を提供する。したがって、信頼度測定モジュール５７０は、採点された推定されるスナップショット値５６２及び５６４及び情報に対して様々な信頼度測定を生成して、採点された推定されるスナップショット値５６２及び５６４の分散の性質をユーザが理解することを促進し、さらに、それぞれの推定されるＫＰＩ値５６６の選択の明確性をもたらし、それにより、処理５００の出力として信頼度スコア及び説明５８２を生成する。

また、図１６を参照すると、テキスト図が提供され、信頼度測定説明１６００を示す。信頼度測定説明１６００において提供されるデータは、実質的に一目瞭然である。

本明細書において開示されるように、システム、コンピュータプログラム製品及び方法は、誤りのある時系列データを不注意に処理し、それらから想定外の結果に出くわす可能性があることについての欠点及び制限を克服することを促進する。例えば、それぞれのデータが生成される際に、所与のビジネスＫＰＩについて、本明細書で説明される自動化されたシステム及び方法は、データ品質の問題点がそれぞれのビジネスＫＰＩに対するインパクトが強いか否かを決定する。さらに、本明細書で説明されるシステム及び方法は、関連するデータの問題点を特定できるように関連するビジネスＫＰＩの性質（又は、特性）を特定し、正確なＫＰＩ策定が明示的に見えるか否か、すなわち、策定が実際は観測可能なボックスであるか、又は、観測可能でないボックスであるかに関わらず、最適化を実行できる。また、本明細書で説明されるシステム及び方法は、誤りのあるデータに対する置換値の採点された予測を選択することにより特定されたデータの問題点を解消する。さらに、本明細書で説明されるシステム及び方法は、可能な置換値の選択を最適化して、システムのリソースを効率的に用いる。また、採点された予測は、推定される信頼度測定及び値の理由に関する信頼度値の説明と共に、数値化された信頼度値を伴う。したがって、本明細書で説明されるように、データ品質の問題点は、所与のＫＰＩの解析に基づいてフィルタリングされ、データは、所与のＫＰＩの測定に対するその影響を計算し、予測された置換値の信頼度をさらに測定するために、様々なシナリオを考慮して、品質の問題点を緩和するために修正される。

さらに、本明細書で開示されるようなシステム、コンピュータプログラム製品及び方法の特徴は、限定的にビジネスベースの実施形態における実装を超えて広がり得る。誤りのある時系列データを不注意に処理し、それらから想定外の結果に出くわす可能性があるという同様の欠点及び制限を克服するために、ビジネスでない実装も想定される。具体的には、適切にそれぞれの機能を実行する時系列データに依存する任意のコンピュータ実装処理は、本開示における特徴の実装を通じて改善され得る。例えば、限定することなく、住居及び車両のユーザを含むＩｏＴデバイスから収集された任意の時系列データの使用は、最も高い信頼度を有する欠損データ値の置換を通じて、不注意にかつ不必要に自動化された動作を回避する。具体的には、住居のユーザについて、それぞれの電気事業者から誤って低い電圧を示している誤りのあるデータは、さもなければそれぞれの住居への十分な電力供給を妨害する低電圧保護回路を不注意にかつ不必要にアクティブにすることが防止され得る。そのような実装において、１つのそれぞれのＫＰＩは、住居のユーザに電力の継続性を維持することであり得る。また、具体的には、車両のユーザについて、過度の推進メカニズム温度を誤って示す誤りのあるデータは、自動化された緊急エンジン停止を不注意にかつ不必要にアクティブにすることが防止され得る。そのような実装において、１つのそれぞれのＫＰＩは、車両のユーザに対する推進力の継続性を維持することであり得る。

したがって、本明細書で開示される実施形態は、誤りのある時系列データと関連付けられた問題点を効率的に効果的にかつ自動的に特定し、関連するデータの問題点を特定でき、正確なＫＰＩ特性が素直に定義されているか否か、すなわち、ＫＰＩ策定が、実際に観測可能なボックスであるか、又は、観測可能でないボックスであるかについての最適化を実行できるようにビジネスＫＰＩの特性を特定することを通じて、データ品質の問題点が、所与のビジネスＫＰＩに対するインパクトが強いか否かを判定し、調査された潜在的な解決策についての信頼度解析を提示しつつ、特定されたデータの問題点を解消するためのメカニズムを提供することによりコンピュータ技術に対する改善をもたらす。

本開示の様々な実施形態の説明は、例示目的で記載されており、網羅的であること、あるいは、開示された実施形態への限定を意図していない。説明された実施形態の範囲及び趣旨から逸脱することなく、当業者には多くの修正例及び変形例が自明であろう。本明細書で用いられる用語は、実施形態の原理、市場で見られる技術の実用的な適用又はそれに対する技術的改善を最もよく説明し、あるいは、本明細書に開示された実施形態を他の当業者が理解できるように選択されている。

Claims (20)

1. コンピュータシステムであって、
   １つ又は複数の処理デバイス、及び、前記１つ又は複数の処理デバイスに動作可能に連結される少なくとも１つのメモリデバイスを備え、前記１つ又は複数の処理デバイスは、
   時系列データストリーム内の１つ又は複数の潜在的に誤りのあるデータインスタンスを特定し、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスに対する１つ又は複数の予測される置換値を判定し、
   前記１つ又は複数の予測される置換値のそれぞれの予測された置換値に対する信頼度値を判定し、
   前記１つ又は複数の予測される置換値のうちの１つの予測される置換値を用いて前記１つ又は複数の潜在的に誤りのあるデータインスタンスを解消し、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスの前記解消に関する説明根拠を生成する
   ように構成される、システム。
2. 前記１つ又は複数の処理デバイスは、さらに、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスを通じて影響を受ける１つ又は複数の重要業績評価指標（ＫＰＩ）を特定するように構成される、請求項１に記載のシステム。
3. 前記１つ又は複数の処理デバイスは、さらに、
   １つ又は複数のＫＰＩ策定特性が前記１つ又は複数の潜在的に誤りのあるデータインスタンスと関連付けられていることを判定するように構成され、前記１つ又は複数のＫＰＩの各ＫＰＩは、それらの１つ又は複数の策定を含み、前記１つ又は複数の策定の各策定は、それらの１つ又は複数の特性を含む、請求項２に記載のシステム。
4. 前記１つ又は複数の処理デバイスは、さらに、
   観測可能なＫＰＩ策定を分析し、それにより、観測可能なボックス策定を分析し、
   観察不可能なＫＰＩ策定を分析し、それにより、観測可能でないボックス策定を分析する
   ように構成される、請求項３に記載のシステム。
5. 前記１つ又は複数の処理デバイスは、さらに、
   １つ又は複数のシミュレーションスナップショットを生成するように構成され、前記１つ又は複数のシミュレーションスナップショットの各シミュレーションスナップショットは、１つ又は複数のインピュートされた値を含み、前記１つ又は複数の予測される置換値のそれぞれの予測された置換値は、前記１つ又は複数のインピュートされた値及び前記１つ又は複数のＫＰＩ策定特性に少なくとも部分的に基づいている、請求項３又は４に記載のシステム。
6. 前記１つ又は複数の処理デバイスは、さらに、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスの各潜在的に誤りのあるデータインスタンスに、分散的な正しいラベル及び分散的な誤りのあるラベルのうちの一方を交互に割り当ることを含む前記１つ又は複数の潜在的に誤りのあるデータインスタンスから複数の推定されるデータポイントを生成することと、
   前記複数の推定されるデータポイントのすべての可能な組み合わせのセットを生成することと、
   前記複数の推定されるデータポイントに実際には誤りがある確率を判定することと、
   前記複数の推定されるデータポイントのすべての可能な組み合わせの前記セットのサブセットのみに対する複数のポイントベースのシミュレーションスナップショットを生成することであって、前記複数のポイントベースのシミュレーションスナップショットの各ポイントベースのシミュレーションスナップショットは、前記１つ又は複数のインピュートされた値を含む、生成することと
   を有するポイントベースのシミュレーションを通じて前記複数のシミュレーションスナップショットを生成し、
   各潜在的に誤りのあるデータインスタンスに対する前記１つ又は複数のインピュートされた値を生成することであって、前記１つ又は複数のインピュートされた値の各インピュートされた値は、それぞれの修復オペレーションを通じて生成される、生成すること
   を有する方法ベースのシミュレーションを通じて複数のシミュレーションスナップショットを生成する
   ように構成される、請求項５に記載のシステム。
7. 前記１つ又は複数の処理デバイスは、さらに、
   前記１つ又は複数のＫＰＩ策定特性を用いることを通じて、スナップショット最適化の特徴を利用することを有する前記複数の推定されるデータポイントのすべての可能な組み合わせの前記セットの前記サブセットを生成するように構成される、請求項６に記載のシステム。
8. 前記１つ又は複数の処理デバイスは、さらに、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスを解消し、品質ベースの信頼度測定及びスプレッドベースの信頼度測定の１つ又は複数を通じて、前記１つ又は複数の潜在的に誤りのあるデータインスタンスの解消に関する説明根拠を生成するように構成される、請求項１から７のいずれか一項に記載のシステム。
9. プロセッサに、
   時系列データストリーム内の１つ又は複数の潜在的に誤りのあるデータインスタンスを特定する手順と、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスに対する１つ又は複数の予測される置換値を判定する手順と、
   前記１つ又は複数の予測される置換値のそれぞれの予測された置換値に対する信頼度値を判定する手順と、
   前記１つ又は複数の予測される置換値の１つの予測される置換値を用いて、前記１つ又は複数の潜在的に誤りのあるデータインスタンスを解消する手順と、
   前記１つ又は複数の潜在的に誤りのあるデータインスタンスの前記解消に関する説明根拠を生成する手順と
   を実行させるためのコンピュータプログラム。
10. 前記プロセッサに、
    前記１つ又は複数の潜在的に誤りのあるデータインスタンスを通じて影響を受ける１つ又は複数の重要業績評価指標（ＫＰＩ）を特定する手順をさらに実行させる、請求項９に記載のコンピュータプログラム。
11. 前記プロセッサに、
    ＫＰＩ策定特性の１つ又は複数が前記１つ又は複数の潜在的に誤りのあるデータインスタンスと関連付けられていることを判定する手順であって、前記１つ又は複数のＫＰＩの各ＫＰＩは、それらの１つ又は複数の策定を含み、前記１つ又は複数の策定の各策定は、それらの１つ又は複数の特性を含む、手順をさらに実行させる、請求項１０に記載のコンピュータプログラム。
12. 前記プロセッサに、
    １つ又は複数のシミュレーションスナップショットを生成する手順であって、前記１つ又は複数のシミュレーションスナップショットの各シミュレーションスナップショットは、前記１つ又は複数のインピュートされた値を含み、前記１つ又は複数の予測される置換値のそれぞれの予測された置換値は、前記１つ又は複数のインピュートされた値及び前記１つ又は複数のＫＰＩ策定特性に少なくとも部分的に基づいている、手順をさらに実行させる、請求項１１に記載のコンピュータプログラム。
13. コンピュータ実装方法であって、
    時系列データストリーム内の１つ又は複数の潜在的に誤りのあるデータインスタンスを特定する段階と、
    前記１つ又は複数の潜在的に誤りのあるデータインスタンスに対する１つ又は複数の予測される置換値を判定する段階と、
    前記１つ又は複数の予測される置換値のそれぞれの予測された置換値に対する信頼度値を判定する段階と、
    前記１つ又は複数の予測される値のうちの１つの予測される値を用いて前記１つ又は複数の潜在的に誤りのあるデータインスタンスを解消する段階と、
    前記１つ又は複数の潜在的に誤りのあるデータインスタンスの前記解消に関する説明根拠を生成する段階と
    を備える方法。
14. 前記１つ又は複数の潜在的に誤りのあるデータインスタンスを通じて影響を受ける１つ又は複数の重要業績評価指標（ＫＰＩ）を特定する段階をさらに備える、請求項１３に記載の方法。
15. 前記１つ又は複数のＫＰＩの各ＫＰＩは、それらの１つ又は複数の策定を含み、前記１つ又は複数の策定の各策定は、それらの１つ又は複数の特性を含み、前記方法は、
    前記１つ又は複数のＫＰＩ策定特性のうちの１つ又は複数が前記１つ又は複数の潜在的に誤りのあるデータインスタンスと関連付けられていることを判定する段階をさらに備える、請求項１４に記載の方法。
16. 前記１つ又は複数のＫＰＩ策定特性を判定する段階は、
    観測可能なＫＰＩ策定を分析し、それにより、観測可能なボックス策定を分析する段階と、
    観察不可能なＫＰＩ策定を分析し、それにより、観測可能でないボックス策定を分析する段階と
    を有する、請求項１５に記載の方法。
17. 前記１つ又は複数の予測される置換値を判定する段階は、
    １つ又は複数のシミュレーションスナップショットを生成する段階であって、前記１つ又は複数のシミュレーションスナップショットの各シミュレーションスナップショットは、前記１つ又は複数のインピュートされた値を含み、前記１つ又は複数の予測される置換値のそれぞれの予測された置換値は、前記１つ又は複数のインピュートされた値及び前記１つ又は複数のＫＰＩ策定特性に少なくとも部分的に基づいている、段階を有する、請求項１５又は１６に記載の方法。
18. 前記１つ又は複数の潜在的に誤りのあるデータインスタンスの各潜在的に誤りのあるデータインスタンスに、分散的な正しいラベル及び分散的な誤りのあるラベルのうちの一方を交互に割り当てることを含む前記１つ又は複数の潜在的に誤りのあるデータインスタンスから複数の推定されるデータポイントを生成することと、
    前記複数の推定されるデータポイントのすべての可能な組み合わせのセットを生成することと、
    前記複数の推定されるデータポイントに実際には誤りがある確率を判定することと、
    前記複数の推定されるデータポイントのすべて可能な組み合わせの前記セットのサブセットのみに対する複数のポイントベースのシミュレーションスナップショットを生成することであって、前記複数のポイントベースのシミュレーションスナップショットの各ポイントベースのシミュレーションスナップショットは、前記１つ又は複数のインピュートされた値を含む、生成することと
    を有するポイントベースのシミュレーションを通じて前記複数のシミュレーションスナップショットを生成する段階と、
    各潜在的に誤りのあるデータインスタンスに対する前記１つ又は複数のインピュートされた値を生成することであって、前記１つ又は複数のインピュートされた値の各インピュートされた値は、それぞれの修復オペレーションを通じて生成される、生成すること
    を有する方法ベースのシミュレーションを通じて複数のシミュレーションスナップショットを生成する段階と
    のうちの１つ又は複数をさらに備える、請求項１７に記載の方法。
19. 前記１つ又は複数のＫＰＩ策定特性を用いることを通じて、スナップショット最適化の特徴を利用することを有する前記複数の推定されるデータポイントのすべての可能な組み合わせの前記セットの前記サブセットを生成する段階をさらに備える、請求項１８に記載の方法。
20. 前記１つ又は複数の潜在的に誤りのあるデータインスタンスを解消し、前記説明根拠を生成する段階は、
    品質ベースの信頼度測定及びスプレッドベースの信頼度測定のうちの１つ又は複数を用いる段階を有する、請求項１３から１９のいずれか一項に記載の方法。

Images