JP2022038404A - データ連携システムおよびapiプラットフォーム - Google Patents

データ連携システムおよびapiプラットフォーム Download PDF

Info

Publication number
JP2022038404A
JP2022038404A JP2020142896A JP2020142896A JP2022038404A JP 2022038404 A JP2022038404 A JP 2022038404A JP 2020142896 A JP2020142896 A JP 2020142896A JP 2020142896 A JP2020142896 A JP 2020142896A JP 2022038404 A JP2022038404 A JP 2022038404A
Authority
JP
Japan
Prior art keywords
data
api
user
service
data analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020142896A
Other languages
English (en)
Inventor
孝記 中島
Takanori Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2020142896A priority Critical patent/JP2022038404A/ja
Priority to US17/408,671 priority patent/US20220067058A1/en
Publication of JP2022038404A publication Critical patent/JP2022038404A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/606Protecting data by securing the transmission between two devices or processes
    • G06F21/608Secure printing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer And Data Communications (AREA)

Abstract

【課題】 データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することができるデータ連携システムおよびAPIプラットフォームを提供する。【解決手段】 データ連携システムのAPIプラットフォーム52は、認証サービスによって認証された利用者に対して認可サービス92によって管理されている使用可能量を、ビッグデータ解析部44による解析結果のデータサイズが超えない場合に、この利用者に解析結果を通知し(S172)、認証サービスによって認証された利用者に対して認可サービス92によって管理されている使用可能量を、ビッグデータ解析部44による解析結果のデータサイズが超える場合に、この利用者に解析結果を通知しない(S166)ことを特徴とする。【選択図】 図9

Description

本発明は、情報システムが保持しているデータを収集して蓄積するデータ連携システムおよびAPIプラットフォームに関する。
従来、SaaS(Software as a Service)間でのデータ連携処理に対応した所定アルゴリズムの実行結果を取得するAPI(Application Program Interface)を提供するシステムが知られている(例えば、特許文献1参照。)。
特開2016-224578号公報
しかしながら、特許文献1には、データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することについては記載されていない。
そこで、本発明は、データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することができるデータ連携システムおよびAPIプラットフォームを提供することを目的とする。
本発明のデータ連携システムは、情報システムが保持しているデータを収集するデータ収集システムと、前記データ収集システムによって収集されたデータを解析するビッグデータ解析部と、前記ビッグデータ解析部によって管理されているデータを利用して特定の動作を実行するAPI(Application Program Interface)を提供するAPIプラットフォームと、利用者を認証する認証サービスと、前記ビッグデータ解析部によるデータの解析の使用可能量を利用者毎に管理する認可サービスとを備え、前記APIプラットフォームは、前記認証サービスによって認証された利用者に対して前記認可サービスによって管理されている前記使用可能量を、前記ビッグデータ解析部による解析結果のデータサイズが超えない場合に、この利用者に前記解析結果を通知し、前記認証サービスによって認証された利用者に対して前記認可サービスによって管理されている前記使用可能量を前記データサイズが超える場合に、この利用者に前記解析結果を通知しないことを特徴とする。
この構成により、本発明のデータ連携システムは、認証サービスによって認証された利用者に対して認可サービスによって管理されている使用可能量を、データの解析結果のデータサイズが超える場合に、この利用者に解析結果を通知しないので、データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することができる。
本発明のAPIプラットフォームは、情報システムが保持しているデータを収集するデータ収集システムによって収集されたデータを解析するビッグデータ解析部によって管理されているデータを利用して特定の動作を実行するAPI(Application Program Interface)を提供するAPIプラットフォームであって、前記ビッグデータ解析部によるデータの解析の使用可能量を利用者毎に管理する認可サービスによって、認証サービスによって認証された利用者に対して管理されている前記使用可能量を、前記ビッグデータ解析部による解析結果のデータサイズが超えない場合に、この利用者に前記解析結果を通知し、前記認証サービスによって認証された利用者に対して前記認可サービスによって管理されている前記使用可能量を前記データサイズが超える場合に、この利用者に前記解析結果を通知しないことを特徴とする。
この構成により、本発明のAPIプラットフォームは、認証サービスによって認証された利用者に対して認可サービスによって管理されている使用可能量を、データの解析結果のデータサイズが超える場合に、この利用者に解析結果を通知しないので、データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することができる。
本発明のデータ連携システムおよびAPIプラットフォームは、データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することができる。
本発明の一実施の形態に係るシステムのブロック図である。 図1に示すAPIプラットフォームのブロック図である。 図2に示すAPIコントローラーによって取得される予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンの一例を示す図である。 図2に示すキューの識別情報であるキューIDと、予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンとの対応関係の一例を示す図である。 図1に示す認証認可サービスのブロック図である。 処理要求メッセージを格納するキューを特定する場合の図1に示すデータ連携システムの動作のシーケンス図である。 利用者がログインする場合の図1に示すデータ連携システムの動作のシーケンス図である。 データの解析が依頼される場合の図1に示すデータ連携システムの動作のシーケンス図である。 図8における「データ解析」シーケンス図である。
以下、本発明の実施の形態について、図面を用いて説明する。
まず、本発明の一実施の形態に係るシステムの構成について説明する。
図1は、本実施の形態に係るシステム10のブロック図である。
図1に示すように、システム10は、データを生み出すデータソース部20と、データソース部20によって生み出されたデータを連携するデータ連携システム30とを備えている。
データソース部20は、データを生み出す情報システム21を備えている。情報システム21は、情報システム21の構成や設定を保存する構成管理サーバー21aを備えている。データソース部20は、情報システム21以外にも、少なくとも1つの情報システムを備えていても良い。情報システムの例としては、MFP(Multifunction Peripheral)、プリンター専用機などの画像形成装置を遠隔で管理する遠隔管理システムなどのIoT(Internet of Things)システムと、ERP(Enterprise Resource Planning)、生産管理システムなどの社内システムとが存在する。情報システムのそれぞれは、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。情報システムのそれぞれは、パブリック・クラウド上に構築されても良い。情報システムは、構造化データのファイルを保持しても良い。情報システムは、非構造化データのファイルを保持しても良い。情報システムは、構造化データのデータベースを保持しても良い。
データソース部20は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをデータ連携システム30の後述のパイプラインに送信するデータ収集システムとしてのPOSTコネクター22を備えている。データソース部20は、POSTコネクター22と同様の構成のPOSTコネクターをPOSTコネクター22以外に少なくとも1つ備えても良い。POSTコネクターは、POSTコネクター自身がファイルを取得する情報システムを構成するコンピューターによって構成されても良い。なお、POSTコネクターは、データ連携システム30の構成でもある。
データソース部20は、情報システムが保持している構造化データのデータベースから構造化データを取得して、取得した構造化データをデータ連携システム30の後述のパイプラインに送信するデータ収集システムとしてのPOSTエージェント23を備えている。データソース部20は、POSTエージェント23と同様の構成のPOSTエージェントをPOSTエージェント23以外に少なくとも1つ備えても良い。POSTエージェントは、POSTエージェント自身が構造化データを取得する情報システムを構成するコンピューターによって構成されても良い。なお、POSTエージェントは、データ連携システム30の構成でもある。
データソース部20は、情報システムが保持しているデータに基づいて連携用の構造化データを生成するデータ収集システムとしてのGET用エージェント24を備えている。データソース部20は、GET用エージェント24と同様の構成のGET用エージェントをGET用エージェント24以外に少なくとも1つ備えても良い。GET用エージェントは、連携用の構造化データの生成の元になったデータを保持している情報システムを構成するコンピューターによって構成されても良い。なお、GET用エージェントは、データ連携システム30の構成でもある。
データ連携システム30は、データソース部20によって生み出されたデータを蓄積するデータ蓄積システム40と、データ蓄積システム40に蓄積されているデータを利用するアプリケーション部50と、データ蓄積システム40およびアプリケーション部50に対する各種の制御を実行する制御サービス部60とを備えている。データ連携システム30の各構成要素は、パブリック・クラウド上に構築されても良い。
データ蓄積システム40は、データソース部20によって生み出されたデータを蓄積するパイプライン41を備えている。データ蓄積システム40は、パイプライン41以外にも、少なくとも1つのパイプラインを備えていても良い。情報システムにおけるデータの構成が情報システム毎に異なる可能性があるので、データ蓄積システム40は、基本的に、情報システム毎にパイプラインを備えている。パイプラインのそれぞれは、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
データ蓄積システム40は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをパイプラインに連携するデータ収集システムとしてのGETコネクター42を備えている。データ蓄積システム40は、GETコネクター42と同様の構成のGETコネクターをGETコネクター42以外に少なくとも1つ備えても良い。GETコネクターは、GETコネクター自身がファイルを連携するパイプラインを構成するコンピューターによって構成されても良い。
なお、システム10は、構造化データまたは非構造化データのファイルがデータ蓄積システム40側から取得されることに対応していない情報システムに対しては、データソース部20にPOSTコネクターを備える。一方、システム10は、構造化データまたは非構造化データのファイルがデータ蓄積システム40側から取得されることに対応している情報システムに対しては、データ蓄積システム40にGETコネクターを備える。
データ蓄積システム40は、GET用エージェントによって生成された構造化データを取得して、取得した構造化データをパイプラインに連携するデータ収集システムとしてのGETエージェント43を備えている。データ蓄積システム40は、GETエージェント43と同様の構成のGETエージェントをGETエージェント43以外に少なくとも1つ備えても良い。GETエージェントは、GETエージェント自身が構造化データを連携するパイプラインを構成するコンピューターによって構成されても良い。
なお、システム10は、構造化データがデータ蓄積システム40側から取得されることに対応していない情報システムに対しては、データソース部20にPOSTエージェントを備える。一方、システム10は、構造化データがデータ蓄積システム40側から取得されることに対応している情報システムに対しては、データソース部20にGET用エージェントを備えるとともに、データ蓄積システム40にGETエージェントを備える。
データ蓄積システム40は、複数のパイプラインによって蓄積されたデータを、例えばSQLなどのデータベース言語などのクエリー言語で検索や集計が可能な形態に変換するデータ変換処理として最終変換処理を実行するデータ変換システムとしてのビッグデータ解析部44を備えている。ビッグデータ解析部44は、最終変換処理を実行したデータに対して、アプリケーション部50側からの検索要求や集計要求に応じて検索や集計を実行することも可能である。ビッグデータ解析部44は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
最終変換処理は、複数の情報システムのデータを統合するデータ統合処理をデータ変換処理として含んでいても良い。アジアに配置されている多数の画像形成装置を遠隔で管理するためにアジアに配置されている遠隔管理システムと、ヨーロッパに配置されている多数の画像形成装置を遠隔で管理するためにヨーロッパに配置されている遠隔管理システムと、アメリカに配置されている多数の画像形成装置を遠隔で管理するためにアメリカに配置されている遠隔管理システムとをシステム10が情報システムとして備えている場合、これら3つの遠隔管理システムは、それぞれ、遠隔管理システム自身が管理している画像形成装置を管理するデバイス管理テーブルを備えている。デバイス管理テーブルは、画像形成装置毎に付与したIDに対応付けて、画像形成装置の各種の情報を示す情報である。ここで、3つの遠隔管理システムがそれぞれ独自にデバイス管理テーブルを備えているので、3つの遠隔管理システムのデバイス管理テーブル間においては、別々の画像形成装置に同一のIDが付与されている可能性がある。そこで、ビッグデータ解析部44は、3つの遠隔管理システムのデバイス管理テーブルを統合して1つのデバイス管理テーブルを生成する場合に、画像形成装置のIDを重複が生じないように付与し直す。
アプリケーション部50は、ビッグデータ解析部44によって管理されているデータを利用して、例えばデータの表示や、データの分析など、利用者によって指示された特定の動作を実行するアプリケーションサービス51を備えている。アプリケーション部50は、アプリケーションサービス51以外にも、少なくとも1つのアプリケーションサービスを備えていても良い。アプリケーションサービスのそれぞれは、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。アプリケーションサービスは、例えば、BI(Business Intelligence)ツール、SaaS(Software as a Service)サーバーなどである。
アプリケーション部50は、ビッグデータ解析部44によって管理されているデータを利用して特定の動作を実行するAPI(Application Program Interface)を提供するAPIプラットフォーム52を備えている。APIプラットフォーム52は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。APIプラットフォーム52によって提供されるAPIは、システム10の外部の、例えば、BIツール、SaaSサーバーなどのシステムから呼び出されても良いし、アプリケーション部50のアプリケーションサービスから呼び出されても良い。APIプラットフォーム52によって提供されるAPIは、データ蓄積システム40によって蓄積されているデータに基づいたデータをデータ蓄積システム40から取得するためのAPIである。例えば、APIプラットフォーム52によって提供されるAPIとしては、画像形成装置のトナーなどの消耗品の残量が特定の量以下である場合に消耗品を発注する、システム10の外部の消耗品発注システムに、遠隔管理システムによって画像形成装置から収集された消耗品の残量のデータを送信するAPIと、画像形成装置の故障を予測する、システム10の外部の故障予測システムに、遠隔管理システムによって画像形成装置から収集された各種のデータを送信するAPIと、遠隔管理システムによって画像形成装置から収集された、印刷枚数を示すカウンター情報を、システム10の外部のシステムに送信するAPIと、システム10の利用者の利用状況を示すデータをシステム10の外部のシステムに送信するAPIと、システム10が管理しているデータに基づいた任意のデータを取得するための検索クエリーを受け付けるためのAPIとが存在する。
制御サービス部60は、データソース部20、データ蓄積システム40およびアプリケーション部50におけるデータに対する各段階の処理を監視する処理監視システムとしてのパイプライン・オーケストレーター61を備えている。パイプライン・オーケストレーター61は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
制御サービス部60は、データ蓄積システム40の構成や設定を保存し、必要に応じて自動的にデプロイを実行する構成管理サーバー62を備えている。構成管理サーバー62は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
制御サービス部60は、情報システムの構成管理サーバーに接続し、情報システムにおけるデータベースや非構造化データに関する構成の変更、すなわち、情報システムにおけるデータの構成の変更を検出するための情報を収集する構成管理ゲートウェイ63を備えている。構成管理ゲートウェイ63は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
制御サービス部60は、情報システムなどの各システム間を連携するために必要な鍵情報や接続文字列などのセキュリティー情報を暗号化して保管するKey管理サービス64を備えている。Key管理サービス64は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
制御サービス部60は、データ蓄積システム40やアプリケーション部50からの要求を受け付ける管理API65を備えている。管理API65は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
制御サービス部60は、アプリケーション部50のアプリケーションサービスの認証認可を実行する認証認可サービス66を備えている。認証認可サービス66は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。認証認可サービス66は、例えば、データ蓄積システム40に蓄積されている情報システムのデータの最新化を要求することをアプリケーションサービスが許可されているか否かを確認することができる。
以下、APIプラットフォーム52の外部のシステムを単に外部システムという。外部システムには、システム10の外部のシステムや、アプリケーション部50のアプリケーションサービスが含まれる。
図2は、APIプラットフォーム52のブロック図である。
図2に示すように、APIプラットフォーム52は、外部システムからのAPIの利用の要求を受け付けるフロントエンド部70と、フロントエンド部70が受け付けた要求に応じた応答データを作成するデータ作成部80とを備えている。
フロントエンド部70は、外部システムに公開されるエンドポイントであるLB(Load Balancer)71と、外部システムとの接続を確立するフロントエンドProxy72とを備えている。フロントエンド部70は、フロントエンドProxy72以外にも、フロントエンドProxy72と同様の構成のフロントエンドProxyを少なくとも1つ備えていても良い。
LB71は、外部システムからのAPIの利用の要求をラウンドロビン方式によっていずれかのフロントエンドProxyに通知する。
フロントエンドProxy72は、LB71から通知された、APIの利用の要求をラウンドロビン方式によって、後述の、いずれかのAPIサーバーに通知する。フロントエンドProxy72は、フロントエンド部70が受け付けた要求をデータ作成部80が処理し終わるまで、外部システムとの接続を維持し、フロントエンド部70が受け付けた要求をデータ作成部80が処理し終わると、データ作成部80が作成した応答データをLB71経由で外部システムに通知する。
データ作成部80は、データ作成部インスタンス81を備えている。データ作成部80は、データ作成部インスタンス81以外にも、データ作成部インスタンス81と同様の構成のデータ作成部インスタンスを少なくとも1つ備えていても良い。
データ作成部インスタンス81は、ビッグデータ解析部44(図1参照。)によって管理されているデータを利用して特定の動作を実行するAPIを提供するAPIサーバー82を備えている。APIサーバー82は、APIの利用の要求に応じた、データ蓄積システム40からデータを取得する処理の要求を、後述のキューに保持させるものである。データ作成部インスタンス81は、APIサーバー82以外にも、APIサーバー82と同様の構成のAPIサーバーを少なくとも1つ備えていても良い。
データ作成部インスタンス81は、外部システムからのAPIの利用の要求に対して応答するデータの取得の処理にかかると予測される時間(以下「予測処理時間」という。)の程度を示す予測処理時間レベルと、外部システムからのAPIの利用の要求に対して応答することが予測されるデータの量(以下「予測応答データ量」という。)の程度を示す予測応答データ量レベルとを制御サービス部60(図1参照。)から取得するAPIコントローラー83を備えている。
図3は、APIコントローラー83によって取得される予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンの一例を示す図である。
図3に示す例において、予測処理時間レベルは、予測処理時間が特定の範囲内であることを示す「普通」と、予測処理時間が特定の範囲の上限より長いことを示す「長」と、予測処理時間が特定の範囲の下限より短いことを示す「短」とを含んでいる。予測応答データ量レベルは、予測応答データ量が特定の範囲内であることを示す「普通」と、予測応答データ量が特定の範囲の上限より多いことを示す「多」と、予測応答データ量が特定の範囲の下限より少ないことを示す「少」とを含んでいる。図4に示す例において、予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンは、パターンA~パターンIの9パターンである。
図2に示すように、データ作成部インスタンス81は、外部システムから利用が要求されたAPIに応じた処理の要求を示す処理要求メッセージを格納するキュー84を備えている。データ作成部インスタンス81は、キュー84以外にも、キュー84と同様の構成のキューを少なくとも1つ備えていても良い。キューは、予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンに基づいた分類毎に設けられている。
図4は、キューの識別情報であるキューIDと、予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンとの対応関係の一例を示す図である。
図4に示すように、予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンに基づいた分類は、例えば、パターンAおよびパターンDが同一の分類でも良いし、パターンHおよびパターンIが同一の分類でも良い。なお、図4は、一部のキューについての情報が省略されて描かれている。
図2に示すように、データ作成部インスタンス81は、キュー84に格納されている処理要求メッセージが示す、処理の要求をビッグデータ解析部44(図1参照。)に送信するサーバーであるバックエンド85を備えている。バックエンド85は、データ蓄積システム40からデータを取得する処理を、キュー84によって保持されている処理要求メッセージに応じて実行するものである。データ作成部インスタンス81は、バックエンド85以外にも、バックエンド85と同様の構成のバックエンドを少なくとも1つ備えていても良い。バックエンドは、キュー毎に設けられている。バックエンドは、1つのキューに対して複数備えても良い。キューに格納された処理要求メッセージは、このキューに対応付けられているバックエンドのうち、処理要求メッセージを処理可能な状態のバックエンドによって、このキューから順番に取り出される。
図5は、認証認可サービス66のブロック図である。
図5に示すように、認証認可サービス66は、利用者の認証を実行する認証サービス91と、利用者の認可を実行する認可サービス92とを備えている。認証サービス91は、利用者の認証に使用される認証用情報91aを利用者毎に管理している。認可サービス92は、利用者の認可情報92aを利用者毎に管理している。認可情報92aは、課金情報92bを含んでいる。課金情報92bは、ビッグデータ解析部44によるデータの解析に対する利用者の契約を識別するための契約ID92cと、利用者がビッグデータ解析部44によるデータの解析を現時点で使用している量を示すデータ解析使用量92dとを含んでいる。認可情報92aは、利用者に許可されている、ビッグデータ解析部44によるデータの解析の使用量を示すデータ解析使用許可量92eと、ビッグデータ解析部44によるデータの解析の使用可能量、すなわち、データ解析使用許可量92eの値からデータ解析使用量92dの値を差し引いた値であるデータ解析使用可能量92fとを含んでいる。
なお、認可サービス92は、データ解析使用量92dおよびデータ解析使用可能量92fを、例えば毎月など、一定の期間毎に更新する。例えば、認可サービス92は、データ解析使用量92dおよびデータ解析使用可能量92fを毎月更新する場合、データ解析使用量92dの毎月末の値を課金のために別途記録するとともに、データ解析使用量92dの値を毎月初めに0に更新し、データ解析使用可能量92fの値を毎月初めにデータ解析使用許可量92eの値と同一の値に更新する。
次に、処理要求メッセージを格納するキューを特定する場合のデータ連携システム30の動作について説明する。
図6は、処理要求メッセージを格納するキューを特定する場合のデータ連携システム30の動作のシーケンス図である。
APIサーバーは、フロントエンドProxyから通知された、APIの利用の要求を解釈すると、図6に示すように、解釈した要求の予測処理時間レベルおよび予測応答データ量レベルと、この要求に関連するパイプラインの状況とをAPIコントローラー83に問い合わせる(S101)。
APIコントローラー83は、S101における問い合わせを受けると、S101における問い合わせを制御サービス部60の管理API65に通知する(S102)。
管理API65は、S102における通知を受けると、S102において通知された問い合わせをパイプライン・オーケストレーター61に通知する(S103)。
パイプライン・オーケストレーター61は、S103における通知を受けると、S103において通知された問い合わせの対象の要求の内容に対して、予測処理時間レベルおよび予測応答データ量レベルを判定する(S104)。
次いで、パイプライン・オーケストレーター61は、S103において通知された問い合わせの対象の要求に関連するパイプラインの状況を判定する(S105)。ここで、パイプライン・オーケストレーター61は、パイプラインがメンテナンス中である場合に、メンテナンス中であることが、このパイプラインから通知されている。したがって、パイプライン・オーケストレーター61は、パイプラインがメンテナンス中である場合に、このパイプラインがメンテナンス中であるという状況を判定することができる。
パイプライン・オーケストレーター61は、S105の処理の後、S104およびS105における判定の結果、すなわち、S104において判定した予測処理時間レベルおよび予測応答データ量レベルと、S105において判定したパイプラインの状況とを管理API65に通知する(S106)。
次いで、管理API65は、S106においてパイプライン・オーケストレーター61から通知された、判定の結果をAPIコントローラー83に通知する(S107)。
次いで、APIコントローラー83は、S107において管理API65から通知された、判定の結果、すなわち、予測処理時間レベルおよび予測応答データ量レベルと、パイプラインの状況とをAPIサーバーに返答する(S108)。
APIサーバーは、S108における返答を受けると、S108において返答された予測処理時間レベルおよび予測応答データ量レベルの組み合わせのパターンに対応付けられているキューを特定する(S109)。
次に、利用者がログインする場合のデータ連携システム30の動作について説明する。
図7は、利用者がログインする場合のデータ連携システム30の動作のシーケンス図である。
利用者は、データ連携システム30へのログインのためのURL(Uniform Resource Locator)に例えばPC(Personal Computer)などの利用者端末によってアクセスした後、データ連携システム30への利用者自身のログインの指示を利用者端末の操作部に入力することができる。この指示には、例えば利用者自身のIDおよびパスワードの組み合わせなど、利用者自身の認証のための認証情報を含んでいる。利用者端末は、データ連携システム30への利用者のログインの指示が入力されると、図7に示すように、利用者のログインを認証認可サービス66の認証サービス91に依頼する(S121)。利用者端末は、利用者の認証情報をS121における依頼に含める。
認証サービス91は、S121における依頼を受けると、S121における依頼に含まれる認証情報と、認証サービス91が管理している認証用情報とを使用して、利用者の認証を実行する(S122)。
認証サービス91は、S122における認証が失敗すると、ログインの失敗を利用者端末に通知する(S123)。
利用者端末は、S123における通知を受けると、ログインの失敗を利用者端末の表示部に表示する(S124)。
認証サービス91は、S122における認証が成功すると、S122において認証した利用者の認可情報に含まれる課金情報を認可サービス92に要求する(S125)。
認可サービス92は、S125における要求を受けると、要求の対象の課金情報を認証サービス91に送信する(S126)。
認証サービス91は、S126において認可サービス92から送信されてきた課金情報を受信すると、受信した課金情報を含めた認証トークンを生成する(S127)。
認証サービス91は、S127の処理の後、ログインの成功を利用者端末に通知する(S128)。認証サービス91は、S127において生成した認証トークンを、S128における通知に含める。
利用者端末は、S128において認証サービス91からログインの成功が通知されると、ログインの成功を利用者端末の表示部に表示する(S129)。
次に、データの解析が依頼される場合のデータ連携システム30の動作について説明する。
図8は、データの解析が依頼される場合のデータ連携システム30の動作のシーケンス図である。図9は、図8における「データ解析」シーケンス図である。
利用者は、APIプラットフォーム52のURLに利用者端末によってアクセスした後、データの解析の依頼を利用者端末の操作部に入力することができる。利用者端末は、データの解析の依頼が入力されると、図8および図9に示すように、APIプラットフォーム52の使用準備をAPIプラットフォーム52に依頼する(S141)。利用者端末は、S128において認証サービス91から通知されてきた認証トークンをS141における依頼に含める。なお、利用者によって依頼される解析内容としては、様々な解析内容が存在する。例えば、利用者によって依頼される解析内容としては、ビッグデータ解析部44によって管理されているデータのテーブルにおいて利用者によって指定された列の値の集計と、ビッグデータ解析部44によって管理されているデータのうち利用者によって指定された条件を満たすデータの取得とが存在する。
APIプラットフォーム52は、S141における依頼を受けると、S141における依頼に含まれる認証トークンの検証を認証サービス91に依頼する(S142)。
認証サービス91は、S142における依頼を受けると、S142における依頼の対象の認証トークンを検証する(S143)。
認証サービス91は、S143における検証の対象の認証トークンが適切ではないとS143において判断すると、認証トークンが適切ではないことをAPIプラットフォーム52に通知する(S144)。
APIプラットフォーム52は、S144における通知を受けると、認証トークンが適切ではないことを利用者端末に通知する(S145)。
利用者端末は、S145における通知を受けると、認証トークンが適切ではないことを利用者端末の表示部に表示する(S146)。
認証サービス91は、S143における検証の対象の認証トークンが適切であるとS143において判断すると、認証トークンが適切であることをAPIプラットフォーム52に通知する(S147)。
APIプラットフォーム52は、S147における通知を受けると、S141における依頼に含まれる認証トークンに含まれる課金情報に含まれる契約IDに対応するデータ解析使用可能量を認可サービス92に問い合わせる(S148)。APIプラットフォーム52は、S141における依頼に含まれる認証トークンに含まれる課金情報に含まれる契約IDをS148における問い合わせに含める。
認可サービス92は、S148における問い合わせを受けると、S148における問い合わせの対象のデータ解析使用可能量をAPIプラットフォーム52に送信する(S149)。
APIプラットフォーム52は、S149において認可サービス92から送信されてきたデータ解析使用可能量を受信すると、受信したデータ解析使用可能量の設定をビッグデータ解析部44に依頼する(S150)。
ビッグデータ解析部44は、S150における依頼を受けると、S150において依頼されたデータ解析使用可能量を設定して(S151)、設定の完了をAPIプラットフォーム52に通知する(S152)。
APIプラットフォーム52は、S152における通知を受けると、APIプラットフォーム52の使用準備の完了を利用者端末に通知する(S153)。
利用者端末は、S153における通知を受けると、上述したように利用者によって依頼された解析内容でのデータの解析をAPIプラットフォーム52に依頼する(S161)。
APIプラットフォーム52は、S161における依頼を受けると、S161における依頼内容をビッグデータ解析部44に送信する(S162)。
ビッグデータ解析部44は、S162においてAPIプラットフォーム52から送信されてきた依頼内容を受信すると、受信した依頼内容に応じたデータの解析を実行する(S163)。
ビッグデータ解析部44は、S163の処理の後、S163における解析結果のデータサイズを判定する(S164)。
ビッグデータ解析部44は、S164における判定の結果、S163における解析結果のデータサイズが、S151において設定したデータ解析使用可能量以下ではない場合、解析結果のデータサイズがデータ解析使用可能量を超えることをAPIプラットフォーム52に通知する(S165)。
APIプラットフォーム52は、S165における通知を受けると、解析結果のデータサイズがデータ解析使用可能量を超えることを利用者端末に通知する(S166)。
利用者端末は、S166における通知を受けると、解析結果のデータサイズがデータ解析使用可能量を超えることを利用者端末の表示部に表示する(S167)。
ビッグデータ解析部44は、S164における判定の結果、S163における解析結果のデータサイズが、S151において設定したデータ解析使用可能量以下である場合、S163における解析結果をAPIプラットフォーム52に通知する(S168)。
APIプラットフォーム52は、S168における通知を受けると、S168においてビッグデータ解析部44から通知された解析結果のデータサイズを認可サービス92に通知する(S169)。APIプラットフォーム52は、S141における依頼に含まれる認証トークンに含まれる課金情報に含まれる契約IDを、S169における通知に含める。
認可サービス92は、S169における通知を受けると、S169において通知されたデータサイズを使用して、S169における通知に含まれる契約IDに対応するデータ解析使用量およびデータ解析使用可能量を更新する(S170)。ここで、認可サービス92は、S169における通知に含まれる契約IDに対応するデータ解析使用量に、S169において通知されたデータサイズを加算することによって、新たなデータ解析使用量を算出する。また、認可サービス92は、S169における通知に含まれる契約IDに対応するデータ解析使用可能量から、S169において通知されたデータサイズを減算することによって、新たなデータ解析使用可能量を算出する。
認可サービス92は、S170の処理の後、データ解析使用量およびデータ解析使用可能量の更新の完了をAPIプラットフォーム52に通知する(S171)。
APIプラットフォーム52は、S171における通知を受けると、S168においてビッグデータ解析部44から通知された解析結果を利用者端末に通知する(S172)。
利用者端末は、S172における通知を受けると、S172においてAPIプラットフォーム52から通知された解析結果を利用者端末の表示部に表示する(S173)。
以上に説明したように、データ連携システム30は、認証サービス91によって認証された利用者に対して認可サービス92によって管理されているデータ解析使用可能量を、データの解析結果のデータサイズが超える場合に、この利用者に解析結果を通知しない(S166)ので、データの解析サービスの利用を解析結果のデータサイズに基づいて利用者毎に制限することができる。したがって、データ連携システム30は、データの解析結果のデータサイズが利用者の想定を超えていた場合に、データ解析使用量に基づいた課金の額が利用者の想定を超えることを防止することができる。すなわち、データ連携システム30は、データ解析使用量に基づいた課金を適切に実行することができる。
データ連携システム30は、データ解析使用量に基づいて課金することができるので、ビッグデータ解析部44によって利用されるデータの解析技術がどのようなものであっても、適切に課金することができる。
21 情報システム
22 POSTコネクター(データ収集システム)
23 POSTエージェント(データ収集システム)
24 GET用エージェント(データ収集システム)
30 データ連携システム
42 GETコネクター(データ収集システム)
43 GETエージェント(データ収集システム)
44 ビッグデータ解析部
52 APIプラットフォーム
91 認証サービス
92 認可サービス

Claims (2)

  1. 情報システムが保持しているデータを収集するデータ収集システムと、
    前記データ収集システムによって収集されたデータを解析するビッグデータ解析部と、
    前記ビッグデータ解析部によって管理されているデータを利用して特定の動作を実行するAPI(Application Program Interface)を提供するAPIプラットフォームと、
    利用者を認証する認証サービスと、
    前記ビッグデータ解析部によるデータの解析の使用可能量を利用者毎に管理する認可サービスと
    を備え、
    前記APIプラットフォームは、前記認証サービスによって認証された利用者に対して前記認可サービスによって管理されている前記使用可能量を、前記ビッグデータ解析部による解析結果のデータサイズが超えない場合に、この利用者に前記解析結果を通知し、前記認証サービスによって認証された利用者に対して前記認可サービスによって管理されている前記使用可能量を前記データサイズが超える場合に、この利用者に前記解析結果を通知しないことを特徴とするデータ連携システム。
  2. 情報システムが保持しているデータを収集するデータ収集システムによって収集されたデータを解析するビッグデータ解析部によって管理されているデータを利用して特定の動作を実行するAPI(Application Program Interface)を提供するAPIプラットフォームであって、
    前記ビッグデータ解析部によるデータの解析の使用可能量を利用者毎に管理する認可サービスによって、認証サービスによって認証された利用者に対して管理されている前記使用可能量を、前記ビッグデータ解析部による解析結果のデータサイズが超えない場合に、この利用者に前記解析結果を通知し、前記認証サービスによって認証された利用者に対して前記認可サービスによって管理されている前記使用可能量を前記データサイズが超える場合に、この利用者に前記解析結果を通知しないことを特徴とするAPIプラットフォーム。
JP2020142896A 2020-08-26 2020-08-26 データ連携システムおよびapiプラットフォーム Pending JP2022038404A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020142896A JP2022038404A (ja) 2020-08-26 2020-08-26 データ連携システムおよびapiプラットフォーム
US17/408,671 US20220067058A1 (en) 2020-08-26 2021-08-23 Data coordination system and api platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020142896A JP2022038404A (ja) 2020-08-26 2020-08-26 データ連携システムおよびapiプラットフォーム

Publications (1)

Publication Number Publication Date
JP2022038404A true JP2022038404A (ja) 2022-03-10

Family

ID=80358570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020142896A Pending JP2022038404A (ja) 2020-08-26 2020-08-26 データ連携システムおよびapiプラットフォーム

Country Status (2)

Country Link
US (1) US20220067058A1 (ja)
JP (1) JP2022038404A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099943B1 (en) * 1998-08-26 2006-08-29 Intel Corporation Regulating usage of computer resources
JP4083997B2 (ja) * 2001-04-16 2008-04-30 株式会社日立製作所 レンタルストレージのサービス方法、および、レンタルストレージシステム
US9910658B2 (en) * 2011-11-04 2018-03-06 Google Technology Holdings LLC Optimization of distribution of over-the-air (OTA) updates to portable computing devices
US9363199B1 (en) * 2013-03-13 2016-06-07 Western Digital Technologies, Inc. Bandwidth management for data services operating on a local network
JP6545000B2 (ja) * 2015-06-01 2019-07-17 キヤノン株式会社 アップロード管理システム、アップロード管理システムの制御方法、及びプログラム
US9798584B1 (en) * 2015-09-29 2017-10-24 EMC IP Holding Company LLC Methods and apparatus for IO sizing based task throttling
US20200067789A1 (en) * 2016-06-24 2020-02-27 QiO Technologies Ltd. Systems and methods for distributed systemic anticipatory industrial asset intelligence
US11106679B2 (en) * 2019-10-30 2021-08-31 Ocient Holdings LLC Enforcement of sets of query rules for access to data supplied by a plurality of data providers

Also Published As

Publication number Publication date
US20220067058A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US9608972B2 (en) Service providing system and data providing method that convert a process target data into output data with a data format that a service receiving apparatus is able to output
US9398084B2 (en) Information processing system
CN105793814A (zh) 云数据丢失防止集成
CN103038788A (zh) 提供多个网络资源
JP2016004453A (ja) サービス提供システム、ログ情報提供方法及びプログラム
JP6183035B2 (ja) サービス提供システム、サービス提供方法及びプログラム
US11740939B2 (en) Data linkage system and API platform
JP7100607B2 (ja) 異常検知システム、及び異常検知方法
JP2022038404A (ja) データ連携システムおよびapiプラットフォーム
CN111428252A (zh) 用户权限控制方法和装置
JP2022038405A (ja) データ連携システムおよびapiプラットフォーム
JP2006031211A (ja) ソフトウェア利用管理システムおよび方法、情報処理装置および方法、プログラム並びに記録媒体
JP2015170296A (ja) 情報処理システム及び情報処理方法
JP2022038402A (ja) データ連携システムおよび制御システム
US11366706B2 (en) Data linkage system and API platform
JP7473870B2 (ja) データ連携システムおよびapiプラットフォーム
JP7448881B2 (ja) データ連携システムおよびapiプラットフォーム
US20210303707A1 (en) Authentication control system, data association system, and system
JP7545635B2 (ja) データ連携システムおよび制御システム
JP7457284B2 (ja) データ連携システム
US20240168972A1 (en) Data Distribution and Access within a Multi-Zone Computing Platform
CN113448508A (zh) 数据协作系统和匿名化控制系统
JP5975910B2 (ja) データ処理装置、データ処理方法、データ処理プログラムおよび連携業務システム
JP4724491B2 (ja) 資源配布管理プログラム、資源配布管理方法および資源配布管理装置
JP5658516B2 (ja) アクセス権管理システムおよび方法