JP2023028579A - データ処理システム - Google Patents
データ処理システム Download PDFInfo
- Publication number
- JP2023028579A JP2023028579A JP2021134374A JP2021134374A JP2023028579A JP 2023028579 A JP2023028579 A JP 2023028579A JP 2021134374 A JP2021134374 A JP 2021134374A JP 2021134374 A JP2021134374 A JP 2021134374A JP 2023028579 A JP2023028579 A JP 2023028579A
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- data processing
- icon
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 34
- 238000013075 data extraction Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】データ処理に対してよりユーザビリティを向上させることを目的とする。【解決手段】データ処理を実行する処理システムであって、データ処理対象とするデータの選択を受け付け、前記データを処理する、データ処理の要求を受け付ける指示受付部と、 前記データ処理に要する時間を算出するデータ処理部と、前記算出された時間を表示するための処理を行う画像生成部と、を有する。【選択図】図7
Description
本発明は、ユーザが、所定のデータ処理を行う際に、データ処理時間を視覚的に表示する、データ処理システムに関する。
従来、日常的に分散管理される複数のデータ(例えば、店舗・商品データのようなマスタデータと、店舗別の売上データ等の個別データ)を、売上分析等の所定の目的のために統合する際に、予めデータ間の重複排除や名寄せ等のデータ修正(例えば、クレンジング処理)が実施される。
クレンジング処理は、バッチ処理によって定期的に実行される行われるケースが多いが、ユーザ要求に応じて、リアルタイムにクレンジング処理を行い、データ統合を実行する技術が開示されている(特許文献1)。
しかしながら、特許文献1は、ユーザインターフェースを通じて、ユーザが処理対象となるテーブルを選択し、所定のクレンジング処理を実行し、実行結果をプレビュー表示させる、といった技術を開示するものの、実際にはデータ処理にはデータ量等に応じて要する時間が異なり、ユーザ視点でみて、データ処理にかかる時間を予測することが難しい。
そこで、本発明では、データ処理に際してよりユーザビリティを向上させるための技術を提供することを目的とする。
本発明の一態様における、データ処理を実行する処理システムは、データ処理を指示する指示アイコンと、処理対象候補となるデータを示すデータアイコンとを生成する画像生成部と、前記指示アイコンの選択要求に応じて、対応するデータ処理を実行する、データ処理部と、を有し、前記画像生成部は、前記データ処理に応じてデータアイコンを生成し、各々のデータアイコンを関連付けて表示する。
本発明によれば、データ処理に際してよりユーザビリティを向上させることができる。
以下、本発明の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本発明の必須の構成要素であるとは限らない。
(実施形態1)
<構成>
図1は、本発明の実施形態1に係るデータ処理システム1を示すブロック構成図である。このデータ処理システム1は、例えば、所定の目的(例えば、マーケティング分析)のために、分散管理されたデータに対してデータ加工・修正(例えば、クレンジング処理)を施し、データ結合を実行し、データ活用として、マーケティングレポートとして出力するためのシステムである。なお、目的として、マーケティング分析とすることや、出力として、マーケティングレポートとすることは一例であって、これに限定されず、他の目的のためのレポートであっても良い。また、分散管理されたデータとしては、少なくとも2つ以上のデータが別個に管理されたものであれば、分散管理されるデータの個数は少数・多数問わず、限定されない。
<構成>
図1は、本発明の実施形態1に係るデータ処理システム1を示すブロック構成図である。このデータ処理システム1は、例えば、所定の目的(例えば、マーケティング分析)のために、分散管理されたデータに対してデータ加工・修正(例えば、クレンジング処理)を施し、データ結合を実行し、データ活用として、マーケティングレポートとして出力するためのシステムである。なお、目的として、マーケティング分析とすることや、出力として、マーケティングレポートとすることは一例であって、これに限定されず、他の目的のためのレポートであっても良い。また、分散管理されたデータとしては、少なくとも2つ以上のデータが別個に管理されたものであれば、分散管理されるデータの個数は少数・多数問わず、限定されない。
データ処理システム1は、サーバ装置(データ処理装置)100と、端末装置200と、ネットワークNWとを有している。サーバ装置100と、端末装置200とは、ネットワークNWを介して接続される。ネットワークNWは、インターネット、イントラネット、無線LAN(Local Area Network)やWAN(Wide Area Network)等により構成される。
サーバ装置100は、データの処理を行う装置であり、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
端末装置200は、データ処理システム1を利用するユーザが所持する、例えば、パーソナルコンピュータやタブレット端末等の情報処理装置であるが、スマートフォンや携帯電話、PDA等により構成しても良い。
本実施形態では、データ処理システム1は、サーバ装置100と端末装置200とを備え、端末装置200を利用してサーバ装置100に対する操作を行う構成として説明するが、サーバ装置100がスタンドアローンで構成され、サーバ装置100自身にユーザが操作を行う機能を備えても良い。
図2は、図1のサーバ装置100を示す機能ブロック構成図である。サーバ装置100は、通信部110と、記憶部120と、制御部130とを備える。
通信部110は、ネットワークNWを介して端末装置200及びWebサーバ300と通信を行うための通信インタフェースであり、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)等の通信規約により通信が行われる。
記憶部120は、各種制御処理や制御部130内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。また、記憶部120は、データ処理を行う対象となるデータを格納する、処理対象データ格納部121、ユーザインターフェースに表示するためのアイコンデータを格納する、アイコンデータ格納部122、及び個々のデータ処理を関連付けて、かつ、順序付けて管理する、処理フロー格納部123を有する。さらに、記憶部120は、端末装置200、Webサーバ300と通信を行ったデータを一時的に記憶する。なお、各処理に用いられるデータを格納したデータベース(図示せず)が記憶部120外に構築されていてもよい。
制御部130は、記憶部120に記憶されているプログラムを実行することにより、サーバ装置100の全体の動作を制御するものであり、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等から構成される。制御部130の機能として、ユーザの端末装置120からの指示受付部131と、データ処理部132と、画像生成部133とを有する。この指示受付部131、データ処理部132、及び画像生成部133は、記憶部120に記憶されているプログラムにより起動されてコンピュータ(電子計算機)であるサーバ装置100により実行される。
指示受付部131は、サーバ100が提供し、端末装置200において表示されるウェブ画面等のユーザインターフェースを介して、ユーザが(特定のアイコンを押下する等して)所定の要求を行ったとき、端末装置200から通信部110を介して指示を受付ける。
データ処理部132は、ユーザの要求が、データ処理に関するもの(例えば、データの取込、加工・結合、抽出、活用等)であったときに、対応するデータ処理を実行する。
画像生成部133は、端末装置200に表示される、ユーザインターフェースを構成するための画像情報を生成する。特に、記憶部120に格納されたアイコンデータに基づいて、各種アイコンをユーザインターフェース上の所定の領域に配置し、必要に応じてこれらのアイコンを関連付けて表示を行うために画像を生成する。画像生成部133に関連する処理は、GPU(Graphics Processing Unit)によって実行することもできる。
図3は、図1の端末装置200を示す機能ブロック構成図である。端末装置200は、通信部210と、表示操作部220と、記憶部230と、制御部240とを備える。
通信部210は、ネットワークNWを介してサーバ装置100と通信を行うための通信インタフェースであり、例えばTCP/IP等の通信規約により通信が行われる。
表示操作部220は、ユーザが指示を入力し、制御部240からの入力データに応じてテキスト、画像等を表示するために用いられるユーザインターフェースであり、端末装置200がパーソナルコンピュータで構成されている場合はディスプレイとキーボードやマウスにより構成され、端末装置200がタブレット端末で構成されている場合はタッチパネル等から構成される。この表示操作部220は、記憶部230に記憶されている制御プログラムにより起動されてコンピュータ(電子計算機)である端末装置200により実行される。
記憶部230は、各種制御処理や制御部240内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、RAMやROM等から構成される。また、記憶部230は、サーバ装置100との通信内容を一時的に記憶している。
制御部240は、記憶部230に記憶されているプログラムを実行することにより、端末装置200の全体の動作を制御するものであり、CPUやGPU等から構成される。
なお、サーバ装置100に表示操作部の機能を備える構成としても良く、この場合、端末装置200を備えない構成としても良い。
図4は、サーバ100の記憶部120に格納される処理対象データの内容を説明する図である。
処理対象データは、例えば、csvファイルとして格納され、図4に示すように、例えば、顧客データが項目別に管理されている。ここで、顧客に関連した項目として、ID、姓名、性別、生年月日、最終購入日時、UNIX時間、通算購入金額、通算購入回数、年間平均購入回数等が挙げられる。処理対象データとして、処理データ格納部121は、顧客別にcsvファイルを複数格納することができる。
図5は、サーバ100の記憶部120に格納される処理フローの内容を説明する図である。
処理フローとして、例えば、データを取込み、抽出したデータを加工・修正(例えば、クレンジング処理)を施し、データ結合を実行し、加工等したデータを抽出し、データを分析する等して活用する(例えば、ページフロー等)等の複数のデータ処理からなる流れが挙げられる。個々のデータ処理において生成されたデータをcsvファイル形式等で格納することもできる。
図6は、本発明の第一実施形態に係る、端末装置200において表示されるユーザインターフェースの一例である。
ユーザインターフェース600は、図6(a)に示すように、複数のデータ処理からなる処理フローを、図の左手から右手に時系列に示す領域601と、ユーザが所定のデータ処理を行うよう、サーバ装置100に対して指示するための一または複数の指示アイコンを配置するための領域602とを有する。
領域601においては、例えば、図6(a)に示すように、データ処理として、データの「取込」、データの「加工・結合」、データの「抽出」、データの「活用」が挙げられ、これらのデータ処理が時系列に処理されることが視認できるよう、表示されている。また、図6(a)に示すように、領域602においては、データ処理の各段階に沿って、データ処理対象となるデータを配置するためのアイコン603、また、次のデータ処理を指示するためのアイコンであって、複数の異なるデータ処理アイコンを接続するためのアイコン604が配置されている。アイコン603の例示として、処理対象となるデータ(本例では、「顧客データA」)、処理ステータス、及びデータ容量が含まれる。
このように、ユーザは、指示アイコンを介して所定のデータ処理を要求することができ、データアイコンを介してデータ処理操作及びデータ処理後のデータを視覚的に関連付けて理解することができるため、本実施形態により、操作性の高いデータ処理システム及び方法を提供することができる。
<処理の流れ>
図7を参照しながら、本実施形態のデータ処理システム1が実行するデータ処理方法の処理の流れについて説明する。図7は、本発明の第一実施形態に係る、データ処理方法を示すフローチャートの一例である。
図7を参照しながら、本実施形態のデータ処理システム1が実行するデータ処理方法の処理の流れについて説明する。図7は、本発明の第一実施形態に係る、データ処理方法を示すフローチャートの一例である。
ここで、このデータ処理システム1を利用するために、ユーザは端末装置200のインターネットブラウザ等を利用してサーバ装置100にアクセスし、例えばIDとパスワードを入力する等の所定の認証を受けてログインすることで、利用可能となる。この認証後、ウェブ画面等を介して図6に示すようなユーザインターフェースが提供され、図7に示すステップS101へ進む。
まず、ステップS101の処理として、サーバ装置100は、データ処理対象候補となるデータの選択要求を受け付ける。例えば、ユーザが端末装置200を操作して、処理対象データを選択することで、サーバ装置100の制御部130の指示受付部131は、端末装置200から通信部110を介して、処理対象データ選択要求を受信する。ここで、ユーザは端末装置200を操作して、処理対象候補となる特定のデータ(例えば、「data_type.csv」というファイル名のcsvファイル)を選択する。
ステップS102の処理として、サーバ装置100は、データ処理要求を受け付ける。例えば、サーバ装置100の制御部130のデータ処理部132は、ユーザが選択した、処理対象データについて、「取込」処理を行う要求を受け付ける。これにより、例えば、サーバ装置100の制御部130の画面生成部133は、アイコンデータ格納部122に格納されたアイコン画像データ及び選択されたデータを基に、図6のユーザインターフェースの例に示す、アイコン603を生成し、領域602に配置するよう処理を実行する。例えば、領域601に示されるデータ処理のうち、「取込」処理の直下に、「顧客データA」について取込処理を行う旨のアイコン603が配置される。
ステップS103の処理として、サーバ装置100は、ユーザが選択した処理対象データに対するデータ処理に要する処理時間の予測値を算出する。ここで、処理時間については、処理対象データのデータ容量、処理内容、通信トラフィック、サーバ装置の計算リソース等に基づいて決定される。図6の例においては、処理対象となる「顧客データA」は123MBのデータ容量であり、この容量に基づくデータ処理時間が算出される。
続いて、ステップS104の処理として、サーバ装置100は、前ステップで算出した処理時間を表示させる処理を行う。例えば、サーバ装置100の制御部130の画面生成部133は、アイコン603に処理時間を表示させる処理を行う。ここで、図6の例では、アイコン603において、ステータス情報としてデータ処理が完了した旨(「処理完了」)表示されているが、「処理前」「処理中」というステータスとともに、処理に要する時間予測値を表示させることもできるし、「処理完了」のステータスとともに処理時間の実績値を表示させることもできる。「処理完了」時には、サーバ装置100は、ステップS103の処理において、記憶部120の処理フロー格納部123から処理時間の実績値を参照することができる。
このように、データ処理に要する時間を予測し、ユーザインターフェースに可視化することで、ユーザは、データ処理に要する時間を参照しながら、処理を実行すべきかどうか検討することができ、また、データ処理完了の際には、データ処理に要した時間を可視化することで、ユーザは、データ処理に要した時間を確認することができる。
また、変形例として、サーバ装置100は、データ処理に要する時間のみならず、一のデータ処理が完了し、次のデータ処理が始まるまでに要する時間を算出し、表示させることもできる。
例えば、ユーザが、図6(a)において、「顧客データA」の取込処理を指示し、次の処理を指示する、矢印の図形が含まれるアイコン604を選択することで、次の「加工/結合」処理を指示する場合、サーバ装置100は、一のデータ処理(本例では、「顧客データA」の取込処理)終了後、次の処理(本例では、「加工/結合」処理)が始まるまでに要する時間を算出する。ここで、複数の異なる処理間に要する時間は、並行して実行されている他のデータ処理状況等のサーバ装置の計算リソース、通信トラフィック等に基づいて決定される。
図6(a)において、ユーザが、アイコン604を選択すると、図6(b)に示すように、次の処理(本例では、「加工/結合処理」)を示すアイコン605が表示され、アイコン603で示す処理(本例では、「顧客データA」の取込処理)とアイコン605(本例では、「顧客データA」の加工/結合処理)で示す処理内容が可視化される。また、サーバ装置100による処理時間の算出結果として、アイコン603で示す処理後、次の、アイコン604で示す処理までに要する時間(本例では、「30分」)が、アイコン604において、矢印の図形から切り替えられるように表示される。ここで、上記同様、所要時間は予測値のみでなく、実績値として表示させることもできる。
このように、データ処理に要する時間のみならず、異なるデータ処理の間に要する時間を予測し、ユーザインターフェースに可視化することで、ユーザは、異なるデータ処理間に要する時間を参照しながら、処理を実行すべきかどうか検討することができ、また、データ処理完了の際には、異なるデータ処理間に要した時間を可視化することで、ユーザは、データ処理に要した時間を確認することができる。これにより、ユーザは、各々のデータ処理及び全体の処理フローに要する時間を総合的に参照することができる。
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
1 データ処理システム 100 サーバ装置、110 通信部、120 記憶部、130 制御部、200 端末装置、NW ネットワーク
Claims (5)
- データ処理を実行する処理システムであって、
データ処理対象とするデータの選択を受け付け、前記データを処理する、データ処理の要求を受け付ける指示受付部と、
前記データ処理に要する時間を算出するデータ処理部と、
前記算出された時間を表示するための処理を行う画像生成部と、を有する処理システム。 - 前記データ処理は、データ抽出、加工、結合及び活用を含む、請求項1に記載の処理システム。
- 前記画像生成部は、異なるデータ処理を時系列に表示させ、前記異なるデータ処理について、データ処理対象とするデータ及びステータスを示すアイコンを生成する、請求項2に記載の処理システム。
- 前記画像生成部は、異なるデータ処理を接続する接続アイコンを表示させる、請求項3に記載の処理システム。
- 前記指示受付部は、前記接続アイコンの選択要求を受け付け、前記データ処理部は、前記接続アイコンにより接続される前記異なるデータ処理の間に要する時間を算出する、請求項4に記載の処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021134374A JP2023028579A (ja) | 2021-08-19 | 2021-08-19 | データ処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021134374A JP2023028579A (ja) | 2021-08-19 | 2021-08-19 | データ処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023028579A true JP2023028579A (ja) | 2023-03-03 |
Family
ID=85331089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021134374A Pending JP2023028579A (ja) | 2021-08-19 | 2021-08-19 | データ処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023028579A (ja) |
-
2021
- 2021-08-19 JP JP2021134374A patent/JP2023028579A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10812627B2 (en) | Frontend process mining | |
CN101635655B (zh) | 页面性能测试的方法、装置及系统 | |
CN107273979B (zh) | 基于服务级别来执行机器学习预测的方法及系统 | |
JP6732309B1 (ja) | 情報処理装置、情報処理方法、および、情報処理プログラム | |
JPWO2021033338A5 (ja) | ||
WO2014182582A1 (en) | Transforming visualized data through visual analytics based on interactivity | |
CN112965711A (zh) | 作业测试方法和装置、电子设备和存储介质 | |
US10096045B2 (en) | Tying objective ratings to online items | |
JP2023028579A (ja) | データ処理システム | |
JP6121575B1 (ja) | 情報生成装置、情報生成方法 | |
JP2023028580A (ja) | データ処理システム | |
EP3596674B1 (en) | User interface and runtime environment for process definition and process execution tracking | |
CN110874644A (zh) | 辅助用户探索数据集、数据表的方法及装置 | |
CN110781378A (zh) | 数据图形化处理方法、装置、计算机设备及存储介质 | |
JP7253344B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5966910B2 (ja) | 資料出力装置、資料出力方法及び資料出力プログラム | |
JP2010231693A (ja) | 時価評価情報算出システム、方法及びプログラム | |
JP5081889B2 (ja) | 入力支援装置、入力支援方法及び入力支援プログラム | |
JP2020170439A (ja) | データ処理システム | |
JP2022182743A (ja) | データ表示方法及びデータ表示システム | |
JP2020140587A (ja) | データ処理システム | |
JP2019159666A (ja) | 不動産情報提供システム | |
WO2022195793A1 (ja) | 情報処理装置、データ流通方法、情報処理方法、および、制御プログラム | |
US20210334843A1 (en) | Automatically embedding digital data in a message and capturing analytics for the digital data | |
JP5403808B2 (ja) | 顧客情報管理サーバ、及び顧客情報管理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240815 |