JP2017120611A - 商用インタープリタを用いた、スクリプトに基づくデータ処理システム - Google Patents
商用インタープリタを用いた、スクリプトに基づくデータ処理システム Download PDFInfo
- Publication number
- JP2017120611A JP2017120611A JP2016089271A JP2016089271A JP2017120611A JP 2017120611 A JP2017120611 A JP 2017120611A JP 2016089271 A JP2016089271 A JP 2016089271A JP 2016089271 A JP2016089271 A JP 2016089271A JP 2017120611 A JP2017120611 A JP 2017120611A
- Authority
- JP
- Japan
- Prior art keywords
- script
- data
- function
- code
- syntax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
- Devices For Executing Special Programs (AREA)
Abstract
【解決手段】スクリプト構文により作成されたスクリプトコードを受信するスクリプト受信部41と、スクリプトコードを中間コードに変換する中間コード生成部44と、中間コードを実行するインタープリタ45と、DB60のデータをデータセットとして処理するAPI関数を定義し、スクリプトコードに含まれるAPI関数を実行する関数処理部46と、API関数に呼び出されてデータセットにフィルタリング、結合又は集計のデータ処理機能を行うパッケージ管理部48を備え、中間コードはインタープリタ45のコード構文に基づくプログラムコードであり、API関数はインタープリタ45のコード構文により作成される関数である。
【選択図】図6
Description
部処名:産業通商資源部
研究管理専門機関:韓国産業技術評価管理院
研究事業名:産業技術革新事業(グローバル融合ATC事業)
研究課題名:5億件のデータを基準として3秒以内に「データ処理及びユーザインタフェースの実現」が可能なペタバイト級非専門家用ビジネスインテリジェンスサービスプラットフォーム技術開発
主観機関:株式会社BIマトリックス
研究期間:2015年6月1日〜2020年5月31日
20:クライアント
30:サービスサーバ
40:スクリプトサーバ
41:スクリプト受信部
42:第1の解析部
44:中間コード生成部
45:インタープリタ
46:関数処理部
47:キャッシュ管理部
48:パッケージ管理部
50:スクリプトキャッシュ
60:データベース
Claims (7)
- スクリプトコードを受信して前記スクリプトコードを解析して実行する、スクリプトに基づくデータ処理システムにおいて、
スクリプト構文により作成されたスクリプトコードを受信するスクリプト受信部と、
前記スクリプト構文に基づいて、前記スクリプトコードを中間コードに変換して生成する中間コード生成部と、
前記中間コードを実行する商用インタープリタと、
データベースのデータをデータセットとして処理するアプリケーションプログラムインターフェイス(API)関数を定義し、前記スクリプトコードに含まれているアプリケーションプログラムインターフェイス(API)関数を実行する関数処理部と、
前記アプリケーションプログラムインターフェイス(API)関数により呼び出されて、前記データセットに対してフィルタリング、結合、又は集計のデータ処理機能を行うパッケージ管理部と、を備え、
前記中間コードは、前記商用インタープリタのコード構文に基づいて作成されるプログラムコードであり、前記アプリケーションプログラムインターフェイス(API)関数は、前記商用インタープリタのコード構文により作成される関数である
ことを特徴とするスクリプトに基づくデータ処理システム。 - 前記アプリケーションプログラムインターフェイス(API)関数は、データベースのクエリ文により前記データベースにアクセスしてデータを処理する関数であり、前記アプリケーションプログラムインターフェイス(API)関数の引数には前記クエリ文が含まれる
ことを特徴とする請求項1に記載のスクリプトに基づくデータ処理システム。 - 前記スクリプト構文にはデータセットを参照するデータフレーム形式の変数が用いられ、前記データベースから参照するデータセットは、前記データフレーム形式の変数として取り出されて処理される
ことを特徴とする請求項1に記載のスクリプトに基づくデータ処理システム。 - 前記データベースは、たとえ多数の種類のデータベース(DB)形式のデータ、又はファイル形式で保存されるデータであるとしても、前記データベースを参照するために共通して前記データフレーム形式の変数が用いられる
ことを特徴とする請求項3に記載のスクリプトに基づくデータ処理システム。 - 前記アプリケーションプログラムインターフェイス(API)関数は、前記データフレーム形式のデータセットに対して、少なくとも2つのデータセットを結合するか、少なくとも一つのデータセットを集計するか、或いは、少なくとも一つのデータセットをフィルタリングする関数である
ことを特徴とする請求項3に記載のスクリプトに基づくデータ処理システム。 - 前記スクリプト構文は、繰り返し文や分岐文を許容しない
ことを特徴とする請求項1に記載のスクリプトに基づくデータ処理システム。 - 前記スクリプト構文には前記商用インタープリタの構文がいずれも使用可能な区間を指定する指示文が含まれ、
前記中間コード生成部は、当該指示文により指定された区間は原文通りに中間コードとして生成する
ことを特徴とする請求項1に記載のスクリプトに基づくデータ処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150189774A KR101769848B1 (ko) | 2015-12-30 | 2015-12-30 | 상용 인터프리터를 이용한 스크립트 기반 데이터 처리 시스템 |
KR10-2015-0189774 | 2015-12-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017120611A true JP2017120611A (ja) | 2017-07-06 |
JP6248137B2 JP6248137B2 (ja) | 2017-12-13 |
Family
ID=59272213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016089271A Active JP6248137B2 (ja) | 2015-12-30 | 2016-04-27 | 商用インタープリタを用いた、スクリプトに基づくデータ処理システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6248137B2 (ja) |
KR (1) | KR101769848B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111008021A (zh) * | 2019-12-24 | 2020-04-14 | 象辑知源(武汉)科技有限公司 | 一种基于Presto的支持多数据源的混合执行SQL和python脚本的方法及系统 |
WO2022195726A1 (ja) | 2021-03-16 | 2022-09-22 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
CN117057640A (zh) * | 2023-07-26 | 2023-11-14 | 广东优翼航空技术有限公司 | 一种基于解释器对飞行品质进行评估的方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112346775B (zh) * | 2020-09-21 | 2024-02-02 | 杭州数智政通科技有限公司 | 指标数据通用处理方法、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007506163A (ja) * | 2003-09-17 | 2007-03-15 | リサーチ イン モーション リミテッド | 拡張可能なプロビジョニングを伴う動的なコンテンツ処理システムおよび方法 |
JP2008262584A (ja) * | 1998-06-04 | 2008-10-30 | Microsoft Corp | 複合データ構造の永続的表現の生成 |
JP2013516720A (ja) * | 2010-01-12 | 2013-05-13 | クアルコム,インコーポレイテッド | メタデータ抽出による動的言語の実行 |
US20140366007A1 (en) * | 2013-06-06 | 2014-12-11 | Microsoft Corporation | Debugging native code by transitioning from execution in native mode to execution in interpreted mode |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101028359B1 (ko) * | 2009-12-10 | 2011-04-11 | 주식회사 이노와이어리스 | 스크립트를 이용한 dut 자동화 테스트 장치 |
US9218408B2 (en) * | 2010-05-27 | 2015-12-22 | Oracle International Corporation | Method for automatically creating a data mart by aggregated data extracted from a business intelligence server |
KR101260436B1 (ko) | 2012-10-24 | 2013-05-09 | 주식회사 소프트잼 | 구조화 질의어 자동 처리 시스템과 방법 및 그를 실행하기 위한 프로그램이 기록되는 컴퓨터로 읽을 수 있는 기록매체 |
JP6167033B2 (ja) | 2013-12-13 | 2017-07-19 | Kddi株式会社 | アプリケーション解析装置、アプリケーション解析方法、プログラム |
-
2015
- 2015-12-30 KR KR1020150189774A patent/KR101769848B1/ko active IP Right Grant
-
2016
- 2016-04-27 JP JP2016089271A patent/JP6248137B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008262584A (ja) * | 1998-06-04 | 2008-10-30 | Microsoft Corp | 複合データ構造の永続的表現の生成 |
JP2007506163A (ja) * | 2003-09-17 | 2007-03-15 | リサーチ イン モーション リミテッド | 拡張可能なプロビジョニングを伴う動的なコンテンツ処理システムおよび方法 |
JP2013516720A (ja) * | 2010-01-12 | 2013-05-13 | クアルコム,インコーポレイテッド | メタデータ抽出による動的言語の実行 |
US20140366007A1 (en) * | 2013-06-06 | 2014-12-11 | Microsoft Corporation | Debugging native code by transitioning from execution in native mode to execution in interpreted mode |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111008021A (zh) * | 2019-12-24 | 2020-04-14 | 象辑知源(武汉)科技有限公司 | 一种基于Presto的支持多数据源的混合执行SQL和python脚本的方法及系统 |
WO2022195726A1 (ja) | 2021-03-16 | 2022-09-22 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
CN117057640A (zh) * | 2023-07-26 | 2023-11-14 | 广东优翼航空技术有限公司 | 一种基于解释器对飞行品质进行评估的方法及系统 |
CN117057640B (zh) * | 2023-07-26 | 2024-04-12 | 广东优翼航空技术有限公司 | 一种基于解释器对飞行品质进行评估的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
KR101769848B1 (ko) | 2017-08-22 |
JP6248137B2 (ja) | 2017-12-13 |
KR20170080789A (ko) | 2017-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11086751B2 (en) | Intelligent metadata management and data lineage tracing | |
US11847040B2 (en) | Systems and methods for detecting data alteration from source to target | |
Biswas et al. | Efficient incremental loading in ETL processing for real-time data integration | |
US11693912B2 (en) | Adapting database queries for data virtualization over combined database stores | |
US10726040B2 (en) | Lossless conversion of database tables between formats | |
JP6248137B2 (ja) | 商用インタープリタを用いた、スクリプトに基づくデータ処理システム | |
Swarna et al. | Apache Pig-a data flow framework based on Hadoop Map Reduce | |
Sinthong et al. | Aframe: Extending dataframes for large-scale modern data analysis | |
CN111221698A (zh) | 任务数据采集方法与装置 | |
US10459987B2 (en) | Data virtualization for workflows | |
US11016973B2 (en) | Query plan execution engine | |
CN102789488B (zh) | 数据查询处理系统和数据查询处理方法 | |
US20150178367A1 (en) | System and method for implementing online analytical processing (olap) solution using mapreduce | |
US10521426B2 (en) | Query plan generation for split table query operations | |
US20230244665A1 (en) | Automatic selection of precompiled or code-generated operator variants | |
Sinthong et al. | AFrame: Extending DataFrames for large-scale modern data analysis (Extended Version) | |
US11615061B1 (en) | Evaluating workload for database migration recommendations | |
US20220318314A1 (en) | System and method of performing a query processing in a database system using distributed in-memory technique | |
US10255316B2 (en) | Processing of data chunks using a database calculation engine | |
Raj et al. | Implementation of ETL process using Pig and Hadoop | |
US10803030B2 (en) | Asynchronous SQL execution tool for zero downtime and migration to HANA | |
Ventocilla | Big data programming with Apache spark | |
US20200311076A1 (en) | Database partition pruning using dependency graph | |
US20240078244A1 (en) | Methods and Systems for Tracking Data Lineage from Source to Target | |
Yao et al. | The Oregon Report Data-Base Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6248137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |