CN107533453B - 用于生成数据可视化应用的系统和方法 - Google Patents
用于生成数据可视化应用的系统和方法 Download PDFInfo
- Publication number
- CN107533453B CN107533453B CN201680013996.7A CN201680013996A CN107533453B CN 107533453 B CN107533453 B CN 107533453B CN 201680013996 A CN201680013996 A CN 201680013996A CN 107533453 B CN107533453 B CN 107533453B
- Authority
- CN
- China
- Prior art keywords
- data
- receiving
- workflow
- model
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/10—Requirements analysis; Specification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
系统通过GUI提供高级可视化编程语言输入。用户输入指定数据源、工作流、处理逻辑和数据存储。这些原语的多个实例可以被组合以生成多维域应用。可以在图形用户界面中指定工作流和处理逻辑,其中表示工作流动作或处理功能的节点从面板中被选取并且被放置在图示上。节点之间的互连在界面中被接收,并且表示节点之间的数据流或依赖关系。高级可视化编程输入被转换成低级数据库命令,并且在执行框架内被执行。
Description
相关申请的交叉引用
本申请要求于2015年3月6日提交的序列号为62/129,647、题为“用于生成高级分析应用的系统和方法(Systems and Methods for Generating Advanced AnalyticsApplications)”的美国临时申请的权益,其通过引用以其整体合并与此。
技术领域
本发明涉及用于访问数据库的系统和方法。
背景技术
许多企业和其他实体都是高度数据驱动的。大量数据可以是可用的,并且可以从中获得有价值的见解。然而,访问这些数据集合的工具是复杂的,并且需要精细化的知识。将如何分析数据的想法转变为执行所需分析的应用的过程是复杂的和昂贵的。
本文公开的系统和方法提供了一种用于生成用于使用数据处理工具分析大数据集合的应用的改进方法。
附图说明
为了容易地理解本发明的优点,将通过参考附图中所示的具体实施例来更具体地描述上面简要描述的本发明。应当理解,这些附图仅描绘了本发明的典型实施例,因此不应被认为是限制其范围,并且将通过使用附图以附加特征和细节来描述和解释本发明,其中:
图1是适用于实现根据本发明的实施例的方法的计算设备的示意性框图;
图2是适用于实现根据本发明的实施例的方法的网络环境的示意性框图;
图3是根据本发明的实施例的用于生成数据库应用的方法的处理流程图;
图4是根据本发明的实施例的数据库应用内的数据流的示意性框图;
图5是根据本发明的实施例的用于生成数据库应用的可执行模块的示意性框图;
图6是根据本发明的实施例的用于执行数据库应用的执行框架的示意性框图;
图7是根据本发明的实施例的用于使用图形用户界面生成数据库应用的方法的处理流程图;
图8是根据本发明的实施例的用于使用多维数据模型进行定义的方法的处理流程图;以及
图9-17是示出根据本发明的实施例的用于生成数据访问应用的过程的屏幕截图。
具体实施方式
将容易理解,本文中的附图一般地描述和示出的本发明的组件可以以各种各样的不同配置来布置和设计。因此,如附图所示,以下对本发明的实施例的更详细的描述并不旨在限制所要求保护的本发明的范围,而是仅代表根据本发明的目前预期的实施例的某些示例。通过参考附图将最好地了解当前描述的实施例,其中相同的部分由相同的数字表示。
根据本发明的实施例可以被实现为装置、方法或计算机程序产品。因此,本发明可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合软件和硬件方面的实施例的形式,其在本文中可能全部被称为“模块”或“系统”。此外,本发明可以采用体现在任意有形介质表现中的计算机程序产品的形式,该任意有形介质表现具有体现在介质中的计算机可使用程序代码。
可以使用一个或多个计算机可使用或计算机可读介质的任意组合。例如,计算机可读介质可以包括便携式计算机软盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦除可编程只读存储器EPROM或闪存)设备、便携式光盘只读存储器(CDROM)、光存储设备和磁存储设备中的一个或多个。在所选择的实施例中,计算机可读介质可以包括任意非暂态介质,其可以包括、存储、传输、传播或传送程序以供指令执行系统、装置或设备使用,或与指令执行系统、装置或设备结合使用。
用于执行本发明的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写,包括面向对象的编程语言(例如,Java、Smalltalk、C++等)和常规程序性编程语言(例如,“C”编程语言或类似的编程语言)。程序代码可以作为独立软件包在计算机系统上整体地执行、在独立硬件单元上整体地执行、在与计算机间隔一定距离的远程计算机上部分地执行、或在远程计算机或服务器上整体地执行。在后一种情况下,远程计算机可以通过任意类型的网络(包括局域网(LAN)或广域网(WAN))连接到计算机,或者可以连接到外部计算机(例如,通过互联网使用互联网服务提供商)。
下面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明。应当理解,流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机程序指令或代码实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得通过计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图的一个或多个块中指定的功能/动作的装置。
这些计算机程序指令还可以被存储在可以使计算机或其他可编程数据处理装置以特定方式工作的非暂态计算机可读介质中,使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个或多个块中指定的功能/动作的指令装置的制造物品。
计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上,以使得将在计算机或其他可编程装置上执行一系列操作步骤产生计算机实现的过程,使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个块中指定的功能/动作的过程。
图1是示出示例计算设备100的框图。计算设备100可以用于执行各种过程,例如本文所讨论的过程。计算设备100可以用作服务器、客户端或任何其他计算实体。计算设备可以执行如本文所讨论的各种监视功能,并且可以执行一个或多个应用程序,例如本文所描述的应用程序。计算设备100可以是各种各样的计算设备中的任意一种,例如,台式计算机、笔记本计算机、服务器计算机、手持式计算机、平板计算机等。服务器系统102a-102c可以包括一个或多个计算设备100,每个计算设备100包括一个或多个处理器。
计算设备100包括(一个或多个)处理器102、(一个或多个)存储器设备104、(一个或多个)接口106、(一个或多个)大容量存储设备108、(一个或多个)输入/输出(I/O)设备110和显示设备130,它们全部都耦合到总线112。(一个或多个)处理器102包括一个或多个处理器或控制器,其执行存储在(一个或多个)存储器设备104和/或(一个或多个)大容量存储设备108中的指令。(一个或多个)处理器102还可以包括各种类型的计算机可读介质,例如,高速缓冲存储器。
(一个或多个)存储器设备104包括各种计算机可读介质,例如,易失性存储器(例如,随机存取存储器(RAM)114)和/或非易失性存储器(例如,只读存储器(ROM)116))。(一个或多个)存储设备104还可以包括诸如闪存之类的可重写ROM。
(一个或多个)大容量存储设备108包括各种计算机可读介质,例如,磁带、磁盘、光盘、固态存储器(例如,闪存)等等。如图1所示,特定的大容量存储设备是硬盘驱动器124。各种驱动器也可以被包括在(一个或多个)大容量存储设备108中,以实现对各种计算机可读介质的读取和/或写入。(一个或多个)大容量存储设备108包括可移动介质126和/或不可移动介质。
(一个或多个)I/O设备110包括允许将数据和/或其他信息输入到计算设备100或从计算设备100获取数据和/或其他信息的各种设备。示例I/O设备110包括光标控制设备、键盘、小键盘、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD或其他图像捕获设备等。
显示设备130包括能够向计算设备100的一个或多个用户显示信息的任意类型的设备。显示设备130的示例包括监视器、显示终端、视频投影设备等。
(一个或多个)接口106包括允许计算设备100与其他系统、设备或计算环境进行交互的各种接口。(一个或多个)示例接口106包括任意数量的不同的网络接口120,例如,到局域网(LAN)、广域网(WAN)、无线网络和互联网的接口。(一个或多个)其他接口包括用户接口118和外围设备接口122。(一个或多个)接口106还可以包括一个或多个用户接口元件118。(一个或多个)接口106还可以包括一个或多个外围接口,例如,用于打印机、指点设备(鼠标、轨迹板等)、键盘等的接口。
总线112允许(一个或多个)处理器102、(一个或多个)存储器设备104、(一个或多个)接口106、(一个或多个)大容量存储设备108和(一个或多个)I/O设备110彼此进行通信,以及与耦合到总线112的其他设备或组件进行通信。总线112表示几种类型的总线结构中的一种或多种,例如系统总线、PCI总线、IEEE 1394总线、USB总线等。
为了说明的目的,程序和其他可执行程序组件在本文中被示为离散块,但是应当理解,这样的程序和组件可以在各种时间驻留在计算设备100的不同存储组件中,并且由(一个或多个)处理器102执行。或者,本文描述的系统和过程可以以硬件来实现,或以硬件、软件和/或固件的组合来实现。例如,一个或多个专用集合成电路(ASIC)可以被编程以执行本文所描述的一个或多个系统和过程。
参考图2,其是其中可以实现本文公开的方法的网络环境200的示意性框图。网络环境可以包括服务器系统202a,其响应于用户输入生成如本文所描述的数据库应用。服务器系统202a或不同的服务器系统202b。执行数据库应用的服务器系统202a、202b可以直接地或通过远程服务器系统202b、202a托管或访问原始数据存储库104a、104b。
根据本文描述的方法定义数据库应用的来自用户的输入可以通过用户工作站106来提供输入,该用户工作站106直接或通过另一服务器系统202b或网络108耦合到服务器系统202a。工作站106可以是台式或笔记本电脑、平板电脑或其他计算设备。网络108可以是局域网(LAN)、广域网(WAN)、互联网或任何其他类型的有线或无线网络连接。
服务器系统202a可以托管或访问项目数据库110,该项目数据库110表示根据本文公开的方法生成的数据库应用。具体地,可以由服务器系统202a响应于根据本文公开的方法的用户输入来执行项目数据库110的创建。项目数据库110可以包括数据模型112a、工作流112b和处理逻辑112c。
参考图3,可以通过执行方法300根据用户输入来定义项目数据库110。方法300可以由服务器系统202a、用户工作站106或一些其它计算设备来执行。
方法300可以包括定义302数据模型。可以使用高级语言来描述数据模型,例如,图形用户界面(GUI)语言,其使用图标、图标之间的链接和其他GUI元素(菜单、按钮、开关)来指定数据模型的元素,如下文所描述的。
定义302数据模型可以包括接收高级语言形式的输入,其在数据类型和数据结构方面描述要处理的数据。
方法300还可以包括定义304工作流。同样,定义304工作流可以解释上述使用高级语言接收的输入。工作流可以描述如何在作业依赖关系和优先级方面协调并发数据处理工作。
方法300还可以包括定义306数据处理逻辑,例如基于使用高级语言接收的输入。数据处理逻辑可以指定数据元素的一个或多个数据集合如何被转换成数据元素的其他数据集合。结果数据集合中的数据元素因此可以根据数据处理逻辑在不同的数据模型中被格式化。
方法300还可以包括定义308数据存储,在该数据存储处将存储工作流和处理逻辑的结果。定义308数据存储可以包括使用高级语言接收输入。具体地,数据存储可以作为与GUI的交互被接收。例如,数据存储可以被输入到对话框,或从可用数据存储的列表中选择。在一些实施例中,数据存储是响应于所接收的输入而被创建的,使得它是普遍可寻址的,可以通过属性参数查询,可以被分配或加载有输入数据,并且可以由在执行工作流的服务器系统202a、202b上执行的一些或所有工作流查找和再使用。
定义308可以通过创建描述存储在其中的数据元素的数据模型来表征。数据存储可以使用兼容数据模型的输入数据集合来填充。数据存储也可以被查询以返回不同数据模型的数据集合。
方法300还可以包括执行工作流304。这可以包括从原始数据存储器204a、204b获取数据,有效地应用处理逻辑306从而对数据执行操作并且将数据转换成在步骤302处定义的一个或多个不同的数据模型。然后可以将处理逻辑306的结果存储在步骤308处定义的数据存储中。执行工作流的这些步骤可以根据步骤304处的工作流中指定的参数被调度、被优先排序以及被执行。
根据图3的方法300被定义和被执行的工作流产生存储在步骤308处定义的数据存储中的输出数据集合。然后可以以各种方式使用该数据存储。例如,可以针对数据存储实现数据分析,包括查询语言处理器。查询语言处理器的查询能力可以包括基本的数据转换能力,例如上面关于步骤306的数据处理逻辑所描述的那些。查询语言处理器还可以实现对搜索结果的导航,包括多维样式汇总和钻取底层数据。查询语言处理器可以进一步实现多个查询的链接。
根据图3的方法300定义的工作流可以在整个生命周期中被管理。具体地,可以管理数据模型、工作流和数据存储。具体地,这些构件随后可以被重新定义、被创建、被修改,并且还被其他构件定义引用。
这些构件(数据模型、工作流、数据存储)也可以被组合以实现更高级的逻辑。例如,用于多维数据表示和分析的逻辑可以被实现用于驱动域应用。
图4示出了根据图3的方法300的应用的示例实现。来自原始数据存储204a、204b的数据可以通过数据总线402被接收并且由收集器404收集。收集的数据然后可以被变换为在步骤302处定义的数据模型406a,包括根据数据模型格式化的数据的一个或多个集合408a-408c。
数据集合408a-408c被输入到如在步骤304处定义的工作流410。工作流然后实现如在步骤306处定义的处理逻辑412。如上所述,工作流管理处理任务之间的调度、冲突、依赖关系和优先级,使得数据集合408a-408c根据处理逻辑412以有效的方式和以适当的顺序被处理。
工作流410的输出将根据相同或不同的数据模型406b进行格式化。具体地,多个数据集合408d-408e可以从工作流输出并且根据数据模型406b进行格式化。这些数据组408d-408e然后被写入在步骤308处定义的数据存储410。数据存储410的数据可以随后被提供给分析引擎412,该分析引擎412执行分析、执行查询、并且执行其他操作以实现对数据集合408d-408e的表征或可视化。
图5示出了可以实现根据图3的方法300的数据应用的创建和根据图4的数据应用的执行的软件组件。从顶部开始,应用层500可以包括一个或多个域应用502。域应用502可以包括根据方法300定义的数据模型、工作流、处理逻辑和数据存储。域应用502可以包括多个这些元素,其彼此引用以实现复杂多维域应用。
平台应用编程接口(API)层504实现响应于用户输入生成域应用502的软件模块。具体地,API层504可以实现GUI,该GUI允许用户以图形方式定义域应用502的一个或多个数据模型、工作流、处理逻辑和数据存储。
GUI允许用户以拖放方式可视地构建数据模型、工作流和处理逻辑。这些元素的规范(specification)是根据脚本语言内部地生成的,脚本语言是一种高级表达式语言,其可以转化为用于后端引擎执行的命令。
API层504可以包括模块管理器506,其被编程为允许Java程序员插入自定义逻辑作为模块。模块可以在工作流中被引用,由此在工作流执行中被调用。
API层504可以包括数据模型构建器508。数据模型构建器508被编程为使得用户能够指定数据模型。数据模型用于描述数据元素的结构和类型,使得数据处理逻辑可以以适当的方式对它们进行操作。
API层504可以包括工作流构建器510。工作流构建器510被编程以使得用户能够构建工作流,其指定任务之间的执行依赖关系。
API层504可以包括数据存储构建器512。数据存储构建器512被编程为使得用户能够在数据存储方面指定底层存储装置中的数据表示。数据存储是相同数据模型的数据元素的概念性容器。
平台服务层514实现执行域应用502的软件组件,并且因此用作执行框架。平台服务层514是在其上可以构建或执行多个域应用502的软件平台。
平台服务层514包括服务引擎516-532的集合。每个引擎负责特定的功能区域。每个引擎都能够处理多租户请求。也就是说,它上面的应用程序502可以服务不同的租户(客户),使得租户的数据逻辑不会干扰另一租户的数据逻辑。每个引擎能够以可扩展的方式处理涉及跨数据分布式系统的大数据的请求。
例如,平台服务层514可以包括原始数据存储库516,其实现提供用于由域应用502处理的原始数据的数据库服务器。例如,原始数据存储库516可以是ORACLE、SQL、MySQL、DB2、INFORMIX、SAP、SPARK、TERADATA或其他类型的数据库服务器。
平台服务层514可以包括工作流引擎518。如上所述,工作流指示数据处理任务之间的依赖关系和优先级。因此,工作流引擎518可以调度处理任务和/或中断处理任务,以便实现由工作流指定的策略。
平台服务层514可以包括数据引擎520。数据引擎520执行由域应用502的设计者指定的、并且由工作流引擎518根据工作流指定的策略调用的处理逻辑。数据存储管理器522。数据存储管理器522将处理逻辑的结果写入数据存储。
平台服务层514可以实现数据消耗服务524,其是可以从应用接收查询并且响应于查询传送查询结果的web服务。平台服务层514可以用作应用与平台服务之间的主要查询接口。
平台服务层514可以实现元数据存储库526,其存储元数据定义。元数据是描述要处理的数据的信息。例如,数据模型和工作流是元数据的两种类型。
平台服务层514可以实现数据存储目录528,其是数据存储的定义的目录。
平台服务层514可以实现服务目录,其存储所有平台服务引擎的信息和状态。例如,平台服务引擎正在执行的位置(例如,网络节点)和平台服务引擎的状态(例如,运行或停止)。
平台服务层514可以实现系统管理服务532,其执行系统管理任务,例如临时数据清除、作业调度、以及本领域已知的其他系统管理任务。
参考图6,示出了根据本文公开的方法实现的域应用的部署架构。具体地,一组平台服务514可以分别实现多个应用节点600中的应用节点600。应用节点600可以如上所述针对包括一个或多个数据库604(例如,示出的SPARK HBASE HDFS数据库)的数据集群602执行。具体地,数据库605可以用作原始数据存储库204a、204b。
参考图7,可以使用高级语言(例如,具有用于接收用户输入的GUI的可视化编程语言)来指定域应用的数据模型、工作流、处理逻辑和数据存储。例如,所示出的方法700可以使用GUI来执行。具体地,可视化编程语言使得非程序员能够描述数据流水线,该数据流水线可以转换为根据方法300生成的用于在图5的执行框架中执行的构件。此外,可视化编程语言的GUI使得用户能够使用拖放组件和互连线来构建数据处理逻辑,如下面更详细地讨论的。
方法700可以包括根据用户输入导航702到选择的数据源。可以使用以下方式来执行导航:菜单、文件系统的层级表示、或用于导航文件系统并且用于接收对存储设备、存储设备的一部分、或特定文件、文件夹、数据库、或数据库的组群的用户选择的任何其它传统技术。具体地,可以针对数据源存储库(例如,原始数据存储库204a、204b)内的数据来执行导航和选择。除了选择数据集合之外或替代选择数据集合,用户还可以选择数据集合的一个或多个属性。因此,属性的图形显示和用于选择它们中的一个或多个的界面也可以被显示,并且使用该界面接收选择。
方法700可以进一步包括通过可视化编程语言GUI来接收704在数据层级和原语(primitive)数据类型方面描述数据模型的用户输入。一般来说,数据模型指定数据元素的类型是否是原语,或者数据元素的结构是否是两个或多个原语的混合。
方法700还可以包括在GUI中接收706节点的用户放置和节点之间的链接的用户放置,其中每个节点表示从序列面板中选择的预定义的命令序列,并且链接指示节点之间的执行依赖关系。例如,节点的示例是节点1=[命令1,命令2,命令3],节点2=[命令4,命令5],节点3=[命令6,命令7]。示出节点之间的依赖关系的示例工作流可以包括:工作流=[节点1->节点2,节点3->节点2],这意味着节点2中的命令只能在完成节点1中的命令之后被执行,节点3中的命令只能在完成节点2中的命令之后被执行。
方法700还可以包括接收对根据工作流处理的数据将被保存的目的地的选择。这可以包括以与在步骤302处选择数据源相同的方式、使用文件系统和/或数据库的可视化界面来导航和选择目的地。
方法700还可以包括接收对原语逻辑的GUI表示的选择和放置,并且使用表示数据从一个原语逻辑操作流向下一个原语逻辑操作的线来连接它们。例如,可以显示图形元素的面板,每个图形元素可以在GUI中被选择和被放置并且被连接到其他图形元素,并且每个图形元素表示内置数据转换命令库中的一个。
方法700还可以包括接收自定义处理逻辑脚本。例如,图形元素可以在GUI中被放置,其表示由用户提供的并且如上所述连接以表示到其他图形元素的数据流的运行时脚本。这些脚本然后可以根据它们在GUI中的放置作为工作流的一部分来执行。具体地,执行框架可以包括能够执行运行时脚本的运行时脚本环境。
参考图8,本文公开的系统和方法可以提供数据表示机制,用户可以用该机制来定义自定义多维模型、数据过滤逻辑和数据聚合策略,使得可以完成高性能数据分析任务。这是为了方便应用设计者设计满足数据分析应用的需要的数据表示。
例如,应用设计者可以执行所示出的方法800,包括使用可视化编程语言在维度和层级成员属性方面来定义802多维模型。例如,“客户”维度可能具有名称、出生日期和地址的成员属性。地址属性可以具有街道号码、城市、州、邮编的结构。“客户”维度以及其他维度(例如“帐户”和“时间”)维度可以形成底层数据表示的简单多维模型。
多维数据模型可以是在多个维度方面描述数据的概念性模型。例如,具有行和列的扩展表可以是二维模型。也可以实现具有与N个不同维度相对应的条目的N维数据集合,其中N大于2。这样的概念可以由分布式系统上的一些底层物理表示来支持。这样的物理表示可以通过执行根据多维模型的规范自动生成的数据处理工作流来构建。
方法800还可以包括使用可视化编程语言来定义804以简单的术语表示来自原始数据的聚合数据值的一个或多个导出属性。例如,“账户的数量”可以是一个导出属性,其表示客户在特定日期拥有的开立帐户的总数。其可以使用声明性语言来定义,并且针对每个输入数据批次被自动地计算并且在应用查询请求它之前被存储。因此,导出值可以响应于查询被返回,并且在接收查询之后不需要计算导出值。
方法800还可以包括基于特定查询条件定义806命名过滤逻辑以应用于维度,使得应用可以使用过滤名称来查询底层存储从而获得适当的数据范围。例如,我们可以将“富有”定义为具有特定邮编的客户,并且在所有客户查询中应用“富有”范围而无需响应于查询来执行邮编查找。这减少了处理查询所需的时间。
方法800还可以包括定义808自定义数据表示。定义808自定义数据表示可以包括定义针对各种查询模式定制的数据表示。自定义数据表示可以包括在数据填充时间预聚合的数据,使得运行时查询具有更好的性能。
图9至17示出了用于可视化编程语言的GUI的示例界面。所示出的界面可以被用来为方法300、700和800中的一些或全部步骤提供输入。
参考图9,可以使用用于提供名称和描述的示出的界面来启动项目。所示出的界面还包括调用用于创建数据模型(“建模数据”)和用于定义要处理的数据源(“定义数据源”)的接口的元素。数据分析任务的意图由用户在“项目”中表示。项目可以从“建模”的表达开始。
参考图10和图11,可以使用所示出的界面从用户(方法300的步骤302;方法700的步骤704)接收数据模型的数据元素。例如,如图所示,将包括“客户帐户”和“收入”的数据元素添加到项目中。如图3所示,在接收到对数据元素中的一个数据元素的选择之后,可以显示其属性(“属性”选项卡)。用户可以使用针对每个属性的“键(Key)”和“必需的(Required)”复选框来进一步选择这些属性中的哪些将被用作数据模型的一部分。所选择的数据元素的内容(如果有)可以被显示在“预览”选项卡中。
参考图12,所示出的界面可以被显示,从而根据用户表示的意图来接收要操作的数据源(方法700的步骤702)。数据源可以是实际数据源、或在根据用于选择和/或构造数据集合的一些查询或定义进行访问时预编译或编译的数据集合。后续访问所需的数据源的方面可以由系统自动导出,例如,数据到达日期等。
参考图13,然后使用所示出的界面输入用户的数据分析意图(方法300的步骤304、306;方法700的步骤706、710)。使用图形用户界面放置和连接分析的阶段。例如,可以使用指点设备来选择和放置元素“输入”、“分隔”、“选择”、“分组”和“映射”,并且使用指点设备进行互相连接。每个元素可以表示要在所示的另一元素的输入上执行的功能。元件可以从表示可能将被执行的功能的元素的面板中选择。面板可以包括预定义的功能、用户定义的功能等。由元素表示的功能可以包括数据处理功能,例如,可以针对大型数据集合被执行的那些示出的功能。
参考图14和15,一旦选择了元素并且通过将元素彼此耦合以及耦合到输入和输出定义了输入和输出,系统创建由分析意图的元素所要求的数据处理算法、逻辑和/或转换。例如,如图14和图15的“预览”选项卡所示,系统生成每个数据元素的要求的聚合和计算,例如图7和图8中选择的“分隔”和“映射”函数,这将产生在“预览”选项卡中示出的输出数据。
用户在分析意图中放置的元素的属性可以被选择,并且作为响应,可以在“预览”选项卡中显示该元素的属性以响应该接收到的交互。元素的属性可以由用户通过对“属性”选项卡界面元素的输入进行修改。
参考图16,然后可以使用所示出的界面从用户接收分析意图的结果的数据曝光。例如,由用户指定的曝光可以使用RESTful(表现状态转移)API(应用编程接口)自动实现。例如,在所示出的实施例中,用户指定用于获取分析意图的结果并将其呈现给用户的方法(“获取(Get)”)和统一资源标识符(“URI”)。用于操作、过滤或以其他方式表示输出数据的用户界面元素可以由用户指定作为图16所示的曝光步骤的一部分。
参考图17,可以使用所示出的界面来指定分析意图的结果被消耗的方式。例如,在所示出的实施例中,由图形元素表示的数据处理功能被放置并且被彼此耦合,从而定义分析意图的输出的数据流。然后实例化用于实现由图形元素表示的功能的资源和代码。例如,可以将“获取”功能写入“数据”存储并且调用“响应”。可以通过选择元素并且调整“属性”选项卡中的属性来调整这些功能的属性。同样,在选择元素之后,“预览”选项卡可以显示由该数据元素执行的功能的结果。
响应于在所示出的界面中接收的用户输入而执行的系统和方法可以根据针对图9到图17描述的功能。各种不同的截图示出了在“可视化编程语言”中表达用户意图的步骤和流程。使用“可视化编程语言”表达的用户意图将被系统转换成“数据语言序列”。然后将“数据语言序列”转换为“服务命令”以用于实际执行。
如在前面的描述中显而易见的,本文公开的系统和方法提供以下内容:
-基于意图的高级分析建模。
-在用户、应用和执行水平的转换层中表达的数据语言。
-将可视化语言转换成数据语言
-可以使用上述技术生成高级数据应用。
在不脱离本发明的精神或基本特征的情况下,本发明可以以其他具体形式实施。所描述的实施例在所有方面仅被认为是说明性的而不是限制性的。
Claims (15)
1.一种用于生成数据应用的方法,所述方法包括:
由服务器系统通过图形用户界面接收输入数据模型和输出数据模型,所述输入数据模型定义输入数据类型和输入数据结构,并且所述输出数据模型定义输出数据类型和输出数据结构,其中,所述输入数据模型是通过执行根据多维模型的规范自动生成的数据处理工作流来构建的;
由所述服务器系统通过所述图形用户界面接收工作流,所述工作流描述并行数据处理工作在作业依赖关系和优先级方面的协调;
由所述服务器系统通过所述图形用户界面接收数据处理逻辑,所述数据处理逻辑指定要在所述工作流的执行期间执行的一个或多个输入数据集合到一个或多个输出数据集合的转换,其中,所述一个或多个输入数据集合是根据所述输入数据模型格式化的,并且所述一个或多个输出数据集合是根据所述输出数据模型格式化的,并且其中,所述输入数据模型不同于所述输出数据模型;
由所述服务器系统通过所述图形用户界面接收对用于输入至所述工作流的数据源的指定,其中,接收对所述数据源的指定包括:在所述图形用户界面中接收对来自数据源存储库的图形表示中的至少一个属性和所述数据源的选择;
由所述服务器系统通过所述图形用户界面接收对用于存储所述工作流的输出的数据存储的指定,其中,所述数据存储定义所述输出数据模型,所述输出数据模型描述存储在所述数据存储中的数据元素;
生成域应用以提供用于所述工作流的执行框架;
由所述服务器系统执行所述域应用;
由所述数据存储接收查询;
由所述数据存储获得所述查询的结果;
由所述数据存储将所述查询的结果转换成具有与所述输出数据模型相比不同的数据模型的经转换的结果;以及
由所述数据存储返回所述经转换的结果。
2.根据权利要求1所述的方法,其中,所述数据存储是普遍可寻址的,其中,所述数据存储被配置为接收包括属性参数的查询,并且其中,所述数据存储被配置为接收对输入数据的分配或被配置为被加载有所述输入数据。
3.根据权利要求1所述的方法,还包括:
由所述服务器系统管理一个或多个附加数据模型、一个或多个附加工作流以及一个或多个附加数据流的创建。
4.根据权利要求3所述的方法,其中,创建所述一个或多个附加数据模型、所述一个或多个附加工作流以及所述一个或多个附加数据流包括:将对所述输出数据模型、所述工作流和所述数据存储的引用包括在所述一个或多个附加数据模型、所述一个或多个附加工作流、所述一个或多个附加数据流中的至少一个中。
5.根据权利要求4所述的方法,还包括:
将所述一个或多个附加数据模型、所述一个或多个附加工作流以及所述一个或多个附加数据流与所述输出数据模型、所述工作流和所述数据存储进行组合;
其中,生成包括生成一个或多个多维域应用。
6.根据权利要求5所述的方法,其中,执行所述域应用包括在所述执行框架内执行所述工作流,所述执行框架包括多个服务引擎,所述服务引擎包括:
原始数据存储库,所述数据源引用所述原始数据存储库;
工作流引擎,被配置为执行所述工作流;
数据引擎,被配置为执行所述数据处理逻辑;
数据存储管理器,被配置为管理所述数据存储内的数据的存储;以及
数据消耗服务,被配置为从所述原始数据存储库获取数据以供所述工作流引擎消耗。
7.根据权利要求5所述的方法,其中,执行包括由所述执行框架同时执行多个多维域应用。
8.根据权利要求1所述的方法,其中,接收所述数据模型包括:由所述服务器系统通过所述图形用户界面接收所述数据模型在数据层级和一个或多个原语数据类型方面的描述。
9.根据权利要求8所述的方法,其中,接收所述工作流包括:由所述服务器系统通过所述图形用户界面接收节点的放置和节点的链接,其中每个节点表示命令序列,并且每个链接表示通过所述链接连接的节点之间的执行依赖关系。
10.根据权利要求9所述的方法,其中,接收所述数据存储的指定包括:由所述服务器系统通过所述图形用户界面接收对数据目的地的选择。
11.根据权利要求10所述的方法,其中,接收所述数据处理逻辑包括:由所述服务器系统通过所述图形用户界面接收图形元素的放置,每个图形元素表示来自转换命令库的原语逻辑功能。
12.根据权利要求11所述的方法,其中,接收所述数据处理逻辑还包括:通过所述图形用户界面接收运行时脚本。
13.根据权利要求12所述的方法,其中,接收所述输出数据模型还包括:接收表示来自原始数据的聚合数据值的导出属性的定义。
14.根据权利要求13所述的方法,其中,接收所述输出数据模型还包括:根据查询条件定义命名过滤逻辑并且将所述命名过滤逻辑应用于多个维度中的维度。
15.根据权利要求14所述的方法,还包括:
接收映射到查询模式的自定义数据表示;以及
在根据所述查询模式接收查询之前,根据所述自定义数据表示在所述数据存储中聚合数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562129647P | 2015-03-06 | 2015-03-06 | |
US62/129,647 | 2015-03-06 | ||
PCT/US2016/019360 WO2016144546A2 (en) | 2015-03-06 | 2016-02-24 | Systems and methods for generating data visualization applications |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107533453A CN107533453A (zh) | 2018-01-02 |
CN107533453B true CN107533453B (zh) | 2021-06-01 |
Family
ID=56850562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680013996.7A Active CN107533453B (zh) | 2015-03-06 | 2016-02-24 | 用于生成数据可视化应用的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10275221B2 (zh) |
EP (1) | EP3265905A4 (zh) |
CN (1) | CN107533453B (zh) |
WO (1) | WO2016144546A2 (zh) |
Families Citing this family (85)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10528327B2 (en) * | 2015-11-23 | 2020-01-07 | Microsoft Technology Licensing Llc | Workflow development system with ease-of-use features |
US20220164840A1 (en) | 2016-04-01 | 2022-05-26 | OneTrust, LLC | Data processing systems and methods for integrating privacy information management systems with data loss prevention tools or other tools for privacy design |
US11675929B2 (en) | 2016-06-10 | 2023-06-13 | OneTrust, LLC | Data processing consent sharing systems and related methods |
US11227247B2 (en) | 2016-06-10 | 2022-01-18 | OneTrust, LLC | Data processing systems and methods for bundled privacy policies |
US11544667B2 (en) | 2016-06-10 | 2023-01-03 | OneTrust, LLC | Data processing systems for generating and populating a data inventory |
US11461500B2 (en) | 2016-06-10 | 2022-10-04 | OneTrust, LLC | Data processing systems for cookie compliance testing with website scanning and related methods |
US11562097B2 (en) | 2016-06-10 | 2023-01-24 | OneTrust, LLC | Data processing systems for central consent repository and related methods |
US11438386B2 (en) * | 2016-06-10 | 2022-09-06 | OneTrust, LLC | Data processing systems for data-transfer risk identification, cross-border visualization generation, and related methods |
US11188615B2 (en) | 2016-06-10 | 2021-11-30 | OneTrust, LLC | Data processing consent capture systems and related methods |
US10846433B2 (en) | 2016-06-10 | 2020-11-24 | OneTrust, LLC | Data processing consent management systems and related methods |
US11727141B2 (en) | 2016-06-10 | 2023-08-15 | OneTrust, LLC | Data processing systems and methods for synching privacy-related user consent across multiple computing devices |
US11416590B2 (en) | 2016-06-10 | 2022-08-16 | OneTrust, LLC | Data processing and scanning systems for assessing vendor risk |
US11418492B2 (en) | 2016-06-10 | 2022-08-16 | OneTrust, LLC | Data processing systems and methods for using a data model to select a target data asset in a data migration |
US10284604B2 (en) | 2016-06-10 | 2019-05-07 | OneTrust, LLC | Data processing and scanning systems for generating and populating a data inventory |
US11403377B2 (en) | 2016-06-10 | 2022-08-02 | OneTrust, LLC | Privacy management systems and methods |
US11341447B2 (en) | 2016-06-10 | 2022-05-24 | OneTrust, LLC | Privacy management systems and methods |
US11354434B2 (en) | 2016-06-10 | 2022-06-07 | OneTrust, LLC | Data processing systems for verification of consent and notice processing and related methods |
US11475136B2 (en) | 2016-06-10 | 2022-10-18 | OneTrust, LLC | Data processing systems for data transfer risk identification and related methods |
US11354435B2 (en) | 2016-06-10 | 2022-06-07 | OneTrust, LLC | Data processing systems for data testing to confirm data deletion and related methods |
US11481710B2 (en) | 2016-06-10 | 2022-10-25 | OneTrust, LLC | Privacy management systems and methods |
US11636171B2 (en) | 2016-06-10 | 2023-04-25 | OneTrust, LLC | Data processing user interface monitoring systems and related methods |
US11410106B2 (en) | 2016-06-10 | 2022-08-09 | OneTrust, LLC | Privacy management systems and methods |
US11134086B2 (en) | 2016-06-10 | 2021-09-28 | OneTrust, LLC | Consent conversion optimization systems and related methods |
US11625502B2 (en) | 2016-06-10 | 2023-04-11 | OneTrust, LLC | Data processing systems for identifying and modifying processes that are subject to data subject access requests |
US11416798B2 (en) | 2016-06-10 | 2022-08-16 | OneTrust, LLC | Data processing systems and methods for providing training in a vendor procurement process |
US10997318B2 (en) | 2016-06-10 | 2021-05-04 | OneTrust, LLC | Data processing systems for generating and populating a data inventory for processing data access requests |
US11651104B2 (en) | 2016-06-10 | 2023-05-16 | OneTrust, LLC | Consent receipt management systems and related methods |
US11651106B2 (en) | 2016-06-10 | 2023-05-16 | OneTrust, LLC | Data processing systems for fulfilling data subject access requests and related methods |
US12052289B2 (en) | 2016-06-10 | 2024-07-30 | OneTrust, LLC | Data processing systems for data-transfer risk identification, cross-border visualization generation, and related methods |
US11586700B2 (en) | 2016-06-10 | 2023-02-21 | OneTrust, LLC | Data processing systems and methods for automatically blocking the use of tracking tools |
US11416109B2 (en) | 2016-06-10 | 2022-08-16 | OneTrust, LLC | Automated data processing systems and methods for automatically processing data subject access requests using a chatbot |
US12045266B2 (en) | 2016-06-10 | 2024-07-23 | OneTrust, LLC | Data processing systems for generating and populating a data inventory |
US10678945B2 (en) | 2016-06-10 | 2020-06-09 | OneTrust, LLC | Consent receipt management systems and related methods |
US11222142B2 (en) | 2016-06-10 | 2022-01-11 | OneTrust, LLC | Data processing systems for validating authorization for personal data collection, storage, and processing |
US11366786B2 (en) | 2016-06-10 | 2022-06-21 | OneTrust, LLC | Data processing systems for processing data subject access requests |
US11222139B2 (en) | 2016-06-10 | 2022-01-11 | OneTrust, LLC | Data processing systems and methods for automatic discovery and assessment of mobile software development kits |
US11294939B2 (en) | 2016-06-10 | 2022-04-05 | OneTrust, LLC | Data processing systems and methods for automatically detecting and documenting privacy-related aspects of computer software |
US10740487B2 (en) | 2016-06-10 | 2020-08-11 | OneTrust, LLC | Data processing systems and methods for populating and maintaining a centralized database of personal data |
US10318761B2 (en) | 2016-06-10 | 2019-06-11 | OneTrust, LLC | Data processing systems and methods for auditing data request compliance |
US11392720B2 (en) | 2016-06-10 | 2022-07-19 | OneTrust, LLC | Data processing systems for verification of consent and notice processing and related methods |
US11520928B2 (en) | 2016-06-10 | 2022-12-06 | OneTrust, LLC | Data processing systems for generating personal data receipts and related methods |
US11188862B2 (en) | 2016-06-10 | 2021-11-30 | OneTrust, LLC | Privacy management systems and methods |
US10949565B2 (en) | 2016-06-10 | 2021-03-16 | OneTrust, LLC | Data processing systems for generating and populating a data inventory |
US11416589B2 (en) | 2016-06-10 | 2022-08-16 | OneTrust, LLC | Data processing and scanning systems for assessing vendor risk |
US11366909B2 (en) | 2016-06-10 | 2022-06-21 | OneTrust, LLC | Data processing and scanning systems for assessing vendor risk |
US10909488B2 (en) | 2016-06-10 | 2021-02-02 | OneTrust, LLC | Data processing systems for assessing readiness for responding to privacy-related incidents |
KR20180080924A (ko) * | 2017-01-05 | 2018-07-13 | 주식회사 엑셈 | 빅 데이터 처리 서버의 데이터 처리 결과를 모니터링 하기 위한 장치 및 방법 |
GB201708818D0 (en) * | 2017-06-02 | 2017-07-19 | Palantir Technologies Inc | Systems and methods for retrieving and processing data |
US10013577B1 (en) | 2017-06-16 | 2018-07-03 | OneTrust, LLC | Data processing systems for identifying whether cookies contain personally identifying information |
CN107967359B (zh) * | 2017-12-21 | 2022-05-17 | 百度在线网络技术(北京)有限公司 | 数据可视分析方法、系统、终端和计算机可读存储介质 |
CN108460077B (zh) * | 2018-01-03 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 一种指标分析方法、系统以及计算机可读存储介质 |
CN110727729A (zh) * | 2018-06-29 | 2020-01-24 | 贵州白山云科技股份有限公司 | 一种实现智能运算的方法及装置 |
CN110020021B (zh) * | 2018-09-03 | 2023-04-07 | 福建星瑞格软件有限公司 | 基于可视化的数据流处理方法 |
US11544409B2 (en) | 2018-09-07 | 2023-01-03 | OneTrust, LLC | Data processing systems and methods for automatically protecting sensitive data within privacy management systems |
US10803202B2 (en) | 2018-09-07 | 2020-10-13 | OneTrust, LLC | Data processing systems for orphaned data identification and deletion and related methods |
CN109388385B (zh) * | 2018-09-18 | 2022-08-19 | 西门子(中国)有限公司 | 用于应用开发的方法和装置 |
CN109523318A (zh) * | 2018-11-16 | 2019-03-26 | 杭州市商务委员会(杭州市粮食局) | 跨界电子商务数据可视化建模分析平台 |
US10838744B2 (en) * | 2018-12-04 | 2020-11-17 | Sap Se | Web component design and integration system |
US11232172B2 (en) | 2018-12-04 | 2022-01-25 | Sap Se | Collaborative web application and data system |
US20200265353A1 (en) * | 2019-02-15 | 2020-08-20 | Siemens Product Lifecycle Management Software Inc. | Intelligent workflow advisor for part design, simulation and manufacture |
CN109977154A (zh) * | 2019-02-22 | 2019-07-05 | 青岛农业大学 | 一种多api集成的大数据终端系统建立方法 |
CN109933622A (zh) * | 2019-02-26 | 2019-06-25 | 美林数据技术股份有限公司 | 一种数据可视化系统及实现方法 |
US11144569B2 (en) | 2019-05-14 | 2021-10-12 | International Business Machines Corporation | Operations to transform dataset to intent |
US20210096704A1 (en) * | 2019-09-27 | 2021-04-01 | Rockwell Automation Technologies, Inc. | User interface logical and execution view navigation and shifting |
CN111208994B (zh) * | 2019-12-31 | 2023-05-30 | 西安翔腾微电子科技有限公司 | 计算机图形应用程序的执行方法、装置及电子设备 |
CN113448678A (zh) * | 2020-03-24 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 应用信息生成方法、部署方法及装置、系统、存储介质 |
CN111752552A (zh) * | 2020-06-28 | 2020-10-09 | 南京优倍自动化系统有限公司 | 一种工业软件设计与应用平台 |
EP4179435B1 (en) | 2020-07-08 | 2024-09-04 | OneTrust LLC | Systems and methods for targeted data discovery |
WO2022026564A1 (en) | 2020-07-28 | 2022-02-03 | OneTrust, LLC | Systems and methods for automatically blocking the use of tracking tools |
EP4193268A1 (en) | 2020-08-06 | 2023-06-14 | OneTrust LLC | Data processing systems and methods for automatically redacting unstructured data from a data subject access request |
US11436373B2 (en) | 2020-09-15 | 2022-09-06 | OneTrust, LLC | Data processing systems and methods for detecting tools for the automatic blocking of consent requests |
US20230334158A1 (en) | 2020-09-21 | 2023-10-19 | OneTrust, LLC | Data processing systems and methods for automatically detecting target data transfers and target data processing |
US11397819B2 (en) | 2020-11-06 | 2022-07-26 | OneTrust, LLC | Systems and methods for identifying data processing activities based on data discovery results |
WO2022159901A1 (en) | 2021-01-25 | 2022-07-28 | OneTrust, LLC | Systems and methods for discovery, classification, and indexing of data in a native computing system |
US11442906B2 (en) | 2021-02-04 | 2022-09-13 | OneTrust, LLC | Managing custom attributes for domain objects defined within microservices |
US11494515B2 (en) | 2021-02-08 | 2022-11-08 | OneTrust, LLC | Data processing systems and methods for anonymizing data samples in classification analysis |
US20240098109A1 (en) | 2021-02-10 | 2024-03-21 | OneTrust, LLC | Systems and methods for mitigating risks of third-party computing system functionality integration into a first-party computing system |
US11775348B2 (en) | 2021-02-17 | 2023-10-03 | OneTrust, LLC | Managing custom workflows for domain objects defined within microservices |
US11546661B2 (en) | 2021-02-18 | 2023-01-03 | OneTrust, LLC | Selective redaction of media content |
US20240311497A1 (en) | 2021-03-08 | 2024-09-19 | OneTrust, LLC | Data transfer discovery and analysis systems and related methods |
US11562078B2 (en) | 2021-04-16 | 2023-01-24 | OneTrust, LLC | Assessing and managing computational risk involved with integrating third party computing functionality within a computing system |
CN114579190B (zh) * | 2022-02-17 | 2022-10-14 | 中国科学院计算机网络信息中心 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
US11620142B1 (en) | 2022-06-03 | 2023-04-04 | OneTrust, LLC | Generating and customizing user interfaces for demonstrating functions of interactive user environments |
CN117289924A (zh) * | 2023-10-13 | 2023-12-26 | 河北云在信息技术服务有限公司 | 一种基于Flink的可视化任务编排系统和方法 |
CN118034672B (zh) * | 2024-04-10 | 2024-06-21 | 浪潮软件股份有限公司 | 一种基于Spark的可视化数据处理分析方法及系统 |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6038393A (en) * | 1997-09-22 | 2000-03-14 | Unisys Corp. | Software development tool to accept object modeling data from a wide variety of other vendors and filter the format into a format that is able to be stored in OMG compliant UML representation |
US6167564A (en) * | 1998-09-17 | 2000-12-26 | Unisys Corp. | Software system development framework |
AU7857300A (en) * | 1999-10-05 | 2001-05-10 | Togethersoft Corporation | Method and system for developing software |
US7370315B1 (en) * | 2000-11-21 | 2008-05-06 | Microsoft Corporation | Visual programming environment providing synchronization between source code and graphical component objects |
US7174534B2 (en) * | 2001-01-22 | 2007-02-06 | Symbol Technologies, Inc. | Efficient system and method for running and analyzing multi-channel, multi-modal applications |
US20060064666A1 (en) * | 2001-05-25 | 2006-03-23 | Amaru Ruth M | Business rules for configurable metamodels and enterprise impact analysis |
CA2451164C (en) * | 2003-09-11 | 2016-08-30 | Teamplate Inc. | Customizable components |
CA2443454A1 (en) * | 2003-09-11 | 2005-03-11 | Teamplate Inc. | Data binding method in workflow system |
US20050210455A1 (en) * | 2004-03-18 | 2005-09-22 | International Business Machines Corporation | Method for generating an executable workflow code from an unstructured cyclic process model |
US8271541B2 (en) * | 2004-03-31 | 2012-09-18 | Fusionops Corporation | Method and apparatus for developing composite applications |
US7779384B2 (en) * | 2004-12-22 | 2010-08-17 | International Business Machines Corporation | Managing visual renderings of typing classes in a model driven development environment |
US7941784B2 (en) * | 2005-03-14 | 2011-05-10 | Research In Motion Limited | System and method for generating component based applications |
US8010940B2 (en) * | 2005-11-02 | 2011-08-30 | Sourcecode Technologies Holdings, Inc. | Methods and apparatus for designing a workflow process using inheritance |
US8676617B2 (en) * | 2005-12-30 | 2014-03-18 | Sap Ag | Architectural design for self-service procurement application software |
US8407664B2 (en) * | 2005-12-30 | 2013-03-26 | Sap Ag | Software model business objects |
KR100633478B1 (ko) * | 2006-01-02 | 2006-10-16 | 김길웅 | 비즈니스용 전문 운영체제에 기반하는 소프트웨어개발시스템 및 그 개발방법 |
WO2007134265A2 (en) * | 2006-05-12 | 2007-11-22 | Captaris, Inc. | Workflow data binding |
US8924269B2 (en) * | 2006-05-13 | 2014-12-30 | Sap Ag | Consistent set of interfaces derived from a business object model |
EP1857930A3 (en) * | 2006-05-17 | 2008-07-23 | Ipreo Holdings LLC | System, method, and apparatus to allow for a design, administration, and presentation of computer software applications |
GB0620855D0 (en) * | 2006-10-19 | 2006-11-29 | Dovetail Software Corp Ltd | Data processing apparatus and method |
US9229920B1 (en) * | 2007-04-30 | 2016-01-05 | Oracle America Inc. | Compound undo/redo manager for mixed model edits |
US8307333B2 (en) * | 2007-09-17 | 2012-11-06 | International Business Machines Corporation | System and computer program product for assisting a user in the process of creating software code |
US8307334B2 (en) * | 2007-09-17 | 2012-11-06 | International Business Machines Corporation | Method for assisting a user in the process of creating software code |
US8417715B1 (en) * | 2007-12-19 | 2013-04-09 | Tilmann Bruckhaus | Platform independent plug-in methods and systems for data mining and analytics |
US20090222749A1 (en) * | 2008-02-29 | 2009-09-03 | Business Objects, S.A. | Apparatus and method for automated creation and update of a web service application |
EP2110741A1 (en) * | 2008-04-14 | 2009-10-21 | Siemens Aktiengesellschaft | A method and a system for transforming an object model |
US9235909B2 (en) * | 2008-05-06 | 2016-01-12 | International Business Machines Corporation | Simplifying the presentation of a visually complex semantic model within a graphical modeling application |
US8539444B2 (en) * | 2008-06-30 | 2013-09-17 | International Business Machines Corporation | System and method for platform-independent, script-based application generation for spreadsheet software |
US8818884B2 (en) * | 2008-09-18 | 2014-08-26 | Sap Ag | Architectural design for customer returns handling application software |
US8332811B2 (en) * | 2009-04-30 | 2012-12-11 | United Parcel Service Of America, Inc. | Systems and methods for generating source code for workflow platform |
US8949772B1 (en) * | 2009-06-01 | 2015-02-03 | Amazon Technologies, Inc. | Dynamic model based software application development |
US9164738B2 (en) * | 2009-07-01 | 2015-10-20 | International Business Machines Corporation | Database mapping of models for reporting tools in model driven development |
US20140032606A1 (en) * | 2009-08-20 | 2014-01-30 | Adobe Systems Incorporated | Collapsible groups in graphical workflow models |
US20110088011A1 (en) * | 2009-10-14 | 2011-04-14 | Vermeg Sarl | Automated Enterprise Software Development |
US8843571B2 (en) | 2010-01-15 | 2014-09-23 | Endurance International Group, Inc. | Web hosting service based on a common service architecture and third party services |
US8484610B2 (en) * | 2010-03-17 | 2013-07-09 | Microsoft Corporation | Workflow execution model |
WO2011116248A1 (en) * | 2010-03-17 | 2011-09-22 | Siamak Farah | A cloud-based desktop and subscription application platform apparatuses, methods and systems |
US8843892B2 (en) * | 2010-12-03 | 2014-09-23 | Adobe Systems Incorporated | Visual representations of code in application development environments |
US8631387B2 (en) | 2011-03-31 | 2014-01-14 | Coral Networks, Inc. | System and method for the structuring and interpretation of organic computer programs |
US9104389B2 (en) * | 2011-10-18 | 2015-08-11 | International Business Machines Corporation | Hierarchical functional and variable composition diagramming of a programming class |
US9052907B2 (en) * | 2011-10-25 | 2015-06-09 | Software Ag | Selective change propagation techniques for supporting partial roundtrips in model-to-model transformations |
US9223847B2 (en) * | 2012-03-07 | 2015-12-29 | Microsoft Technology Licensing, Llc | Using dimension substitutions in OLAP cubes |
US9461876B2 (en) * | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
US9557988B2 (en) * | 2012-09-07 | 2017-01-31 | Inadev Corporation | Workflow-based application generator |
US20140201705A1 (en) * | 2013-01-12 | 2014-07-17 | Xuewei Ren | Extended framework for no-coding dynamic control workflow development on spatial enterprise system |
EP2972814A1 (en) * | 2013-03-15 | 2016-01-20 | Beeonics Inc. | Method for single workflow for multi-platform mobile application creation and delivery |
US10320885B2 (en) * | 2013-03-15 | 2019-06-11 | Gadget Software, Inc. | Method for single workflow for multi-platform mobile application creation and delivery |
US9753700B2 (en) * | 2013-05-29 | 2017-09-05 | Sap Se | Application building blocks for on demand and on premise usage |
US20140365242A1 (en) * | 2013-06-07 | 2014-12-11 | Siemens Medical Solutions Usa, Inc. | Integration of Multiple Input Data Streams to Create Structured Data |
CN103761111A (zh) * | 2014-02-19 | 2014-04-30 | 中国科学院软件研究所 | 一种基于bpel语言构建数据密集型工作流引擎的方法及其系统 |
US9256403B2 (en) * | 2014-04-28 | 2016-02-09 | Verizon Patent And Licensing Inc. | Unified flow designer |
US9436507B2 (en) * | 2014-07-12 | 2016-09-06 | Microsoft Technology Licensing, Llc | Composing and executing workflows made up of functional pluggable building blocks |
CN104268143B (zh) * | 2014-08-08 | 2017-10-20 | 华迪计算机集团有限公司 | Xml数据的处理方法和装置 |
US9858174B2 (en) * | 2014-09-26 | 2018-01-02 | Oracle International Corporation | Updatable native mobile application for testing new features |
US9851968B2 (en) * | 2014-09-26 | 2017-12-26 | Oracle International Corporation | High performant iOS template based application build system |
US9146962B1 (en) * | 2014-10-09 | 2015-09-29 | Splunk, Inc. | Identifying events using informational fields |
US20160105329A1 (en) * | 2014-10-09 | 2016-04-14 | Splunk Inc. | Defining a service-monitoring dashboard using key performance indicators derived from machine data |
CN104267971A (zh) * | 2014-10-20 | 2015-01-07 | 张璇 | 面向方面可信软件过程建模方法 |
US9348563B1 (en) * | 2014-12-10 | 2016-05-24 | Sap Se | Bi-directional editing between visual screen designer and source code |
US10417577B2 (en) * | 2015-06-05 | 2019-09-17 | Facebook, Inc. | Machine learning system interface |
KR102071335B1 (ko) * | 2015-06-11 | 2020-03-02 | 한국전자통신연구원 | 워크플로우 모델 생성 방법과 워크플로우 모델 실행 방법 및 장치 |
-
2016
- 2016-02-24 EP EP16762121.8A patent/EP3265905A4/en not_active Withdrawn
- 2016-02-24 US US15/052,449 patent/US10275221B2/en active Active
- 2016-02-24 WO PCT/US2016/019360 patent/WO2016144546A2/en active Application Filing
- 2016-02-24 CN CN201680013996.7A patent/CN107533453B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016144546A3 (en) | 2016-11-03 |
EP3265905A2 (en) | 2018-01-10 |
WO2016144546A2 (en) | 2016-09-15 |
US10275221B2 (en) | 2019-04-30 |
CN107533453A (zh) | 2018-01-02 |
US20160259626A1 (en) | 2016-09-08 |
EP3265905A4 (en) | 2018-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107533453B (zh) | 用于生成数据可视化应用的系统和方法 | |
EP3430529B1 (en) | Intelligent metadata management and data lineage tracing | |
US8589336B1 (en) | Framework for automated storage processes and flexible workflow | |
US9146955B2 (en) | In-memory, columnar database multidimensional analytical view integration | |
Ludäscher et al. | Scientific workflows: Business as usual? | |
US10073867B2 (en) | System and method for code generation from a directed acyclic graph using knowledge modules | |
US9519701B2 (en) | Generating information models in an in-memory database system | |
CN106062711B (zh) | 用于复合控件的方法、系统和计算机存储介质 | |
EP2784700A2 (en) | Integration of transactional and analytical capabilities of a database management system | |
US11847040B2 (en) | Systems and methods for detecting data alteration from source to target | |
EP2963543B1 (en) | User interface generation using a model layer | |
US8881127B2 (en) | Systems and methods to automatically generate classes from API source code | |
US9740713B1 (en) | Dynamic modeling of data in relational databases | |
WO2014186058A1 (en) | Use of projector and selector component types for etl map design | |
US8413109B2 (en) | Systems and methods for metamodel transformation | |
Psallidas et al. | Provenance for interactive visualizations | |
US9280361B2 (en) | Methods and systems for a real time transformation of declarative model and layout into interactive, digital, multi device forms | |
Omitola et al. | Capturing interactive data transformation operations using provenance workflows | |
Scherbaum et al. | Spline: Spark lineage, not only for the banking industry | |
CN115857918A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
Dupor et al. | An approach to conceptual modelling of ETL processes | |
CN113506099A (zh) | 申报业务的配置系统、方法、计算机设备和存储介质 | |
Trujillo et al. | The Gold Model Case Tool: An Environment for Designing OLAP Applications. | |
US20240078244A1 (en) | Methods and Systems for Tracking Data Lineage from Source to Target | |
Cesario et al. | A visual environment for designing and running data mining workflows in the knowledge grid |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |