CN111367631A - 一种基于多节点异步并发的高吞吐存储访问装置 - Google Patents

一种基于多节点异步并发的高吞吐存储访问装置 Download PDF

Info

Publication number
CN111367631A
CN111367631A CN201910628411.8A CN201910628411A CN111367631A CN 111367631 A CN111367631 A CN 111367631A CN 201910628411 A CN201910628411 A CN 201910628411A CN 111367631 A CN111367631 A CN 111367631A
Authority
CN
China
Prior art keywords
data
node
asynchronous
request
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910628411.8A
Other languages
English (en)
Inventor
巨李岗
田伟丽
赵亚舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Keyware Co ltd
Original Assignee
Beijing Keyware Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Keyware Co ltd filed Critical Beijing Keyware Co ltd
Priority to CN201910628411.8A priority Critical patent/CN111367631A/zh
Publication of CN111367631A publication Critical patent/CN111367631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Abstract

本发明涉及一种基于多节点异步并发的高吞吐存储访问装置，包括：步骤1)引入基本节点概念并在节点上载数据信息，其中包括多个节点任务的并发处理、多个节点任务进行异步处理、多个节点任务并发处理某一个问题；步骤2)获取个节点上载数据信息，根据不同种情况将获取到的数据信息归类；步骤3)存储数据信息。通过本本装置可以高效、便捷的对数据信息进行存储访问。

Description

一种基于多节点异步并发的高吞吐存储访问装置
技术领域
本发明涉及多节点异步领域，尤其是节点异步并发的高吞吐存储访问装置。
背景技术
CAD(compute-raideddesign)技术最早起步于50年代后期。20世纪 60年代，美国的vIanE.shutelrand博士在其论文″skethcpad：一种人机对话系统″中首次提出了CAD的概念，提出了3一D计算机造型，虚拟现实，计算机辅助设计(CAD)等概念。此后，CAD技术随着在计算机屏幕上绘图变为可行而开始迅速发展，并在许多重要工程领域取得了巨大的成功。目前，CAD技术的发展和应用水平已成为衡量一个国家科技现代化水平和工业现代化水平的重要标志之一。
在四十多年的发展历程中，CAD技术经历了五个重要阶段：20世纪 50年代初到60年代末为第一阶段，这一阶段的cAD软件基本上都是二维交互绘图系统，意指computeriAddeDrawing(orDrafting)而非现在我们经常讨论的eAD(CompuetrAidedDesign)所包含的全部内容。即使在今天，二维绘图作为CAD技术的一个重要分支仍然占有相当大的比重。第二阶段为70年代初到70年代末，这一阶段的CAD主要研究三维造型技术，特别是曲面造型技术。70年代正值飞机和汽车工业的蓬勃发展时期，传统的多截面视图、特征纬线和油泥模型等方法己经不再能够满足设计者设计自由曲面的需要。贝赛尔算法使得人们用计算机处理曲线及曲面问题时变成可能，与此同时一些大公司在国家的支持下也相继开发出CATIA，UG等一批商用CAD 软件。80年代初期，人们开始了对CAD/CAE一体化技术的探索。传统的表面模型技术只能表达形体的表面信息，难以准确表达零件的其它特性，如质量、重心、惯性矩等，虽然基本可以解决CAM的问题，但因为模型分析的前处理特别困难而对CAE十分不利。期间，为解决一体化问题，SDRC公司于 1979年发布了世界上第一个完全基于实体造型技术的大型CADC/AE软件一卜DEAS，并在以后的10年里逐渐为众多CAD系统所模仿。到了80年代中期，CV公司提出了参数化技术概念，并成立了一个参数技术公司 (P～etriceThconlogyoCrp)，开始研制命名为rP陇的参数化软件。早期的Por 尼软件尽管性能很低，只能完成简单的工作，但却第一次实现了尺寸驱动零件设计修改，充分体现出参数化技术在许多通用件、零部件设计上简便易行的优势，因此CAD软件中也逐渐加入了参数化设计支持。在90年代中期，人们提出了面向智能化、集成化、网络化的新一代CAD技术。CAD软件通过产品数据管理(PDM)、统一的产品信息模型和数据交换规范 sTEP(standard伪rtheExehangeofPorductModelData)支持分布式工作环境下的协同设计。
传统的CAD技术的研究都己经历了许多年的发展历程，被工业界普遍接受并取得了显著的经济效益。但随着计算计网络技术特别是WWW的迅猛发展，人们对传统的CAD技术提出了新的要求。用户希望能够通过应用现有的网络技术和协同架构来支持用户操作环境由单机单用户到分布式网络结构的的转变，实现用户对异步或异步协同设计的需求以及异构系统的无缝集成。因此，可以预见在今后很长一段时期内，CAD技术发展的主要方向是面向并行工程和协同设计的CADC/AMC/AEC/APP的系统框架设计和功能集成。
1984年，PaulCashman和rIeneGiref组织了一个由来自不同学科的学者组成的工作组，致力于研究人们如何进行协同办公，并如何有效的应用计算机技术来支持人们协同办公。他们提出了计算机支持协同工作(eornpute卜 supporteooperativework)来作为计算机支持的办公的标记[，ona，han94]。 Biamon不日sehmidt也在他们的文章中提到esew是一种有关支持多用户和计算机系统一起工作的技术的集合。
最初的传统协同系统是为了软件程序开发项目例如cashMan和Holt在 1980年开发的MONsTR中和1970年以后的适应于工作文档的一般读写的办公信息系统的复杂性
控制而设计的。在这两个系统中，计算机技术的介入最初的初衷是希望能够切实有效地提高工作效率，例如软件代码的生成等。但是人们很快发现这种想法仅仅局限于人们的一种技术兴趣，并没有非常大的应用价值。
当Iinemet现象的出现，桌面计算机技术的进步，和可靠局域网的发展，使得协同系统技术得到了很快发展。特别是进行有效的协同工作所需的网络数据传送是分布式应用发展的一个里程碑。之后，为了更好地理解协同工作，人们开始引入社会学、人类学、心理学等学科的概念，形成了一个独立的多学科交叉融合的领域，并设计出许多类型的协同系统。
目前，北美(偶数年)和欧洲(奇数年)交替举办CSCW领域最高水平的国际会议。北美是由ACM主办的CSCW会议；欧洲是由一些研究机构组织主办的 ECSCW。国内对于
CSCW的研究主要集中于分布式多媒体领域，清华大学、国防科技大学最早开始对会议系统和协同编辑系统的研究，浙江大学也对协同编著系统进行了较深入的研究和实践。国内于1998年在北京举办了第一次全国cscw 学术会议，之后分别于2000年在上海和2002年在呼和浩特举行第二届和第三届中国CSCW学术会议。
发明内容
为了解决上述问题，本发明提供了一种基于多节点异步并发高吞吐存储访问装置，对于数据进行存储访问，可以更加高效的对数据进行处理，保证系统运行更加流畅。
本装置的使用包含：
步骤1)配置装置相关信息：通过配置相关访问信息进行装置访问；
步骤2)传输数据：调用相关方法，进行数据传输，其中包括多个节点任务的并发处理、多个节点任务进行异步处理、多个节点任务并发处理某一个问题；
步骤3)对获取到的数据进行存储；基本思想都是采用非阻塞方式，接受线程和工作线程分离，提高整个系统的吞吐量。整个系统的可用性大大增加，系统之间耦合度大大降低，并且有比较高的吞吐量，各个系统能高速运转，不会相互等待资源，可以充分利用资源。同时整个系统也可以有很好的伸缩性。
附图说明
以下将结合附图对本发明的实施方案进行描述，其中：
图1为根据本发明实施方案示出的多节点任务分配图；
图2为根据本发明实施方案示出的数据请求处理流程图。
图3为根据本发明实施方案示出的高吞吐异步处理图。
具体实施方式
下面将参照附图对本发明的多节点异步并发高吞吐存储访问装置的实施方案进行详细说明。
图1为根据本发明实施方案示出的多节点任务分配图；，所述方法包括：
步骤1)获取任务信息其中，其中包括多个节点任务的并发处理、多个节点任务进行异步处理、多个节点任务并发处理某一个问题；
步骤2)对任务节点进行处理，组合任务信息，获取完成的任务数据。
其中，多个节点任务的并发处理、多个节点任务进行异步处理、多个节点任务并发处理某一个问题等不同方式，对数据进行相匹配的组合处理，此处包含了数据分片处理，断点续传，防止数据的重复获取。
图2为根据本发明实施方案示出的一种基于多节点异步并发高吞吐存储访问装置访问流程图。
如图2所示，
首先获取数据访问请求，经过相关处理(包含：多个节点任务的并发处理、多个节点任务进行异步处理、多个节点任务并发处理某一个问题) 组合完成的数据信息，根据数据分片信息，进行完整拼装，去除重复，此过程中包含断点续传信息。

Claims (4)

1.一种基于多节点异步并发的高吞吐存储访问装置，其特征在于，所述方法包括：
步骤1)节点接收到文件根据系统存储流程调用相应程序，并对此进行任务分配，其目的是为了任务分配的目的是合理使用系统资源，提高系统资源利用效率，从而提高系统处理任务效率；
步骤2)根据接收到请求头部信息，解析数据量；
步骤3)解析数据量完成后，向数据量节流阀申请数据量；
步骤4)接收请求体，处理相应的数据请求；
步骤5)将请求响应发送至客户端；
步骤6)向数据量节流阀交换请求响应的数据量；
步骤7)向数据量节流阀交换请求数。
2.如权利要求1所述的一种基于多节点异步并发的高吞吐存储访问装置，其特征在于：在步骤1)中，接收数据信息，其中包含：多个节点任务的并发处理、多个节点任务进行异步处理、多个节点任务并发处理某一个问等各种数据接收方式，组合完整数据并做出数据交流。
3.如权利要求2所述的一种基于多节点异步并发的高吞吐存储访问装置，其特征在于：在步骤3)中，向数据节流阀申请数据量，根据数据的大小分配相应服务，捕捉各自的请求。
4.如权利要求3所述的一种基于多节点异步并发的高吞吐存储访问装置，其特征在于：在步骤6)中，请求响应后再次和节流阀做数据交换，从而达到释放相应内存。
CN201910628411.8A 2019-07-12 2019-07-12 一种基于多节点异步并发的高吞吐存储访问装置 Pending CN111367631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910628411.8A CN111367631A (zh) 2019-07-12 2019-07-12 一种基于多节点异步并发的高吞吐存储访问装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910628411.8A CN111367631A (zh) 2019-07-12 2019-07-12 一种基于多节点异步并发的高吞吐存储访问装置

Publications (1)

Publication Number Publication Date
CN111367631A true CN111367631A (zh) 2020-07-03

Family

ID=71206218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910628411.8A Pending CN111367631A (zh) 2019-07-12 2019-07-12 一种基于多节点异步并发的高吞吐存储访问装置

Country Status (1)

Country Link
CN (1) CN111367631A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166593A (zh) * 2014-08-14 2014-11-26 国家超级计算深圳中心(深圳云计算中心) 一种计算多应用功能异步并发调度方法
US20150067028A1 (en) * 2013-08-30 2015-03-05 Indian Space Research Organisation Message driven method and system for optimal management of dynamic production workflows in a distributed environment
CN105931664A (zh) * 2015-01-22 2016-09-07 南泰若股份有限公司 用于读取和编程1-r阻变元件阵列的方法
CN107422986A (zh) * 2017-05-10 2017-12-01 郑州云海信息技术有限公司 一种云存储系统并发读写请求的控制装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150067028A1 (en) * 2013-08-30 2015-03-05 Indian Space Research Organisation Message driven method and system for optimal management of dynamic production workflows in a distributed environment
CN104166593A (zh) * 2014-08-14 2014-11-26 国家超级计算深圳中心(深圳云计算中心) 一种计算多应用功能异步并发调度方法
CN105931664A (zh) * 2015-01-22 2016-09-07 南泰若股份有限公司 用于读取和编程1-r阻变元件阵列的方法
CN107422986A (zh) * 2017-05-10 2017-12-01 郑州云海信息技术有限公司 一种云存储系统并发读写请求的控制装置及方法

Similar Documents

Publication Publication Date Title
CN112131636B (zh) 一种建筑信息模型与物联网监测项精准映射的装置及方法
Kao et al. CAD/CAM Collaboration and remote Machining
CN106919654A (zh) 一种基于Nginx的高可用MySQL数据库的实现方法
JP5479709B2 (ja) データを処理するためのサーバ‐プロセッサ・ハイブリッド・システムおよび方法
CN104615684A (zh) 一种海量数据通信并发处理方法及系统
CN113902866B (zh) 一种双引擎驱动的数字孪生系统
CN108021449A (zh) 一种协程实现方法、终端设备及存储介质
CN110704465A (zh) 一种处理业务工单表的方法、装置及存储介质
CN101119365B (zh) 大规模协同环境下的协同交互优化方法
CN101373442B (zh) 一种用于传输用户操作事件的方法
CN107045538B (zh) 一种基于kettle的web端交换管理方法
CN111367631A (zh) 一种基于多节点异步并发的高吞吐存储访问装置
Li et al. An approach to supporting synchronized collaborative design within heterogeneous CAD systems
CN100365976C (zh) 基于内容差异比较的电子白板图像共享方法
Tay et al. A shared multi-media design environment for concurrent engineering over the internet
CN110018782A (zh) 一种数据读/写方法及相关装置
CN114816654A (zh) 云上cad/cae仿真方法、系统及存储介质
CN113382075A (zh) 企业信息管理平台、管理方法、电子设备及存储介质
CN105897545B (zh) 一种邮件同步的方法及装置
Zhou et al. Implementation of collaborative design environment based on single user CAD systems
Li et al. A preliminary study on synchronized collaborative design based on heterogeneous CAD systems
CN106610872B (zh) 工艺规划软件与仿真软件的数据交互系统及方法
Pan et al. Implementation of data distribution management services in a service oriented HLA RTI
CN101741880A (zh) 基于供电业务移动服务系统的无线远程数据交互方法
CN101645872A (zh) 一种互联网大规模应用环境的商用服务系统及其工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 102209 southeast, 6th floor, block B, national power investment Central Research Institute, South District, future science city, Changping District, Beijing

Applicant after: BEIJING KEYWARE Co.,Ltd.

Address before: 102208 key technology on the fourth floor of the production building of the second Pinzi Bona group, Huilongguan, Changping District, Beijing

Applicant before: BEIJING KEYWARE Co.,Ltd.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200703

WD01 Invention patent application deemed withdrawn after publication