CN113961148A - 一种主机与存储系统的数据交互方法、系统及装置 - Google Patents
一种主机与存储系统的数据交互方法、系统及装置 Download PDFInfo
- Publication number
- CN113961148A CN113961148A CN202111251705.7A CN202111251705A CN113961148A CN 113961148 A CN113961148 A CN 113961148A CN 202111251705 A CN202111251705 A CN 202111251705A CN 113961148 A CN113961148 A CN 113961148A
- Authority
- CN
- China
- Prior art keywords
- data
- host
- storage system
- queue
- data interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000013523 data management Methods 0.000 claims abstract description 19
- 238000004806 packaging method and process Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 101000894525 Homo sapiens Transforming growth factor-beta-induced protein ig-h3 Proteins 0.000 description 2
- 102100021398 Transforming growth factor-beta-induced protein ig-h3 Human genes 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种主机与存储系统的数据交互方法、系统及装置。方法包括存储系统获取主机发送的交互信息，按照约定的封装方式对交互信息进行解析；存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；基于应用场景，对数据进行处理；申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；主机获取队列单元中的信息，释放动态空间。本发明采用sg_utils开源工具实现存储系统与主机间的数据交互，可以在提升数据传输的便宜性、减少对存储系统性能影响及降低开发成本的情况下，实现更为多元化的数据交互机制，满足对多行业、多场景的需求，提高产品适应性。
Description
技术领域
本发明涉及存储技术领域，尤其是一种主机与存储系统的数据交互方法、系统及装置。
背景技术
在当前的大数据信息化时代里，随着计算机和网络技术的快速发展,在各种组织机构诸如各大型企业中,业务处理的数字化程度越来越高,对信息数据的依赖性也越来越强,其信息量也正以指数方式持续增长。
企业在构建自己的数据库与信息系统的过程中,存储的大量数据信息的便捷应用也成了人们关注的焦点。由于应用场景的繁杂多变，这对现有数据存储系统的数据交互方式以及可管理性等方面都提出了更高的要求。现有数据交互方式对存储系统性能要求高，产品适应性低。
发明内容
本发明提供了一种主机与存储系统的数据交互方法、系统及装置，用于解决现有数据交互方式对存储系统性能要求高，产品适应性低的问题。
为实现上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种主机与存储系统的数据交互方法，所述数据交互方法包括以下步骤：
存储系统获取主机发送的交互信息，按照约定的封装方式对所述交互信息进行解析；
存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；
基于应用场景，对所述数据进行处理；
申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；
主机获取所述队列单元中的信息，释放所述动态空间。
进一步地，所述存储系统获取主机发送的交互信息之前，还包括以下步骤：
在存储系统端设置数据管理队列，所述数据管理队列中包含若干队列单元。
进一步地，所述队列单元的默认状态为未使用，被存储系统选取后，状态改为使用，在主机获取该队列单元的信息后，状态改为未使用。
进一步地，所述按照约定的封装方式对所述交互信息进行解析后还包括：
对解析完的数据进行验证，包括数据长度和规格参数；
若验证不通过，则向主机返回错误信息。
进一步地，若解析所述交互信息，得到管理命令数据，则设置命令列表，主机获取信息时，传输所述管理命令的ID。
进一步地，所述方法在所述存储系统获取主机发送的交互信息之前，还包括：
存储系统创建通道卷，将所述通道卷映射到主机。
进一步地，所述主机端安装sg_utils开源工具，通过sg_raw命令向存储系统发送或取走数据。
本发明第二方面提供了一种主机与存储系统的数据交互系统，所述系统包括：
交互信息处理单元，通过存储系统获取主机发送的交互信息，按照约定的封装方式对所述交互信息进行解析；
交互数据存储单元，通过存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；
交互数据处理单元，基于应用场景，对所述数据进行处理；
结果处理单元，通过存储系统申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；
结果获取单元，通过主机获取所述队列单元中的信息，释放所述动态空间。
本发明第三方面提供了一种主机与存储系统的数据交互装置，所述装置包括主机、存储系统和所述的数据交互系统，通过所述数据交互系统，进行主机与存储系统的数据交互。
本发明第四方面提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述系统上运行时，使所述系统执行所述方法的步骤。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明实施例在存储系统端建立数据管理队列，进行主机与存储系统的数据交互时，采用sg_utils开源工具，进行数据交互信息的发送，存储系统端解析所述交互信息，将交互数据存储到数据管理队列的队列单元中，并将对数据处理结果的存储地址放入所述队列单元，便于主机对数据及处理结果的获取，在减少对存储系统性能影响、降低开发成本的同时，实现数据的交互及对设备的管理和操控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述方法实施例的流程示意图；
图2是本发明所述系统实施例的结构示意图；
图3是本发明所述装置实施例的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
本发明采用C语言进行控制机制的描述，使用通用处理器CPU作为主机端运行主程序，通过封装CDB(Command Descriptor Block，命令描述块)并使用sg_utils开源工具完成数据在存储系统与主机间的交互，再由存储系统端对数据进行解析、验证、暂存，从而完成数据的交互及对设备的管理和操控。
如图1所示，本发明实施例提供了一种主机与存储系统的数据交互方法，所述数据交互方法包括以下步骤：
S1,存储系统获取主机发送的交互信息，按照约定的封装方式对所述交互信息进行解析；
S2,存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；
S3,基于应用场景，对所述数据进行处理；
S4,申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；
S5,主机获取所述队列单元中的信息，释放所述动态空间。
本发明实施例的其一实现方式中，所述存储系统获取主机发送的交互信息之前，还包括以下步骤：
在存储系统端设置数据管理队列，所述数据管理队列中包含若干队列单元，初始化数据管理队列，所有队列单元使用状态置为未使用unsued。
存储系统在初始化时，设置所述数据管理队列，并限制队列深度，最大深度可根据实际情况进行设定。
步骤S1中，主机端根据实际应用需求，组装CDB，填充二进制数据文件data-out；执行sg_utils开源工具中的sg_raw命令发送数据，例如：sg_raw–s0x06–i data-out/dev/sg0[CDB0 CDB1…]。存储系统受到主机信息后，根据约定好的数据封装方式对交互信息进行解析。
步骤S2中，存储系统对解析完的数据进行验证，比如数据长度、规格参数等。确认无误后，找一个队列单元当前使用状态为unused的将其置位为used，然后将实际数据进行暂存到这一队列单元中。
步骤S4中，存储系统申请动态空间，用以保存数据处理完的状态及结果，并将内存地址放于对应的数据管理队列中，以便维护、取用。
步骤S5中，主机实际应用需求，组装CDB，执行sg_raw命令发送取数据指令，例如：sg_raw–r 1k–o data-in/dev/sg0[CDB0 CDB1…]，主机取走结果后，释放上面申请的动态空间，并初始化对应的数据管理队列单元，使用状态置位为unused。
本发明实施例的其一实现方式中，步骤S2中若解析所述交互信息，得到管理命令数据，则设置命令列表，主机获取信息时，传输所述管理命令的ID。
本发明实施例的其一实现方式中，所述方法在所述存储系统获取主机发送的交互信息之前，还包括：存储系统创建通道卷，将所述通道卷映射到主机。
如图2所示，本发明实施例还提供了一种主机与存储系统的数据交互系统，所述系统包括交互信息处理单元1、交互数据存储单元2、交互数据处理单元3、结果处理单元4和结果获取单元5。
交互信息处理单元1通过存储系统获取主机发送的交互信息，按照约定的封装方式对所述交互信息进行解析；交互数据存储单元2通过存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；交互数据处理单元3基于应用场景，对所述数据进行处理；结果处理单元4通过存储系统申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；结果获取单元5通过主机获取所述队列单元中的信息，释放所述动态空间。
如图3所示，本发明实施例还提供了一种主机与存储系统的数据交互装置，所述装置包括主机、存储系统和所述的数据交互系统，通过所述数据交互系统，进行主机与存储系统的数据交互。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述系统上运行时，使所述系统执行所述方法的步骤。
本发明存储系统与主机间的数据传输，在满足需求的同时，尽量减小内存的占用和不必要机制的启用；另辟空间专项处理，尽可能减少对原系统性能的影响及降低代码冗余度。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种主机与存储系统的数据交互方法，其特征是，所述数据交互方法包括以下步骤：
存储系统获取主机发送的交互信息，按照约定的封装方式对所述交互信息进行解析；
存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；
基于应用场景，对所述数据进行处理；
申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；
主机获取所述队列单元中的信息，释放所述动态空间。
2.根据权利要求1所述主机与存储系统的数据交互方法，其特征是，所述存储系统获取主机发送的交互信息之前，还包括以下步骤：
在存储系统端设置数据管理队列，所述数据管理队列中包含若干队列单元。
3.根据权利要求2所述主机与存储系统的数据交互方法，其特征是，所述队列单元的默认状态为未使用，被存储系统选取后，状态改为使用，在主机获取该队列单元的信息后，状态改为未使用。
4.根据权利要求1所述主机与存储系统的数据交互方法，其特征是，所述按照约定的封装方式对所述交互信息进行解析后还包括：
对解析完的数据进行验证，包括数据长度和规格参数；
若验证不通过，则向主机返回错误信息。
5.根据权利要求1所述主机与存储系统的数据交互方法，其特征是，若解析所述交互信息，得到管理命令数据，则设置命令列表，主机获取信息时，传输所述管理命令的ID。
6.根据权利要求1所述主机与存储系统的数据交互方法，其特征是，所述方法在所述存储系统获取主机发送的交互信息之前，还包括：
存储系统创建通道卷，将所述通道卷映射到主机。
7.根据权利要求6所述主机与存储系统的数据交互方法，其特征是，所述主机端安装sg_utils开源工具，通过sg_raw命令向存储系统发送或取走数据。
8.一种主机与存储系统的数据交互系统，其特征是，所述系统包括：
交互信息处理单元，通过存储系统获取主机发送的交互信息，按照约定的封装方式对所述交互信息进行解析；
交互数据存储单元，通过存储系统从预设的数据管理队列中选取队列单元，将解析出的数据存储到该队列单元中；
交互数据处理单元，基于应用场景，对所述数据进行处理；
结果处理单元，通过存储系统申请动态空间，存储所述数据的处理状态及结果，并将动态空间的内存地址存储在所述队列单元中；
结果获取单元，通过主机获取所述队列单元中的信息，释放所述动态空间。
9.一种主机与存储系统的数据交互装置，其特征是，所述装置包括主机、存储系统和权利要求8所述的数据交互系统，通过所述数据交互系统，进行主机与存储系统的数据交互。
10.一种计算机存储介质，所述计算机存储介质中存储有计算机指令，其特征是，所述计算机指令在权利要求8所述系统上运行时，使所述系统执行如权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111251705.7A CN113961148B (zh) | 2021-10-28 | 2021-10-28 | 一种主机与存储系统的数据交互方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111251705.7A CN113961148B (zh) | 2021-10-28 | 2021-10-28 | 一种主机与存储系统的数据交互方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113961148A true CN113961148A (zh) | 2022-01-21 |
| CN113961148B CN113961148B (zh) | 2023-08-08 |
Family
ID=79467308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111251705.7A Active CN113961148B (zh) | 2021-10-28 | 2021-10-28 | 一种主机与存储系统的数据交互方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113961148B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104503928A (zh) * | 2014-12-05 | 2015-04-08 | 中国航空工业集团公司第六三一研究所 | 一种基于队列管理的可随机存储电路 |
| US10628342B1 (en) * | 2018-12-20 | 2020-04-21 | Dell Products, L.P. | System and method for accelerating performance of non-volatile memory RAID stacks |
| US20200225988A1 (en) * | 2019-01-11 | 2020-07-16 | Hewlett Packard Enterprise Development Lp | Dynamic queue depth management with non-volatile memory controllers |
| CN113254240A (zh) * | 2021-06-21 | 2021-08-13 | 苏州浪潮智能科技有限公司 | 一种管理控制设备的方法、系统、设备及介质 |
| CN113448669A (zh) * | 2021-06-25 | 2021-09-28 | 苏州浪潮智能科技有限公司 | OpenStack的CLI命令执行方法及相关装置 |
-
2021
- 2021-10-28 CN CN202111251705.7A patent/CN113961148B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104503928A (zh) * | 2014-12-05 | 2015-04-08 | 中国航空工业集团公司第六三一研究所 | 一种基于队列管理的可随机存储电路 |
| US10628342B1 (en) * | 2018-12-20 | 2020-04-21 | Dell Products, L.P. | System and method for accelerating performance of non-volatile memory RAID stacks |
| US20200225988A1 (en) * | 2019-01-11 | 2020-07-16 | Hewlett Packard Enterprise Development Lp | Dynamic queue depth management with non-volatile memory controllers |
| CN113254240A (zh) * | 2021-06-21 | 2021-08-13 | 苏州浪潮智能科技有限公司 | 一种管理控制设备的方法、系统、设备及介质 |
| CN113448669A (zh) * | 2021-06-25 | 2021-09-28 | 苏州浪潮智能科技有限公司 | OpenStack的CLI命令执行方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113961148B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7112919B2 (ja) | スマート装置のタスク処理方法および装置 | |
| CN109086199A (zh) | 一种自动化生成测试脚本的方法、终端和可存储介质 | |
| US11490173B2 (en) | Switch of audio and video | |
| CN103257958B (zh) | 一种基于云存储的翻译方法及系统 | |
| CN109618225A (zh) | 视频抽帧方法、装置、设备和介质 | |
| CN110162387A (zh) | 线程调度方法、装置、计算机设备及计算机可读存储介质 | |
| CN111291292A (zh) | 页面渲染方法和装置、终端设备及存储介质 | |
| CN108172249A (zh) | 一种NAND Flash访问操作方法、装置及系统 | |
| CN112632008A (zh) | 一种数据分片的传输方法、装置及计算机设备 | |
| US11023420B1 (en) | Real-time compression of log data | |
| US11194629B2 (en) | Handling expiration of resources allocated by a resource manager running a data integration job | |
| CN111399818B (zh) | 推荐引擎设计方法、装置、服务器及存储介质 | |
| CN110737678B (zh) | 一种数据查找方法、装置、设备和存储介质 | |
| CN113961148A (zh) | 一种主机与存储系统的数据交互方法、系统及装置 | |
| CN104717175A (zh) | 虚拟桌面的处理方法和系统 | |
| CN112883088A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| US11797277B2 (en) | Neural network model conversion method server, and storage medium | |
| CN111581402A (zh) | 内容测试素材的生成方法、系统、电子设备、存储介质 | |
| CN112231409B (zh) | 数据库同步的初始化装载方法、装置、设备和存储介质 | |
| US9911476B2 (en) | Systems and methods for voice data processing | |
| CN113742104A (zh) | 基于ai的rpa分身功能的生成方法及装置 | |
| CN112840317B (zh) | 基于文件传输协议的数据传输方法、装置和电子设备 | |
| CN110309191B (zh) | 存储业务数据的方法、装置和系统 | |
| CN111600949B (zh) | 一种数据传输方法、装置、设备及计算机可读存储介质 | |
| CN110971631B (zh) | 访问ceph集群的方法、装置、服务器及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |