CN113867634B - 数据读取方法、装置、电子设备及存储介质 - Google Patents
数据读取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113867634B CN113867634B CN202111124033.3A CN202111124033A CN113867634B CN 113867634 B CN113867634 B CN 113867634B CN 202111124033 A CN202111124033 A CN 202111124033A CN 113867634 B CN113867634 B CN 113867634B
- Authority
- CN
- China
- Prior art keywords
- version number
- write
- data
- request
- read data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2329—Optimistic concurrency control using versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提出了数据读取方法、装置、电子设备及存储介质,涉及数据处理技术领域,具体涉及云计算和深度学习等人工智能领域。具体实现方案为:接收读取数据请求;响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息;响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整;以及根据读取数据地址和调整后的写入版本号进行数据读取。由此,能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,从而提升数据库系统的可用性和可靠性。
Description
技术领域
本公开涉及数据处理技术领域,具体涉及云计算和深度学习等人工智能领域,尤其涉及一种数据读取方法、装置、电子设备及存储介质。
背景技术
目前,在分布式数据库系统中,为了保证事务的快照隔离级别,通常使用一种两阶段提交的方式来完成数据写入,该方式可如下:
①、在相关数据的位置上写入一个包含数据内容、数据版本和事务信息的intent(一个用于组件间互相通信的信息对象)结构,并且记录事务的状态等信息。
②、确认事务成功提交后,intent结构会被转换为实际的数据和版本信息,然后完成写入;而当事务失败取消时,该intent结构也会被清理掉。
发明内容
本公开提供了一种数据读取方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种数据读取方法,包括:
接收读取数据请求,其中,所述读取数据请求包括请求版本号和读取数据地址;
响应于所述读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,所述数据写入文件包括写入版本号和事务信息;
响应于根据所述请求版本号、所述写入版本号和所述事务信息,确定所述读取数据请求满足版本调整条件,根据所述请求版本号对所述写入版本号进行调整;以及
根据所述读取数据地址和所述调整后的写入版本号进行数据读取。
根据本公开的另一方面,提供了一种数据读取装置,包括:
接收模块,用于接收读取数据请求,其中,所述读取数据请求包括请求版本号和读取数据地址;
获取模块,用于响应于所述读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,所述数据写入文件包括写入版本号和事务信息;
调整模块,用于响应于根据所述请求版本号、所述写入版本号和所述事务信息,确定所述读取数据请求满足版本调整条件,根据所述请求版本号对所述写入版本号进行调整;以及
读取模块,用于根据所述读取数据地址和所述调整后的写入版本号进行数据读取。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行数据读取方法。
根据本公开的另一方面,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行数据读取方法。
根据本公开的另一方面,一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现数据读取方法的步骤。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一个实施例的数据读取方法的流程图;
图2是根据本公开另一个实施例的数据读取方法的流程图;
图3是根据本公开另一个实施例的数据读取方法的流程图;
图4是根据本公开另一个实施例的数据读取方法的流程图;
图5是根据本公开一个实施例的数据读取方法的具体示例流程图;
图6是根据本公开一个实施例的数据读取装置的方框示意图;以及
图7是用来实现本公开实施例的数据读取方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的为数据读取方法、装置和电子设备。
数据处理(data processing),数据(Data)是对事实、概念或指令的一种表达形式,可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后,便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。
数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度,极大地影响了人类社会发展的进程。
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理,从而达到强大的网络服务。现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。
深度学习是机器学习领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
本公开实施例提供的数据读取方法,可以由电子设备来执行,该电子设备可为PC(Personal Computer,个人计算机)电脑、平板电脑、掌上电脑或服务器等,此处不做任何限定。
在本公开实施例中,电子设备中可以设置有处理组件、存储组件和驱动组件。可选的,该驱动组件和处理组件可以集成设置,该存储组件可以存储操作系统、应用程序或其他程序模块,该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的数据读取方法。
图1为本公开实施例提供的一种数据读取方法的流程示意图。
本公开实施例的数据读取方法,还可由本公开实施例提供的数据读取方法执行,该装置可配置于电子设备中,以实现接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址,并响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息,以及响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,而后根据读取数据地址和调整后的写入版本号进行数据读取,从而能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,进而提升数据库系统的可用性和可靠性。
作为一种可能的情况,本公开实施例的数据读取方法还可以在服务器端执行,服务器可以为云服务器,可以在云端执行该数据读取方法。
如图1所示,该数据读取方法,可包括:
步骤101,接收读取数据请求,其中,读取数据请求可包括请求版本号和读取数据地址。
在本公开实施例中,用户(相关人员)可通过应用程序(例如,XX的客户端)创建读取数据请求,并通过该应用程序将该读取数据请求发送至电子设备,即发送至安装(设置)在该电子设备中的数据库系统,电子设备接收到该读取数据请求后,可响应于该读取数据请求。
需要说明的是,该实施例中所描述的数据库系统可包括分布式数据库和普通数据库。
作为一种可能的情况,安装(设置)在电子设备中的应用程序也可基于本身的设定自动创建相应的读取数据请求,并将该读取数据请求发送至相关的数据库系统(即,安装(设置)在电子设备中的数据库系统),数据库系统接收到该读取数据请求后,可响应于该读取数据请求。
步骤102,响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件可包括写入版本号和事务信息。
在本公开实施例中,电子设备(即,电子设备中的数据库系统)可通过相关API(Application Programming Interface,应用程序接口)实时检测读写冲突事件是否被读取数据请求触发,以使得电子设备在检测到读写冲突事件被触发时,能够及时响应于该读写冲突事件。
具体地,电子设备可通过相关的API实时检测读写冲突事,并在确定检测到该读写冲突事件被读取数据请求触发时,响应于检测到该读写冲突事件,获取当前的数据写入文件。
需要说明的是,该实施例中所描述的数据写入文件可为intent结构文件,其中,该数据写入文件中还可包括待写入的数据内容。另外,该实施例中所描述的事务信息可包括事务状态,其中,该事务状态可为数据写入进行中、数据已写入或数据写入异常等。其中,该数据写入文件可为读取数据地址对应的数据写入文件。
步骤103,根据请求版本号、写入版本号和事务信息,确定读取数据请求是否满足版本调整条件。应说明的是,该实施例中所描述的版本调整条件可根据实际情况进行标定。
步骤103,响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整。应说明的是,该实施例中所描述的版本调整条件可根据实际情况进行标定。
在本公开实施例中,可基于预设的调整策略并根据请求版本号对写入版本号进行调整,其中,预设的调整策略可根据实际情况进行标定。
具体地,电子设备在获取到当前的数据写入文件之后,可通过数据库系统对该数据写入文件进行解析,以获取该数据写入文件中的写入版本号和事务信息,然后可根据该请求版本号、写入版本号和事务信息,判断上述读取数据请求是否满足版本调整条件,若是,则可基于预设的调整策略并根据该请求版本号对该写入版本号进行相应的调整,例如,将该请求版本号进行版本后延,例如,在该请求版本号的基础上加上一定的数值(例如,1、2、3和4等),并可将其结果作为最新的写入版本号,以实现对写入版本号的调整。
步骤104,根据读取数据地址和调整后的写入版本号进行数据读取。
在本公开实施例中,电子设备可通过地址解析工具(例如,插件)对读取数据地址进行解析,以获取数据的存储位置,并根据该存储位置和调整后的写入版本号进行数据读取。
需要说明的是,该实施例中所描述的地址解析工具可预先存储在电子设备的存储空间中,以便于调出使用。其中,该存储空间不仅限于基于实体的存储空间,例如,硬盘,上述存储空间还可以是连接电子设备的服务器的存储空间(云存储空间)。
具体地,在完成对上述写入版本号的调整之后,电子设备可从自身的储存空间中调用地址解析工具对读取数据地址进行解析,以获取数据的存储位置,并读取该存储位置存储的小于调整后写入版本号的最新写入版本号所对应的数据。
作为一种可能的情况,上述的地址解析工具还可以预装在数据库系统中,以在需要时可直接通过该数据库系统进行使用。
在本公开实施例中,首先接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址,并响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息,以及响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,而后根据读取数据地址和调整后的写入版本号进行数据读取。由此,能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,从而提升数据库系统的可用性和可靠性。
为了清楚说明上一实施例,在本公开的一个实施例中,数据写入文件还可包括写入数据地址,该数据读取方法还可包括若写入数据地址和读取数据地址相同,则确定读取数据请求触发读写冲突事件。
在本公开实施例中,当上述的写入数据地址和读取数据地址相同时,说明该地址处正在进行版本的更新,此时无法确定当前写入数据是否已经写入成功,所以也无法确定该地址下的当前写入数据是否可以被读取,由此,便触发了读写冲突事件。
具体地,电子设备(即,电子设备中的数据库系统)在获取到上述的读取数据请求之后,可先对该读取数据请求进行解析,以获得该读取数据请求中的读取数据地址,然后检测该读取数据地址对应的位置处是否正在进行数据版本的更新(即,正在进行数据写入操作),若是,则可说明该读取数据地址与上述的写入数据地址相同,此时可确定该读取数据请求触发了读写冲突事件。由此,能够及时响应读写冲突事件,提高处理读写冲突事件的速度。
进一步的,在本公开的一个实施例中,如图2所示,该数据读取方法,还可包括:
步骤201,若请求版本号小于写入版本号,则确定读取数据请求未满足版本调整条件。
步骤202,若请求版本号大于或等于写入版本号,则对事务信息进行解析以获取事务状态。
需要说明的是,一般情况下,在数据库系统中是不会出现请求版本号等于写入版本号的情况。
具体地,电子设备在获取到当前的数据写入文件之后,可通过数据库系统对该数据写入文件进行解析,以获取该数据写入文件中的写入版本号和事务信息,电子设备可通过相关API判断该请求版本号是否小于写入版本号,若是,则可确定该读取数据请求未满足版本调整条件,因为在快照隔离级别的数据版本管理中,读取数据请求只能读取版本号小于或等于当前请求版本号的最新数据,所以该读取数据请求可读取之前已写入的数据,无需对该写入版本号进行调整;若否,则需对事务信息进行解析以获取事务状态,并根据该事务状态进一步判断该读取数据请求是否满足版本调整条件。
在本公开实施例中,可根据预设的事务信息解析算法对事务信息进行解析,以获取事务状态,其中,预设的事务信息解析算法可根据实际情况进行标定。
具体地,电子设备在获取到事务信息之后,可根据预设的事务信息解析算法对该事务信息进行解析,以获取事务状态。
作为一种可能的情况,电子设备还可根据事务信息解析模型对事务信息进行解析,以获取事务状态。应说明的是,该实施例中所描述的事务信息解析模型可以是提前训练好的,并将其预存在电子设备的存储空间中,以方便调取应用,其中,该存储空间不仅限于基于实体的存储空间,例如,硬盘,上述存储空间还可以是连接电子设备的云存储空间。
其中,该事务信息解析模型的训练与生成均可由相关的训练服务器执行,该训练服务器可以是云端服务器,也可以是一台电脑的主机,该训练服务器与可执行本公开实施例提供的数据读取方法的电子设备之间,建立有通信连接,该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将训练完成的事务信息解析模型发送给该电子设备,以便该电子设备在需要时调用,从而大大减少该电子设备的计算压力。
具体地,电子设备在获取到事务信息之后,可从自身的存储空间中调出事务信息解析模型,并将该事务信息输入至该事务信息解析模型,从而通过该事务信息解析模型解析事务信息,以得到该事务信息解析模型输出的该事务信息对应的事务状态。
作为另一种可能的情况,电子设备还可使用解析工具(例如,插件),对事务信息进行解析,以获取事务状态。
步骤203,若事务状态为目标状态,则确定读取数据请求满足版本调整条件,其中,目标状态可包括数据写入进行中。
步骤204,若事务状态不为目标状态,则确定读取数据请求未满足版本调整条件。
在本公开实施例中,电子设备可通过相关API判断该事务状态是否为目标状态,若是,则上述读取数据请求满足版本调整条件;若否,则上述读数据请求未满足版本调整条件。
具体地,电子设备在获取到上述事务状态后,可通过相关API判断该事务状态是否为目标状态,即数据写入是否进行中,若是,则说明当前写入数据尚未完成写入,无法被读取,此时,需要对写入版本号进行调整,即满足版本调整条件;若否,则说明当前写入数据已经完成写入,可以进行当前写入数据的读取,或者说明当前写入数据出现了异常已经终止写入,可以进行上述写入版本号之前的版本对应数据的读取,此时,不需要对上述的写入版本进行调整,即未满足版本调整条件。
由此,能够准确的判断出读取数据请求是否满足版本调整条件,从而为写入版本号的调整提供条件依据。
为了清楚说明上一实施例,在本公开的一个实施例中,该数据读取方法还可包括若请求版本号小于写入版本号,则根据请求版本号和读取数据地址进行数据读取。
具体地,当上述请求版本号小于写入版本号时,电子设备可从自身的存储空间中调出地址解析工具对上述读取数据地址进行解析,以获取数据的存储位置,并读取该存储位置存储的版本号小于或等于该请求版本号的最新写入数据。
由此,在当前请求版本号小于当前写入版本号的情况下,能够及时读取之前已经写入的数据,避免阻塞。
在本公开的一个实施例中,如图3所示,响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,可包括:
步骤301,获取调整值。其中,调整值可根据实际情况进行标定,例如,1、2、3和4等,此处不做任何限定。
需要说明的是,该实施例中所描述的调整值可预先设置在电子设备的存储空间中,以便于使用时调用。
作为一种可能的情况,上述的整值可还可以预设在数据库系统中,以在需要时可直接通过该数据库系统进行使用。
步骤302,根据请求版本号和调整值对写入版本号进行调整。
在本公开实施例中,在获取上述请求版本号和调整值后,可通过下述公式(1)对写入版本号进行调整。
Va=Vb+1 (1)
其中,Va可为调整后的写入版本号,Vb可为请求版本号,1可为调整值。
具体地,在确定上述的读取数据请求满足版本调整条件之后,电子设备可先从自身的存储空间中调出调整值,然后可通过上述公式(1)进行版本号的计算,并将计算结果作为最新的写入版本号(即,调整后的写入版本号),以实现对写入版本号的调整。
由此,能够通过对写入版本号进行调整,实现在不破坏事务快照隔离级别的前提下快速读取数据,不会因读写冲突影响系统可用性。
在本公开的一个实施例中,如图4所示,在本公开的一个实施例中,根据读取数据地址和调整后的写入版本号进行数据读取,可包括:
步骤401,根据调整后的写入版本号确定目标读取版本号。
在本公开实施例中,在对上述写入版本号进行调整后,可将小于上述调整后的写入版本号的最新版本号作为目标读取版本号。
步骤402,根据读取数据地址确定目标数据存储位置。
具体地,在确定上述目标读取版本号后,电子设备可从自身的存储空间中调出地址解析工具对读取数据地址进行解析,以获取目标数据的存储位置。
步骤403,读取目标数据存储位置存储的与目标读取版本号对应的数据。
具体地,电子设备在获取到上述目标数据的存储位置后,可读取该目标数据存储位置存储的与该目标读取版本号对应的数据。
由此,能够实现对事务冲突的快速处理,避免阻塞。
根据本公开实施例的数据读取方法,首先接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址,并响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息,以及响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,而后根据读取数据地址和调整后的写入版本号进行数据读取。由此,能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,从而提升数据库系统的可用性和可靠性。
为使本领域技术人员更清晰的了解本公开,图5为根据本公开的一个数据读取的具体示例流程图。如图5所示,该数据读取方法可包括以下步骤:
S501,事务a写入key=x位置的intent。
S502,事务b尝试读取key=x位置的数据。
S503,事务b读到数据为intent且事务a版本号Va小于事务b版本号Vb。
S504,判断事务a是否已提交。如果是,执行步骤S505;如果否,执行步骤S506。
S505,读取事务a写入的数据。
S506,判断事务a是否已终止。如果是,执行步骤S507;如果否,执行步骤S508。
S507,读取事务a之前的数据。
S508,调整intent(事务a)版本号Va=Vb+1。
S509,写入调整版本号后的intent。
S510,读取事务a写入前的数据。
图6为本公开实施例提供的一种数据读取装置的结构示意图。
本公开实施例的数据读取装置,该装置可配置于电子设备中,以实现接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址,并响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息,以及响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,而后根据读取数据地址和调整后的写入版本号进行数据读取,从而能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,进而提升数据库系统的可用性和可靠性。
如图6所示,该数据读取装置600,可包括:接收模块610、获取模块620、调整模块630和读取模块640。
其中,接收模块610,用于接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址。
在本公开实施例中,用户(相关人员)可通过应用程序(例如,XX的客户端)创建读取数据请求,并将该读取数据请求发送至接收模块610,即发送至安装(设置)在该电子设备中的数据库系统,接收模块610接收到该读取数据请求后,可响应于该读取数据请求。
需要说明的是,该实施例中所描述的数据库系统可包括分布式数据库和普通数据库。
作为一种可能的情况,安装(设置)在电子设备中的应用程序也可基于本身的设定自动创建相应的读取数据请求,并将该读取数据请求发送至相关的数据库系统(即,安装(设置)在电子设备中的数据库系统),数据库系统接收到该读取数据请求后,可响应于该读取数据请求。应说明的是,上述的数据读取装置600可配置于安装(设置)在电子设备的数据库系统中。
获取模块620,用于响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件可包括写入版本号和事务信息。
在本公开实施例中,获取模块620可通过相关API实时检测读写冲突事件是否被读取数据请求触发,以使得获取模块620在检测到读写冲突事件被触发时,能够及时响应于该读写冲突事件。
具体地,获取模块620可通过相关的API实时检测读写冲突事,并在确定检测到该读写冲突事件被读取数据请求触发时,响应于检测到该读写冲突事件,获取当前的数据写入文件。
需要说明的是,该实施例中所描述的数据写入文件可为intent结构文件,其中,该数据写入文件中还可包括待写入的数据内容。另外,该实施例中所描述的事务信息可包括事务状态,其中,该事务状态可为数据写入进行中、数据已写入或数据写入异常等。其中,该数据写入文件可为读取数据地址对应的数据写入文件。
调整模块630,用于响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整。应说明的是,该实施例中所描述的版本调整条件可根据实际情况进行标定。
在本公开实施例中,调整模块630可基于预设的调整策略并根据请求版本号对写入版本号进行调整,其中,预设的调整策略可根据实际情况进行标定。
具体地,在获取模块620获取到当前的数据写入文件之后,可通过数据库系统对该数据写入文件进行解析,以获取该数据写入文件中的写入版本号和事务信息,然后可根据该请求版本号、写入版本号和事务信息,判断上述读取数据请求是否满足版本调整条件,若是,调整模块630则可基于预设的调整策略并根据该请求版本号对该写入版本号进行相应的调整,例如,将该请求版本号进行版本后延,例如,在该请求版本号的基础上加上一定的数值(例如,1、2、3和4等),并可将其结果作为最新的写入版本号,以实现对写入版本号的调整。
读取模块640,用于根据读取数据地址和调整后的写入版本号进行数据读取。
在本公开实施例中,读取模块640可通过地址解析工具(例如,插件)对读取数据地址进行解析,以获取数据的存储位置,并根据该存储位置和调整后的写入版本号进行数据读取。
需要说明的是,该实施例中所描述的地址解析工具可预先存储在电子设备的存储空间中,以便于调出使用。其中,该存储空间不仅限于基于实体的存储空间,例如,硬盘,上述存储空间还可以是连接电子设备的服务器的存储空间(云存储空间)。
具体地,在调整模块630完成对上述写入版本号的调整之后,读取模块640可从电子设备的储存空间中调用地址解析工具对读取数据地址进行解析,以获取数据的存储位置,并读取该存储位置存储的小于调整后写入版本号的最新写入版本号所对应的数据。
作为一种可能的情况,上述的地址解析工具还可以预装在数据库系统中,以在需要时可直接通过该数据库系统进行使用。
在本公开实施例中,通过接收模块接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址,并通过获取模块响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息,以及通过调整模块响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,而后通过调整模块根据读取数据地址和调整后的写入版本号进行数据读取,从而能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,进而提升数据库系统的可用性和可靠性。
在本公开的一个实施例中,数据写入文件还包括写入数据地址,该数据读取装置600还可包括:第一确定模块650,用于若写入数据地址和读取数据地址相同,则确定读取数据请求触发读写冲突事件。
在本公开的一个实施例中,该数据读取装置600还可包括第二确定模块660,其中,第二确定模块660具体:若请求版本号小于写入版本号,则确定读取数据请求未满足版本调整条件;若请求版本号大于或等于写入版本号,则对事务信息进行解析以获取事务状态;若事务状态为目标状态,则确定读取数据请求满足版本调整条件,其中,目标状态包括数据写入进行中;若事务状态不为目标状态,则确定读取数据请求未满足版本调整条件。
在本公开的一个实施例中,第二确定模块660,还可用于:若请求版本号小于写入版本号,则根据请求版本号和读取数据地址进行数据读取。
在本公开的一个实施例中,调整模块630,具体用于:获取调整值;根据请求版本号和调整值对写入版本号进行调整。
在本公开的一个实施例中,读取模块640,具体用于:根据调整后的写入版本号确定目标读取版本号;根据读取数据地址确定目标数据存储位置;读取目标数据存储位置存储的与目标读取版本号对应的数据。
需要说明的是,前述对数据读取方法实施例的解释说明也适用于该实施例的数据读取装置,此处不再赘述。
本公开实施例的数据读取装置,通过接收模块接收读取数据请求,其中,读取数据请求包括请求版本号和读取数据地址,并通过获取模块响应于读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,数据写入文件包括写入版本号和事务信息,以及通过调整模块响应于根据请求版本号、写入版本号和事务信息,确定读取数据请求满足版本调整条件,根据请求版本号对写入版本号进行调整,而后通过调整模块根据读取数据地址和调整后的写入版本号进行数据读取。由此,能够在保证事务快照隔离级别的前提下,快速处理读写冲突,避免阻塞,从而提升数据库系统的可用性和可靠性。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如数据读取方法。例如,在一些实施例中,数据读取方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的数据读取方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据读取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (14)
1.一种数据读取方法,包括:
接收读取数据请求,其中,所述读取数据请求包括请求版本号和读取数据地址;
响应于所述读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,所述数据写入文件包括写入版本号和事务信息;
响应于根据所述请求版本号、所述写入版本号和所述事务信息,确定所述读取数据请求满足版本调整条件,根据所述请求版本号对所述写入版本号进行调整;以及
根据所述读取数据地址和调整后的写入版本号进行数据读取;所述确定所述读取数据请求满足版本调整条件,包括:若所述请求版本号大于或等于所述写入版本号,则对所述事务信息进行解析以获取事务状态;
若所述事务状态为目标状态,则确定所述读取数据请求满足所述版本调整条件,其中,所述目标状态包括数据写入进行中。
2.根据权利要求1所述的方法,其中,所述数据写入文件还包括写入数据地址,所述方法还包括:
若所述写入数据地址和所述读取数据地址相同,则确定所述读取数据请求触发所述读写冲突事件。
3.根据权利要求1所述的方法,还包括:
若所述请求版本号小于所述写入版本号,则确定所述读取数据请求未满足所述版本调整条件;
若所述事务状态不为所述目标状态,则确定所述读取数据请求未满足所述版本调整条件。
4.根据权利要求3所述的方法,还包括:
若所述请求版本号小于所述写入版本号,则根据所述请求版本号和所述读取数据地址进行数据读取。
5.根据权利要求1所述的方法,其中,所述响应于根据所述请求版本号、所述写入版本号和所述事务信息,确定所述读取数据请求满足版本调整条件,根据所述请求版本号对所述写入版本号进行调整,包括:
获取调整值;
根据所述请求版本号和所述调整值对所述写入版本号进行调整。
6.根据权利要求1所述的方法,其中,所述根据所述读取数据地址和调整后的写入版本号进行数据读取,包括:
根据所述调整后的写入版本号确定目标读取版本号;
根据所述读取数据地址确定目标数据存储位置;
读取所述目标数据存储位置存储的与所述目标读取版本号对应的数据。
7.一种数据读取装置,包括:
接收模块,用于接收读取数据请求,其中,所述读取数据请求包括请求版本号和读取数据地址;
获取模块,用于响应于所述读取数据请求触发读写冲突事件,获取当前的数据写入文件,其中,所述数据写入文件包括写入版本号和事务信息;
调整模块,用于响应于根据所述请求版本号、所述写入版本号和所述事务信息,确定所述读取数据请求满足版本调整条件,根据所述请求版本号对所述写入版本号进行调整;以及
读取模块,用于根据所述读取数据地址和调整后的写入版本号进行数据读取;
第二确定模块:用于若所述请求版本号大于或等于所述写入版本号,则对所述事务信息进行解析以获取事务状态;
若所述事务状态为目标状态,则确定所述读取数据请求满足所述版本调整条件,其中,所述目标状态包括数据写入进行中。
8.根据权利要求7所述的装置,其中,所述数据写入文件还包括写入数据地址,所述装置还包括:
第一确定模块,用于若所述写入数据地址和所述读取数据地址相同,则确定所述读取数据请求触发所述读写冲突事件。
9.根据权利要求7所述的装置,还包括:
第二确定模块,用于:
若所述请求版本号小于所述写入版本号,则确定所述读取数据请求未满足所述版本调整条件;
若所述事务状态不为所述目标状态,则确定所述读取数据请求未满足所述版本调整条件。
10.根据权利要求9所述的装置,所述第二确定模块,还用于:
若所述请求版本号小于所述写入版本号,则根据所述请求版本号和所述读取数据地址进行数据读取。
11.根据权利要求7所述的装置,其中,所述调整模块,具体用于:
获取调整值;
根据所述请求版本号和所述调整值对所述写入版本号进行调整。
12.根据权利要求7所述的装置,其中,所述读取模块,具体用于:
根据所述调整后的写入版本号确定目标读取版本号;
根据所述读取数据地址确定目标数据存储位置;
读取所述目标数据存储位置存储的与所述目标读取版本号对应的数据。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的数据读取方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的数据读取方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111124033.3A CN113867634B (zh) | 2021-09-24 | 2021-09-24 | 数据读取方法、装置、电子设备及存储介质 |
US17/933,191 US20230012881A1 (en) | 2021-09-24 | 2022-09-19 | Method and apparatus for reading data, electronic device and storage medium |
EP22197097.3A EP4141689A1 (en) | 2021-09-24 | 2022-09-22 | Method and apparatus for reading data, electronic device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111124033.3A CN113867634B (zh) | 2021-09-24 | 2021-09-24 | 数据读取方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113867634A CN113867634A (zh) | 2021-12-31 |
CN113867634B true CN113867634B (zh) | 2022-09-23 |
Family
ID=78994136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111124033.3A Active CN113867634B (zh) | 2021-09-24 | 2021-09-24 | 数据读取方法、装置、电子设备及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230012881A1 (zh) |
EP (1) | EP4141689A1 (zh) |
CN (1) | CN113867634B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7434010B2 (en) * | 2006-08-04 | 2008-10-07 | Microsoft Corporation | Combined pessimistic and optimisitic concurrency control |
CN104077078B (zh) * | 2013-03-26 | 2017-07-07 | 华为技术有限公司 | 读存储区、更新存储区的方法及装置 |
US10983981B1 (en) * | 2014-12-03 | 2021-04-20 | Amazon Technologies, Inc. | Acid transaction for distributed, versioned key-value databases |
US10331657B1 (en) * | 2015-09-28 | 2019-06-25 | Amazon Technologies, Inc. | Contention analysis for journal-based databases |
CN108234641B (zh) * | 2017-12-29 | 2021-01-29 | 北京奇元科技有限公司 | 基于分布式一致性协议实现的数据读写方法及装置 |
CN110807046B (zh) * | 2019-10-31 | 2022-06-07 | 浪潮云信息技术股份公司 | 一种新型分布式newsql数据库智能事务优化方法 |
CN111259071B (zh) * | 2020-01-04 | 2022-08-05 | 浙江科技学院 | 一种分布式数据库系统中的并发访问控制方法 |
-
2021
- 2021-09-24 CN CN202111124033.3A patent/CN113867634B/zh active Active
-
2022
- 2022-09-19 US US17/933,191 patent/US20230012881A1/en active Pending
- 2022-09-22 EP EP22197097.3A patent/EP4141689A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN113867634A (zh) | 2021-12-31 |
EP4141689A1 (en) | 2023-03-01 |
US20230012881A1 (en) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113360580B (zh) | 基于知识图谱的异常事件检测方法、装置、设备及介质 | |
CN112527281B (zh) | 基于人工智能的算子升级方法、装置、电子设备及介质 | |
CN114417780B (zh) | 状态同步方法、装置、电子设备及存储介质 | |
CN117474091A (zh) | 一种知识图谱构建方法、装置、设备及存储介质 | |
US20230144949A1 (en) | Virtual-machine cold migration method and apparatus, electronic device and storage medium | |
CN114743586B (zh) | 存储器模型的镜像存储实现方法、装置及存储介质 | |
CN113867634B (zh) | 数据读取方法、装置、电子设备及存储介质 | |
EP4246365A1 (en) | Webpage identification method and apparatus, electronic device, and medium | |
US20220129418A1 (en) | Method for determining blood relationship of data, electronic device and storage medium | |
CN113596011B (zh) | 流量识别方法及装置,计算设备和介质 | |
CN114492364A (zh) | 相同漏洞的判断方法、装置、设备和存储介质 | |
CN115333858B (zh) | 登录页面破解方法、装置、设备以及存储介质 | |
CN113239296B (zh) | 小程序的展示方法、装置、设备和介质 | |
CN113961405B (zh) | 状态切换指令验证方法、装置、电子设备及存储介质 | |
US11772681B2 (en) | Method and apparatus for processing autonomous driving simulation data, and electronic device | |
EP4199456A1 (en) | Traffic classification method and apparatus, training method and apparatus, device and medium | |
CN116245109A (zh) | 文本处理方法、装置及电子设备 | |
CN113553407A (zh) | 事件追溯方法、装置、电子设备及存储介质 | |
CN115146201A (zh) | 页面时间作弊筛选方法及装置、电子设备和介质 | |
CN113641639A (zh) | 日志上报方法、装置、电子设备及存储介质 | |
CN114492793A (zh) | 一种模型训练和样本生成方法、装置、设备及存储介质 | |
CN114706793A (zh) | 网页的测试方法、装置、电子设备和介质 | |
CN114399333A (zh) | 媒介信息的投放效果检测方法、装置、设备及存储介质 | |
CN115344859A (zh) | 计算机入侵行为检测模型的训练方法、检测方法 | |
CN113221034A (zh) | 数据泛化方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |