CN110471900A - 数据处理方法及终端设备 - Google Patents

数据处理方法及终端设备 Download PDF

Info

Publication number
CN110471900A
CN110471900A CN201910618415.8A CN201910618415A CN110471900A CN 110471900 A CN110471900 A CN 110471900A CN 201910618415 A CN201910618415 A CN 201910618415A CN 110471900 A CN110471900 A CN 110471900A
Authority
CN
China
Prior art keywords
data
storage
pending
identification
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910618415.8A
Other languages
English (en)
Inventor
杨冬振
吴中飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910618415.8A priority Critical patent/CN110471900A/zh
Priority to PCT/CN2019/117186 priority patent/WO2021003921A1/zh
Publication of CN110471900A publication Critical patent/CN110471900A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于计算机应用技术领域,提供了一种数据处理方法、终端设备及计算机可读存储介质,包括:通过根据终端设备发送的数据请求信息计算待处理数据的存储等级,并根据存储等级确定待处理数据的存储深度,根据存储深度在确定待处理数据在存储介质中的存储位置,最后通过待处理数据的数据标识在该存储位置中进行查找,以将待处理数据发送至终端设备,通过数据请求信息中的属性信息计算待处理数据的存储等级,并根据预先设定的存储等级与存储深度的对应关系确定存储深度,从而可快速搜寻到待处理数据的存储位置,提高了检索、获取数据的效率,体现了数据管理的科学性和规律性。

Description

数据处理方法及终端设备
技术领域
本发明属于计算机应用技术领域,尤其涉及一种数据处理方法、终端设备及计算机可读存储介质。
背景技术
近年来,随着互联网、物联网、社交网络、云计算等信息技术的发展,网络空间中的数据资源正以前所未有的速度不断地增长和积累,世界已经进入了网络化的大数据时代.大数据指在可容忍的时间内用常用软硬件工具无法对其进行有效感知、获取、管理、处理和服务的数据集合。
现有技术中通过构建数据库的方式来处理小数量下的信息检索和处理,当用户数据较多的情况下,我们需要按照用户数据的数据标识对用户数据进行处理,但是,这种方式在数据量较大、数据种类较多的情况下,没有办法保证数据检索和获取的效率,数据处理的效率较低。
发明内容
有鉴于此,本发明实施例提供了一种数据处理方法、终端设备及计算机可读存储介质,以解决现有技术中在数据量较大、数据种类较多的情况下,进行数据检索和数据提取的效率较低,进而降低数据处理效率的问题。
本发明实施例的第一方面提供了一种数据处理方法,包括:
获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
本发明实施例的第二方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
本发明实施例的第三方面提供了一种终端设备,包括:
获取单元,用于获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
计算单元,用于根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
提取单元,用于根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本发明实施例与现有技术相比存在的有益效果是:
本发明实施例通过获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。本申请可通过数据请求信息中的属性信息计算待处理数据的存储等级,并根据预先设定的存储等级与存储深度的对应关系确定存储深度,从而可快速搜寻到待处理数据的存储位置,提高了检索、获取数据的效率,体现了数据管理的科学性和规律性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的页面缺陷管理方法的流程图;
图2是本发明实施例二提供的页面缺陷管理方法的流程图;
图3是本发明实施例三提供的终端设备的示意图;
图4是本发明实施例四提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
参见图1,图1是本发明实施例一提供的数据处理方法的流程图。本实施例中数据处理方法的执行主体为数据处理设备。数据处理设备包括但不限于智能手机、平板电脑、可穿戴设备等移动终端,还可以是服务器、台式电脑等。如图所示的数据处理方法可以包括以下步骤:
S101:获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息。
在大数据环境下,对数据进行存储和处理时,为了能够实现动态添加树型节点,必须有数据存储层作为树型结构的数据基础。目前比较通用的数据存储形式主要有两种:可扩展标记语言(eXtensible Markup Language,XML)文件形式以及数据库形式。XML技术为将现有数据转换成适于计算机网络和万维网的形式提供了便捷的展现手段。但是对于数据的存取,处理XML不像使用关系型数据库那样简单,必须采用文档对象模型(DocumentObject Model,DOM)解析和文本转换来完成数据的查询、插入、修改等操作,尤其当数据量过大时,DOM对数据操作是相当费时而且开销是不可接受的。
我们通过将数据量较大的数据预先存储起来,在终端设备需要处理某些数据的时候,获取终端设备发送的数据请求信息,以通过数据请求信息调取对应的数据并将这些数据发送至终端设备。本实施例的数据请求信息中包括待处理数据的数据标识和属性信息,其中数据标识可以包括数据名称、数据编号等信息,属性信息中可以包括数据类型、数据量大小、数据需求时间等信息,此处不做限定。
S102:根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置。
在获取到数据请求信息之后,我们根据数据请求信息中的属性信息计算待处理数据的存储等级,并根据存储等级确定待处理数据的存储深度,以确定待处理数据在存储介质中的层级位置。
具体的,本实施例中的属性信息可以包括数据类型、使用频率以及数据量,其中数据类型用于表示数据的类型,例如图像、文本或者视频等数据类型;使用频率用于表示数据在单位时间段之内被调用的次数,例如在一个月或者一天之内该数据被调用或者查询的次数;数据量用于表示该数据或者数据包在存储介质中的存储空间占用量,同时也可以用数据量来衡量一个数据的获取、传输所需要消耗的时间。
本实施例中可以通过数据类型、使用频率以及数据量来计算待处理数据的存储等级,我们可以将存储等级设定为一级到十级,此处对存储等级的等级数量不做限定。不同的存储等级所对应的数据的属性不同,存储等级越高则表示该存储等级对应的数据的优先级越高,即,该数据的使用频率越高,或者数据量越大等,通过将使用频率较高、数据量较大的数据存储至存储等级较高的存储位置,可以保证数据在被查找、获取或者调用过程中的效率,以提高数据的处理效率。
具体的存储等级的计算方式可以是基于使用频率系数和数据量系数,将使用频率和数据量相加,即使用频率系数乘以使用频率,再加上数据量系数乘以数据量,最后得到的和为存储系数,再根据预设的存储等级阈值区间,确定该系数所落入的存储等级。
本实施例中还预设有每个存储深度对应的存储深度,我们可以根据存储介质中从磁盘读取数据的顺序,将存储介质的存储空间划分为三个存储深度,分别为浅层、中层以及深层,每个存储深度中可以存储至少一个存储等级的数据。示例性的,在本实施例中可以在浅层中存储一级存储等级到三级存储等级的数据,在中层存储四级存储等级到六级存储等级的数据,在深层存储七级存储等级到十级存储等级的数据。进一步的,由于每个存储深度中包括了不同存储等级的数据,我们还可以根据存储等级的高低来排列处理在一个存储深度中的数据,以保证不同存储数据的对应处理,使数据可以基于有序的存储来进行调用。
S103:根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
本实施例中的每个存储深度在存储介质中都有其对应的存储位置,我们可以通过存储深度来确定待处理数据的存储位置,即在存储介质的磁盘中的哪个存储区,再直接在该存储区中,通过数据标识进行查找,提取待处理数据,并将待处理数据发送至终端设备。
可选的,关系型数据库对表的管理效率要比DOM高得多、操作起来简单易行,更为重要的是,关系型数据库能够更好地反映和组织数据之间的关系,更适用于大数据量层次结构分明的应用情况,因此,本实施例数据存取层选用关系型数据库实现数据的存储和调用。
上述方案,通过获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。通过根据终端设备发送的数据请求信息确定每个数据标识对应的数据的存储深度,最后根据存储深度在确定待处理数据在存储介质中的存储位置,并通过待处理数据的数据标识在该存储位置中进行查找,以将待处理数据发送至终端设备,通过根据属性信息直接缩小待处理数据的查找范围,从而可快速搜寻到待处理数据的存储位置,提高了检索、获取数据的效率,体现了数据管理的科学性和规律性。
参见图2,图2是本发明实施例二提供的数据处理方法的流程图。本实施例中数据处理方法的执行主体为数据处理设备。数据处理设备包括但不限于智能手机、平板电脑、可穿戴设备等移动终端,还可以是服务器、台式电脑等。如图所示的数据处理方法可以包括以下步骤:
S201:获取待存储数据的属性信息和数据标识;所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量。
本实施例中在从存储介质中调取数据之前,需要先将待处理数据存储至存储介质中。在存储数据时,我们先获取待存储数据的属性信息和数据标识,本实施例中的属性信息可以包括待存储数据的数据类型、使用频率以及数据量,其中,数据类型用于表示待存储数据的类型,例如图像、文本或者视频等数据类型;使用频率用于表示待存储数据在单位时间段之内估计会被调用的次数,例如在一个月或者一天之内该数据被调用或者查询的次数;数据量用于表示待存储数据或者数据包在存储介质中的存储空间占用量,同时也可以用数据量来衡量一个数据的获取、传输所需要消耗的时间。
S202:根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级。
在获取到待存储数据的属性信息之后,我们根据属性信息中的数据类型、使用频率以及数据量,计算待存储数据的存储等级。
在计算存储等级之前,我们可以预先设定不同数据类型对应的数据权重以及预计使用频率,使用频率用于表示该数据标识对应的数据在一天内的使用次数,数据占用的存储空间用于表示当前待存储数据的大小。通过以下公式来计算待存储数据的数据等级系数;其中,Type用于表示数据类型、Fre用于表示使用频率、Str用于表示存储空间大小,α用于表示等级参数。
有上述公式可得,不同的存储等级所对应的数据的属性不同,存储等级系数越高则表示该存储等级对应的数据的优先级越高,即,该数据的使用频率越高,或者数据量越大等,通过将使用频率较高、数据量较大的数据存储至存储等级较高的存储位置,可以保证数据在被查找、获取或者调用过程中的效率,以提高数据的处理效率。
在计算得到数据等级系数之后,我们根据预设的等级区间,确定计算处的数据等级系数落在哪个等级区间,则待处理数据对应于该数据等级。
S203:根据所述存储等级确定所述待存储数据在存储介质中的存储深度。
本实施例中的存储深度用于表示在存储介质中的磁盘区域,按照磁盘区域读取的速度,我们可以将存储介质分为浅层存储区域、中层存储区域以及深层存储区域,每个存储深度中可以存储至少一个存储等级的数据。
示例性的,在本实施例中可以在浅层中存储一级存储等级到三级存储等级的数据,在中层存储四级存储等级到六级存储等级的数据,在深层存储七级存储等级到十级存储等级的数据。进一步的,由于每个存储深度中包括了不同存储等级的数据,我们还可以根据存储等级的高低来排列处理在一个存储深度中的数据,以保证不同存储数据的对应处理,使数据可以基于有序的存储来进行调用。
S204:根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置;所述数据检索树为预设的数据存储树形结构,所述数据存储树形结构中包括不同存储深度的存储位置,所述存储位置用于存储不同等级的数据。
本实施例中预设有数据检索树,数据检索树中的每个层都存储有对应存储等级的数据,因此我们根据计算得到的存储等级,将待存储数据存储至预设的数据检索树中。
本实施例中的数据检索树中的每个数据存储层可以存储一个存储深度中所包括的数据等级对应的数据,也可以存储多个数据等级对应的数据,取决于数据存储层数和数据等级的多少,可以通过人为设定的方式实现,此处不做限定。我们根据获取到的数据请求信息中的数据标识,以及我们预设的该数据标识所对应的数据存储深度,便可以确定每个数据标识对应的存储深度,以直接针对该存储深度在数据检索树中查询和调用该数据标识对应的数据。
示例性地,在构建数据检索树时,我们根据存储深度中的浅层存储深度、中层存储深度以及深层存储深度,可以将数据检索树设置为具有三层结构的树形结构,其中三层由高到低分别对应的是存储深度中的浅层存储深度、中层存储深度以及深层存储深度。再进一步的,本实施例中的每个存储深度中可能包括不同存储等级的数据,因此,我们还可以细分,将数据检索树中每一层的数据再划分成不同的数据等级,需要说明的是,我们可以根据待存储数据的数据标识将其作为数据检索树中的每个节点的节点名称,以在数据检索时可以非常精确的确定待处理数据的存储位置。
进一步的,步骤S204之后还可以包括:获取管理终端发送的数据迁移通知;所述数据迁移通知中包括迁移数据的数据标识和迁移地址;根据所述迁移数据的数据标识确定所述迁移数据的存储位置,根据所述存储位置提取所述迁移数据,并删除所述存储位置处的所述迁移数据;将所述迁移数据存储至所述迁移地址对应的存储位置。
具体的,在将待存储数据存储至存储介质之后,在实际应用中,管理终端可能会随时对已存储的数据进行修改、变更或者迁移,在这种情况下,我们通过获取管理终端发送的数据迁移通知,来确定待迁移的数据。本实施例中的数据迁移通知包括迁移数据的数据标识和迁移地址。其中数据标识用于提取出待迁移数据,迁移地址用于确定将迁移数据最终迁移到的存储位置。在获取到数据标识之后,我们根据数据标识确定迁移数据在存储介质中的存储位置,并根据存储位置提取出迁移数据,之后删除存储在该存储位置处的迁移数据,并将迁移数据存储至迁移地址对应的存储位置。
需要说明的是,本实施例中的迁移地址用于表示一个存储数据的地址,其为地址标识、编号等,此处不做限定。与迁移地址对应的,本实施例中的存储位置用于表示该迁移地址对应在存储介质中的存储位置或者磁盘位置等,此处不做限定。
S205:获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息。
在本实施例中S205与图1对应的实施例中S101的实现方式完全相同,具体可参考图1对应的实施例中的S101的相关描述,在此不再赘述。
S206:根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置。
在获取到终端设备发送的数据请求信息之后,我们根据数据请求信息中的属性信息计算待处理数据的数据等级,并根据数据等级确定待处理数据的存储深度。
进一步的,很多情况下,终端设备在获取待处理数据进行数据处理时,往往需要同时获取并处理至少两种数据,本实施例中通过数据标识来区别多种数据下的数据。若数据请求信息中的数据标识存在至少两个,则根据每个数据标识对应的属性信息,计算每个数据标识对应的待处理数据的存储等级,其计算存储等级的方法与步骤S202中的方法相同,此处不做详细说明。在计算得到存储等级之后,我们根据每个数据标识对应的存储等级,确定每个数据标识对应的待处理数据的存储深度。
S207:根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
在确定待处理数据的存储深度之后,根据存储深度确定待处理数据的存储位置,并根据数据标识从存储介质中的存储位置处提取待处理数据,以将待处理数据发送至终端设备。
与步骤S206对应的,若数据请求信息中的数据标识存在至少两个,则根据每个数据标识对应的存储深度,确定每个数据标识对应的待处理数据的存储位置;根据每个数据标识,按照存储深度由高到低的顺序,从每个数据标识对应的待处理数据的存储位置处,提取每个待处理数据。将所有待处理数据发送至终端设备。
进一步的,当数据请求信息中的数据标识存在至少两个的情况下,我们需要将所有数据标识对应的数据都从存储介质中提取出来并发送至终端设备。面对多数据的数据,我们可以将存储深度较高的数据标识对应的数据发送至终端设备,通过异步调取数据的方式,提升终端设备获取数据的效率。
在接收到数据请求通知之后,通过异步查询和调用的方式,先将存储深度较高的数据标识对应的数据发送至终端设备,再逐步查询和调用其他数据,保证了调用时延较大的存储数据可以及时被使用终端接收到,当渲染大数据量时不至于使页面卡顿或出现页面奔溃的现象,提高用户使用体验。
进一步的,终端设备在接收到数据请求信息对应的数据之后,可以将接收到的信息存储,同时,还可以对存储的数据进行增、删、改、查以及导出等操作,以在下一次需要使用的时候,直接从自己的存储空间中获取,而节省了向服务器请求数据的步骤,提高了数据使用效率。
上述方案,通过获取待存储数据的属性信息和数据标识;根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级;根据所述存储等级确定所述待存储数据在存储介质中的存储深度;根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置;获取终端设备发送的数据请求信息;根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。通过预先根据待存储数据的不同情况将各个待存储数据存储至存储介质中对应的存储深度,并在终端设备发送的数据请求信息确定每个数据标识对应的数据的存储深度,最后根据存储深度在确定待处理数据在存储介质中的存储位置,通过待处理数据的数据标识在该存储位置中调用数据,以将待处理数据发送至终端设备,通过根据属性信息直接缩小待处理数据的查找范围,根据异步调取数据的方式将存储深度较高的数据标识对应的数据发送至终端设备,提升终端设备获取数据的效率。
参见图3,图3是本发明实施例三提供的一种终端设备的示意图。终端设备包括的各单元用于执行图1~图2对应的实施例中的各步骤。具体请参阅图1~图2各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。本实施例的终端设备300包括:
获取单元301,用于获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
计算单元302,用于根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
提取单元303,用于根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
进一步的,所述计算单元302可以包括:
第一计算单元,用于若所述数据请求信息中的数据标识存在至少两个,则根据每个所述数据标识对应的属性信息,计算每个所述数据标识对应的待处理数据的存储等级;
第二计算单元,用于根据每个所述数据标识对应的存储等级,确定每个所述数据标识对应的待处理数据的存储深度;
进一步的,所述提取单元可以包括:
位置确定单元,用于根据每个所述数据标识对应的所述存储深度,确定每个所述数据标识对应的待处理数据的存储位置;
数据提取单元,用于根据每个所述数据标识,按照所述存储深度由高到低的顺序,从每个所述数据标识对应的待处理数据的存储位置处,提取每个所述待处理数据;
数据发送单元,用于将所有所述待处理数据发送至所述终端设备。
进一步的,所述终端设备还可以包括:
标识获取单元,用于获取待存储数据的属性信息和数据标识;所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量;
等级确定单元,用于根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级;
深度确定单元,用于根据所述存储等级确定所述待存储数据在存储介质中的存储深度;
数据存储单元,用于根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置;所述数据检索树为预设的数据存储树形结构,所述数据存储树形结构中包括不同存储深度的存储位置,所述存储位置用于存储不同等级的数据。
进一步的,所述第一计算单元可以具体用于:
通过以下公式计算所述待存储数据的所述存储等级:
其中,Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量,α用于表示预设的等级参数。
进一步的,所述终端设备还可以包括:
迁移通知单元,用于获取管理终端发送的数据迁移通知;所述数据迁移通知中包括迁移数据的数据标识和迁移地址;
数据迁移单元,用于根据所述迁移数据的数据标识确定所述迁移数据的存储位置,根据所述存储位置提取所述迁移数据,并删除所述存储位置处的所述迁移数据;
迁移存储单元,用于将所述迁移数据存储至所述迁移地址对应的存储位置。
上述方案,通过获取待存储数据的属性信息和数据标识;根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级;根据所述存储等级确定所述待存储数据在存储介质中的存储深度;根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置;获取终端设备发送的数据请求信息;根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。通过预先根据待存储数据的不同情况将各个待存储数据存储至存储介质中对应的存储深度,并在终端设备发送的数据请求信息确定每个数据标识对应的数据的存储深度,最后根据存储深度在确定待处理数据在存储介质中的存储位置,通过待处理数据的数据标识在该存储位置中调用数据,以将待处理数据发送至终端设备,通过根据属性信息直接缩小待处理数据的查找范围,根据异步调取数据的方式将存储深度较高的数据标识对应的数据发送至终端设备,提升终端设备获取数据的效率。
图4是本发明实施例四提供的终端设备的示意图。如图4所示,该实施例的终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个数据处理方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示单元301至303的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的示例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card,FC)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
2.如权利要求1所述的数据处理方法,其特征在于,
所述根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度,包括:
若所述数据请求信息中的数据标识存在至少两个,则根据每个所述数据标识对应的属性信息,计算每个所述数据标识对应的待处理数据的存储等级;
根据每个所述数据标识对应的存储等级,确定每个所述数据标识对应的待处理数据的存储深度;
所述根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备,包括:
根据每个所述数据标识对应的所述存储深度,确定每个所述数据标识对应的待处理数据的存储位置;
根据每个所述数据标识,按照所述存储深度由高到低的顺序,从每个所述数据标识对应的待处理数据的存储位置处,提取每个所述待处理数据;
将所有所述待处理数据发送至所述终端设备。
3.如权利要求1所述的数据处理方法,其特征在于,所述获取终端设备发送的数据请求信息之前,还包括:
获取待存储数据的属性信息和数据标识;所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量;
根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级;
根据所述存储等级确定所述待存储数据在存储介质中的存储深度;
根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置;所述数据检索树为预设的数据存储树形结构,所述数据存储树形结构中包括不同存储深度的存储位置,所述存储位置用于存储不同等级的数据。
4.如权利要求3所述的数据处理方法,其特征在于,所述根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级,包括:
通过以下公式计算所述待存储数据的所述存储等级:
其中,Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量,α用于表示预设的等级参数。
5.如权利要求3所述的数据处理方法,其特征在于,所述根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置之后,还包括:
获取管理终端发送的数据迁移通知;所述数据迁移通知中包括迁移数据的数据标识和迁移地址;
根据所述迁移数据的数据标识确定所述迁移数据的存储位置,根据所述存储位置提取所述迁移数据,并删除所述存储位置处的所述迁移数据;
将所述迁移数据存储至所述迁移地址对应的存储位置。
6.一种终端设备,其特征在于,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如下步骤:
获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
7.如权利要求6所述的终端设备,其特征在于,所述根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度,包括:
若所述数据请求信息中的数据标识存在至少两个,则根据每个所述数据标识对应的属性信息,计算每个所述数据标识对应的待处理数据的存储等级;
根据每个所述数据标识对应的存储等级,确定每个所述数据标识对应的待处理数据的存储深度;
所述根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备,包括:
根据每个所述数据标识对应的所述存储深度,确定每个所述数据标识对应的待处理数据的存储位置;
根据每个所述数据标识,按照所述存储深度由高到低的顺序,从每个所述数据标识对应的待处理数据的存储位置处,提取每个所述待处理数据;
将所有所述待处理数据发送至所述终端设备。
8.如权利要求6所述的终端设备,其特征在于,所述获取终端设备发送的数据请求信息之前,还包括:
获取待存储数据的属性信息和数据标识;所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量;
根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量,确定所述待存储数据的存储等级;
根据所述存储等级确定所述待存储数据在存储介质中的存储深度;
根据预设的数据检索树,将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置;所述数据检索树为预设的数据存储树形结构,所述数据存储树形结构中包括不同存储深度的存储位置,所述存储位置用于存储不同等级的数据。
9.一种终端设备,其特征在于,包括:
获取单元,用于获取终端设备发送的数据请求信息;所述数据请求信息用于获取待处理数据;所述数据请求信息中包括所述待处理数据的数据标识和属性信息;
计算单元,用于根据所述属性信息计算所述待处理数据的存储等级,并根据所述存储等级确定所述待处理数据的存储深度;所述存储深度用于表示数据在存储介质中的层级位置;
提取单元,用于根据所述存储深度确定所述待处理数据的存储位置,并根据所述数据标识从所述存储位置处提取所述待处理数据,将所述待处理数据发送至所述终端设备。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910618415.8A 2019-07-10 2019-07-10 数据处理方法及终端设备 Pending CN110471900A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910618415.8A CN110471900A (zh) 2019-07-10 2019-07-10 数据处理方法及终端设备
PCT/CN2019/117186 WO2021003921A1 (zh) 2019-07-10 2019-11-11 数据处理方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910618415.8A CN110471900A (zh) 2019-07-10 2019-07-10 数据处理方法及终端设备

Publications (1)

Publication Number Publication Date
CN110471900A true CN110471900A (zh) 2019-11-19

Family

ID=68507532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910618415.8A Pending CN110471900A (zh) 2019-07-10 2019-07-10 数据处理方法及终端设备

Country Status (2)

Country Link
CN (1) CN110471900A (zh)
WO (1) WO2021003921A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990447A (zh) * 2019-12-19 2020-04-10 北京锐安科技有限公司 一种数据探查方法、装置、设备及存储介质
CN111858686A (zh) * 2020-07-08 2020-10-30 深圳市富途网络科技有限公司 数据显示方法、装置、终端设备及存储介质
CN112835530A (zh) * 2021-02-24 2021-05-25 珠海格力电器股份有限公司 延长存储器使用寿命的方法及空调
CN113885796A (zh) * 2021-09-23 2022-01-04 至誉科技(武汉)有限公司 固态硬盘的性能调控方法、装置、设备及可读存储介质
CN114938391A (zh) * 2022-06-09 2022-08-23 中国联合网络通信集团有限公司 数据处理方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966040A (zh) * 2021-03-29 2021-06-15 深圳市优必选科技股份有限公司 一种转换数据结构的方法、装置、终端以及存储介质
CN114444904A (zh) * 2022-01-12 2022-05-06 广东利元亨智能装备股份有限公司 自动匹配数据的方法、设备以及存储介质
CN117439854A (zh) * 2022-07-15 2024-01-23 中兴通讯股份有限公司 数据处理方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011143946A1 (zh) * 2011-01-24 2011-11-24 华为技术有限公司 一种cdn中边缘服务器的多级缓存管理方法与系统
US20120124159A1 (en) * 2009-07-22 2012-05-17 Nec Corporation Content delivery system, content delivery method and content delivery program
CN103150263A (zh) * 2012-12-13 2013-06-12 深圳先进技术研究院 分级存储方法
CN106355031A (zh) * 2016-09-21 2017-01-25 大连大学 基于层次分析法的数据价值度计算方法
CN106990924A (zh) * 2017-04-07 2017-07-28 广东浪潮大数据研究有限公司 一种数据迁移方法和系统
CN109542961A (zh) * 2018-10-19 2019-03-29 中国平安财产保险股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN109614347A (zh) * 2018-10-22 2019-04-12 中国平安人寿保险股份有限公司 多级缓存数据的处理方法、装置、存储介质及服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147711B (zh) * 2010-12-31 2014-04-02 华为数字技术(成都)有限公司 一种基于数据内容识别的存储方法及装置
CN109240946A (zh) * 2018-09-06 2019-01-18 平安科技(深圳)有限公司 数据的多级缓存方法及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124159A1 (en) * 2009-07-22 2012-05-17 Nec Corporation Content delivery system, content delivery method and content delivery program
WO2011143946A1 (zh) * 2011-01-24 2011-11-24 华为技术有限公司 一种cdn中边缘服务器的多级缓存管理方法与系统
CN103150263A (zh) * 2012-12-13 2013-06-12 深圳先进技术研究院 分级存储方法
CN106355031A (zh) * 2016-09-21 2017-01-25 大连大学 基于层次分析法的数据价值度计算方法
CN106990924A (zh) * 2017-04-07 2017-07-28 广东浪潮大数据研究有限公司 一种数据迁移方法和系统
CN109542961A (zh) * 2018-10-19 2019-03-29 中国平安财产保险股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN109614347A (zh) * 2018-10-22 2019-04-12 中国平安人寿保险股份有限公司 多级缓存数据的处理方法、装置、存储介质及服务器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990447A (zh) * 2019-12-19 2020-04-10 北京锐安科技有限公司 一种数据探查方法、装置、设备及存储介质
CN110990447B (zh) * 2019-12-19 2023-09-15 北京锐安科技有限公司 一种数据探查方法、装置、设备及存储介质
CN111858686A (zh) * 2020-07-08 2020-10-30 深圳市富途网络科技有限公司 数据显示方法、装置、终端设备及存储介质
US11978116B2 (en) 2020-07-08 2024-05-07 Shenzhen Futu Network Technology Co., Ltd. Data display method and apparatus, terminal device, and storage medium
CN112835530A (zh) * 2021-02-24 2021-05-25 珠海格力电器股份有限公司 延长存储器使用寿命的方法及空调
CN113885796A (zh) * 2021-09-23 2022-01-04 至誉科技(武汉)有限公司 固态硬盘的性能调控方法、装置、设备及可读存储介质
CN114938391A (zh) * 2022-06-09 2022-08-23 中国联合网络通信集团有限公司 数据处理方法、装置、设备及介质
CN114938391B (zh) * 2022-06-09 2024-01-12 中国联合网络通信集团有限公司 数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2021003921A1 (zh) 2021-01-14

Similar Documents

Publication Publication Date Title
CN110471900A (zh) 数据处理方法及终端设备
CN108874640B (zh) 一种集群性能的评估方法和装置
CN105893349B (zh) 类目标签匹配映射方法及装置
CN109614402B (zh) 多维数据查询方法和装置
US10068033B2 (en) Graph data query method and apparatus
CN108804576B (zh) 一种基于链接分析的域名层级结构探测方法
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN102609464A (zh) Mongodb分片联表查询方法及装置
Li et al. Aggregated multi-attribute query processing in edge computing for industrial IoT applications
CN109510869A (zh) 一种基于边缘计算的物联网服务动态卸载方法及装置
CN104063501B (zh) 基于hdfs的副本平衡方法
CN107612984B (zh) 一种基于互联网的大数据平台
CN106325756A (zh) 一种数据存储、数据计算方法和设备
CN111522968A (zh) 知识图谱融合方法及装置
CN110399096A (zh) 分布式文件系统元数据缓存重删的方法、装置以及设备
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN109656898A (zh) 基于节点度的分布式大规模复杂社团探测方法及装置
CN103856462A (zh) 一种会话的管理方法及系统
CN109299041A (zh) 一种图片缓存清理方法及终端设备
CN107943423A (zh) 云系统中存储资源的管理方法和计算机可读存储介质
CN112783887A (zh) 一种基于数据仓库的数据处理方法及装置
CN109726219A (zh) 数据查询的方法及终端设备
CN113626426B (zh) 一种生态网格数据的采集传输方法及系统
CN110119396A (zh) 数据管理方法及相关产品
CN114003775A (zh) 图数据处理、查询方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination