CN114372064B

CN114372064B - 数据处理装置、方法、计算机可读介质及处理器

Info

Publication number: CN114372064B
Application number: CN202210281853.1A
Authority: CN
Inventors: 陈实; 赵增义; 张益军; 王金明
Original assignee: Feihu Information Technology Tianjin Co Ltd
Current assignee: Feihu Information Technology Tianjin Co Ltd
Priority date: 2022-03-22
Filing date: 2022-03-22
Publication date: 2022-07-12
Anticipated expiration: 2042-03-22
Also published as: CN114372064A

Abstract

本发明公开了一种数据处理装置、方法、计算机可读介质及处理器，数据处理装置可以设置有第一获得单元、第一更新单元和RediSearch模块；第一获得单元用于当存储在关系型数据库中的基础元数据出现数据更新时，获得关于基础元数据的数据变更消息；基础元数据中包括至少一种类型信息的数据；第一更新单元用于基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；RediSearch模块用于当监测到目标元数据出现数据更新时，对与目标元数据相对应的目标二级索引进行相应的数据更新；目标二级索引是RediSearch模块基于Redis数据库中的目标元数据创建的。本发明可以实现对二级索引中索引数据的有效更新。

Description

数据处理装置、方法、计算机可读介质及处理器

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理装置、方法、计算机可读介质及处理器。

背景技术

随着计算机科学与技术的发展，索引技术不断提高。

其中，索引技术可以包括一级索引和二级索引。一级索引即为主键索引，在创建一级索引后，可以通过查找主键的方式，在数据表中查找出相应的数据记录。而二级索引相对于一级索引，可以具有支持多字段检索、快速检索和高吞吐量等特点。需要说明的是，当数据表中的数据发生更新时，现有技术需要根据数据的更新来对索引中的索引数据进行更新。

但是，现有技术无法有效的对二级索引中的索引数据进行更新。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数据处理装置、方法、计算机可读介质及处理器，技术方案如下：

一种数据处理装置，所述数据处理装置包括：第一获得单元、第一更新单元和运行在Redis上的RediSearch模块；其中：

所述第一获得单元，用于当存储在关系型数据库中的基础元数据出现数据更新时，获得关于所述基础元数据的数据变更消息；其中，所述基础元数据中包括至少一种类型信息的数据，所述数据变更消息中记录有所述基础元数据中至少一种类型信息的数据变更内容；

所述第一更新单元，用于基于所述数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；所述目标元数据与所述基础元数据相对应；

所述RediSearch模块，用于当监测到所述目标元数据出现数据更新时，对与所述目标元数据相对应的目标二级索引进行相应的数据更新；其中，所述目标二级索引是所述RediSearch模块基于所述Redis数据库中的所述目标元数据创建的。

可选的，所述数据处理装置还包括封装单元；

所述封装单元，用于在获得请求方发送的数据查询指令时，对所述数据查询指令进行封装，获得适用于所述RediSearch模块的索引指令，并发送至所述RediSearch模块；

所述RediSearch模块，还用于根据所述索引指令，在所述目标二级索引中查找相应的目标索引数据，并根据查找到的所述目标索引数据，在所述Redis数据库中查找出目标数据，将查找到的所述目标数据返回至所述请求方。

可选的，所述数据处理装置还包括：定时补偿单元；

所述定时补偿单元，用于周期性验证所述基础元数据在预设历史时长内的数据更新内容是否已成功更新到所述目标元数据中，若否，则触发所述第一获得单元，以将所述基础元数据在所述预设历史时长内的数据更新内容更新到所述目标元数据中。

可选的，所述第一获得单元，用于当所述基础元数据的维护方对所述关系型数据库中的所述基础元数据进行数据更新时，获得所述数据变更消息。

一种数据处理方法，所述数据处理方法应用于数据处理装置，所述数据处理装置包括：第一获得单元、第一更新单元和运行在Redis上的RediSearch模块；所述数据处理方法包括：

当存储在关系型数据库中的基础元数据出现数据更新时，所述第一获得单元获得关于所述基础元数据的数据变更消息；其中，所述基础元数据中包括至少一种类型信息的数据，所述数据变更消息中记录有所述基础元数据中至少一种类型信息的数据变更内容；

所述第一更新单元基于所述数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；所述目标元数据与所述基础元数据相对应；

当监测到所述目标元数据出现数据更新时，所述RediSearch模块对与所述目标元数据相对应的目标二级索引进行相应的数据更新；其中，所述目标二级索引是所述RediSearch模块基于所述Redis数据库中的所述目标元数据创建的。

可选的，所述数据处理装置还包括封装单元；所述数据处理方法还包括：

所述封装单元在获得请求方发送的数据查询指令时，对所述数据查询指令进行封装，获得适用于所述RediSearch模块的索引指令，并发送至所述RediSearch模块；

所述RediSearch模块根据所述索引指令，在所述目标二级索引中查找相应的目标索引数据，并根据查找到的所述目标索引数据，在所述Redis数据库中查找出目标数据，将查找到的所述目标数据返回至所述请求方。

可选的，所述数据处理装置还包括：定时补偿单元；所述数据处理方法还包括：

所述定时补偿单元周期性验证所述基础元数据在预设历史时长内的数据更新内容是否已成功更新到所述目标元数据中，若否，则触发所述第一获得单元，以将所述基础元数据在所述预设历史时长内的数据更新内容更新到所述目标元数据中。

可选的，所述当存储在关系型数据库中的基础元数据出现数据更新时，所述第一获得单元获得关于所述基础元数据的数据变更消息，包括：

当所述基础元数据的维护方对所述关系型数据库中的所述基础元数据进行数据更新时，所述第一获得单元获得所述数据变更消息。

一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述任一数据处理方法。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时实现上述任一数据处理方法。

一种电子设备，包括：

一个或多个处理器；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任一数据处理方法。

本实施例提出的数据处理装置、方法、计算机可读介质及处理器，数据处理装置可以设置有第一获得单元、第一更新单元和运行在Redis上的RediSearch模块；第一获得单元，用于当存储在关系型数据库中的基础元数据出现数据更新时，获得关于基础元数据的数据变更消息；其中，基础元数据中包括至少一种类型信息的数据，数据变更消息中记录有基础元数据中至少一种类型信息的数据变更内容；第一更新单元，用于基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；RediSearch模块，用于当监测到目标元数据出现数据更新时，对与目标元数据相对应的目标二级索引进行相应的数据更新；其中，目标二级索引是RediSearch模块基于Redis数据库中的目标元数据创建的。本发明可以实现对二级索引中索引数据的有效更新。

上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例提供的第一种数据处理装置的结构示意图；

图2示出了本发明实施例提供的基本资料表、专辑信息表和视频信息表之间的关系示意图；

图3示出了本发明实施例提供的一种数据处理方法的流程图；

图4示出了本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本实施例提出了第一种数据处理装置的结构示意图。该数据处理装置可以包括：第一获得单元101、第一更新单元102和运行在Redis上的RediSearch模块103；其中：

第一获得单元101，用于当存储在关系型数据库中的基础元数据出现数据更新时，获得关于基础元数据的数据变更消息；其中，基础元数据中包括至少一种类型信息的数据，数据变更消息中记录有基础元数据中至少一种类型信息的数据变更内容；

其中，基础元数据可以为存储在关系型数据库中、用于记录某种类型数据（如视频数据）的相关信息的元数据，比如视频元数据。需要说明的是，当基础元数据为视频元数据时，基础元数据可以包括有视频的基本资料信息、专辑信息和视频信息等信息。其中，基本资料信息中可以包括有基本资料id、资料名称、年份和标签等信息，专辑信息中可以包括专辑id、基本资料id、描述和是否片花等信息，视频信息中可以包括视频id、专辑id、视频名和视频描述等信息。

具体的，基础元数据可以包括同一类型的多个数据的相关信息。比如，当基础元数据为视频元数据时，基础元数据可以包括多个视频的基本资料信息、专辑信息和视频信息等信息。

其中，数据变更消息可以为记录有基础元数据中一种或多种类型信息的数据变更内容的消息。比如，当基础元数据为视频元数据时，如果某个视频的当前更新集数发生更改，则数据变更消息可以包括该视频更新集数的数据变更内容；如果关系型数据库中新增某个视频的数据记录，则数据变更消息可以包括新增的该视频的基本资料信息、专辑信息和视频信息等多个类型的信息。

需要说明的是，基础元数据可以存储在关系型数据库的数据表中。其中，本发明对于关系型数据库的具体数据库类型不作限定，具体的，关系型数据库中的基础元数据可以是由技术人员通过输入相关数据记录来进行创建的。

具体的，第一获得单元101可以在存储在关系型数据库的数据表中的数据记录发生内容变更时，接收到用于记录数据记录变更内容的数据变更消息。比如，当基础元数据为视频元数据时，第一获得单元101可以在数据表中视频的数据记录的内容发生变更时，获得用于记录视频的数据记录变更内容的数据变更消息。

可选的，在本实施例提出的其他数据处理装置中，第一获得单元101，用于当基础元数据的维护方对关系型数据库中的基础元数据进行数据更新时，获得数据变更消息。

具体的，数据处理装置可以对基础元数据的数据变更消息进行订阅，当基础元数据的数据维护方在关系型数据库中对基础元数据进行数据内容的更新时，数据处理装置可以接收到关系型数据库或者关系型数据库所在的电子设备发送的数据变更消息。此时，本发明可以提高获得数据变更消息的及时性和可靠性，从而提高进行索引更新效率和索引更新的可靠性。

第一更新单元102，用于基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；

需要说明的是，Redis数据库可以为非关系型数据库。

其中，目标元数据可以为存储在Redis数据库中、与基础元数据的数据内容相对应的元数据。可选的，目标元数据与基础元数据中保存的数据内容可以是相同的，但数据结构可以是不同的；可选的，本发明可以对基础元数据中的数据内容进行精简，删除其中的某些无用字段，再按照基础元数据的当前数据内容在Redis数据库中创建出相应的目标元数据。

具体的，本发明可以将关系型数据库中保存的基础元数据转换为hash数据结构的数据，并保存在Redis数据库中，以创建Redis数据库中的目标元数据。

具体的，第一更新单元102可以在第一获得单元101获得基础元数据的数据变更消息后，获得第一获得单元101发送的数据变更消息，并基于数据变更消息，对Redis数据库中保存的目标元数据进行数据更新。

具体的，第一更新单元102可以按照基础元数据的数据变更消息，对Redis数据库的目标元数据中相应类型信息的数据进行同步更新。比如，当基础元数据为视频元数据，数据变更消息中包括有某个视频当前更新集数的数据变更内容时，第一更新单元102可以按照该数据变更内容，在Redis数据库中对该视频的当前更新集数进行相应更新。

RediSearch模块103，用于当监测到目标元数据出现数据更新时，对与目标元数据相对应的目标二级索引进行相应的数据更新；其中，目标二级索引是RediSearch模块103基于Redis数据库中的目标元数据创建的。

其中，目标二级索引可以是RediSearch模块103根据存储在Redis数据库中的目标元数据，生成的二级索引。

其中，RediSearch模块103可以为一个Redis模块。具体的，RediSearch可以为一个基于Redis的实时二级索引引擎，一个具有高性能的全文搜索引擎，可以作为一个Redis模块运行在Redis上。需要说明的是，本发明在Redis上安装RediSearch模块103的过程中，可以先行下载源码，之后切换到指定目录中进行编译，如果Redis未启动，则可以在Redis服务启动的时候指定加载RediSearch模块103，如果Redis已启动，则可以过Redis-cli客户端连接Redis服务，之后执行命令，动态加载RediSearch模块103。

具体的，RediSearch模块103可以根据Redis数据库的目标元数据中各类型信息之间的关联关系，创建二级索引引擎。比如，如图2所示，当基础元数据为视频元数据，基础元数据中可以包括基本资料表、专辑信息表和视频信息表，每张信息表中均可以包括相应类型的多条数据记录，其中，基本资料表与专辑信息表中的数据记录可以通过基本资料id进行关联，专辑信息表与视频信息表中的数据记录可以通过专辑id进行关联，此时，Redis数据库中目标元数据的hash数据结构可以为{“基本资料id”:”基本资料id值”,”专辑id”:”专辑id值”,”视频id”:”视频id值”;”视频名称”:”视频名称”;……}，此时，RediSearch模块103基于上述Redis目标元数据即可实现基于三张信息表中基本资料id、专辑id与视频id之间的对应关系，创建目标二级索引，在该目标二级索引中，一个基本资料id可以对应多个专辑id，一个专辑id可以对应多个视频id，即一条基本资料可以对应多条专辑信息，一条专辑信息可以对应多条视频信息。

可选的，RediSearch模块103在创建目标二级索引后，可以在监测到Redis数据库中目标元数据发生数据更新时，即根据目标元数据的数据更新对目标二级索引进行相应的数据更新，以实现对目标二级索引的实时更新。

可选的，RediSearch模块103可以对Redis数据库的目标元数据中的各类型信息的内容进行监测，对目标元数据的数据更新内容进行监测，确定当目标元数据出现数据更新时，是否影响目标二级索引而需要对目标二级索引进行同步更新。

具体的，RediSearch模块103如果在确定目标元数据的数据更新内容影响到目标二级索引而需要对目标二级索引进行更新，则可以对目标二级索引进行更新；如果在确定目标元数据的数据更新内容未影响到目标二级索引而无需对目标二级索引进行更新，则可以禁止对目标二级索引进行更新，以避免无谓资源的消耗。比如，当目标元数据为视频元数据，目标二级索引中包括基本资料id、专辑id与视频id的对应关系时，如果目标元数据的数据更新内容中有涉及对基本资料id、专辑id或视频id的修改时，RediSearch模块103需要对目标二级索引进行相应更新，如果目标元数据的数据更新内容中仅包括基本资料信息中的年份修改内容和专辑信息中的描述修改内容，则目标元数据则可以无需对目标二级索引进行更新。

可选的，在本实施例提出的其他数据处理装置中，数据处理装置还包括：定时补偿单元；

定时补偿单元，用于周期性验证基础元数据在预设历史时长内的数据更新内容是否已成功更新到目标元数据中，若否，则触发第一获得单元101，以将基础元数据在预设历史时长内的数据更新内容更新到目标元数据中。

具体的，定时补偿单元可以每隔一定时长，即验证是否已将基础元数据在近期一定时长内的数据更新内容更新到目标元数据中。比如，定时补偿单元可以在每天0点，确定前一天在关系型数据库中基础元数据的增量数据，并确定Redis数据库中的目标元数据是否成功按照该增量数据完成数据内容的更新。

具体的，当定时补偿单元验证成功时，可以确定基础元数据的数据更新内容已更新到目标元数据中；

具体的，当定时补偿单元在某次验证失败时，比如未按照基础元数据的数据更新内容对目标元数据进行数据更新，或在按照基础元数据的数据更新内容对目标元数据进行数据更新的过程中出现了错误甚至执行失败，定时补偿单元可以立即触发第一获得单元101，尝试获得基础元数据的数据变更消息，再次对目标元数据进行更新，直至成功完成对目标元数据的数据更新，以使得Redis数据库中目标元数据的数据内容可以与关系型数据库中基础元数据的数据内容相对应。

可以理解的是，本发明通过定时补偿单元的设置，可以进一步实现对Redis数据库中目标元数据的有效更新，防止未收到数据变更消息或操作失败等情况，提高数据更新的可靠性和准确性，从而提高对目标二级索引的数据更新的可靠性和准确性。

本实施例提出的数据处理装置，可以设置有第一获得单元101、第一更新单元102和运行在Redis上的RediSearch模块103；第一获得单元101，用于当存储在关系型数据库中的基础元数据出现数据更新时，获得关于基础元数据的数据变更消息；其中，基础元数据中包括至少一种类型信息的数据，数据变更消息中记录有基础元数据中至少一种类型信息的数据变更内容；第一更新单元102，用于基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；RediSearch模块103，用于当监测到目标元数据出现数据更新时，对与目标元数据相对应的目标二级索引进行相应的数据更新；其中，目标二级索引是RediSearch模块103基于Redis数据库中的目标元数据创建的。本发明可以实现对二级索引中索引数据的有效更新。

基于图1，本实施例提出第二种数据处理装置。该数据处理装置还可以包括封装单元；

封装单元，用于在获得请求方发送的数据查询指令时，对数据查询指令进行封装，获得适用于RediSearch模块103的索引指令，并发送至RediSearch模块103；

RediSearch模块103，还用于根据索引指令，在目标二级索引中查找相应的目标索引数据，并根据查找到的目标索引数据，在Redis数据库中查找出目标数据，将查找到的目标数据返回至请求方。

具体的，本发明可以在请求方需要进行索引时，接收到请求方发送的数据查询指令，之后，本发明可以对接收到的数据查询指令进行封装，获得适配于RediSearch模块103的索引指令。此时，RediSearch模块103可以接收到封装单元发送的索引指令，并可以在目标二级索引中进行数据查询。比如，当目标元数据为视频元数据，目标二级索引中包括基本资料id、专辑id和视频id的对应关系时，封装单元可以在请求方需要索引第一基本资料id和第一专辑id对应的视频id时，接收到请求方发送的携带有第一基本资料id和第一专辑id的数据查询指令，之后封装单元可以对数据查询指令进行封装，获得适配于RediSearch模块103的索引指令，并将索引指令发送至RediSearch模块103，触发RediSearch模块103在目标二级索引中进行查找，查找出与第一基本资料id和第一专辑id对应的视频id。

具体的，RediSearch模块103可以在目标二级索引中查找到与索引指令相对应的目标索引数据后，可以再基于目标索引数据，在Redis数据库中查找到相应的数据记录即目标数据，之后再向请求方返回已查找到的目标数据，以实现为请求方提供数据查询服务。

需要说明的是，当请求方查询数据间关系时，本发明可以通过封装单元、RediSearch模块103、已创建的目标二级索引和存储在Redis数据库中的数据，快速查询出指定数据间的关系。其中，本发明可以在接收到请求方发送的数据查询指令时，可以先行判断数据查询指令中的请求参数是否合法，如判断其是否包含指定属性的数据及正确的范围值；如果请求参数合法，则本发明可以根据请求的参数属性及请求的数据间关系类型，判定数据间关系对应的索引名称，之后通过封装单元，根据请求参数及其值构造满足RediSearch模块103的检索语句，之后发送检索命令到Redis数据库中执行检索，之后返回符合条件的结果。其中，目标二级索引的建立可以是本发明基于数据间关系及业务需求确认的，一般情况下，可与基于有外键关系的表之间的属性进行建立。

还需要说明的是，现有技术通过查询关系型数据库来查询数据的方式，耗时较高，而且本身数据库能够支持的每秒查询率（Query Per Second，QPS）并不高，不能满足大量用户的使用要求，导致业务发展受限。另，现有技术基于普通索引的方式构建缓存，Redis普通缓存，仅有一级结构，可以根据某个表的主键，查询出一级关系的另一张表的主键，但无法再查到该主键与其他表的关系，因此需要将一层关系保存为一种缓存，此时其需要维护的数据更多，造成Redis保存数据条数成倍级增长，且数据更新时涉及到需要更新的数据记录会更多、更复杂，查询效率更低，更耗时；而本发明可以通过建立和应用目标二级索引，为用户提供二级索引，支持多字段同时索引，解决基于传统关系型数据库查询数据关系的高耗时问题，减少缓存的占用，减少数据更新时涉及到的数据记录。比如，对于如图2所示的视频元数据，其包括有用于描述视频的基本资料信息、专辑信息表和视频信息，每种类型的信息均存在有一个相应的数据表，如表1所示的基本资料信息表、表2所示的专辑信息表和表3所示视频信息表。现有技术可以根据两两数据表间的主键关系建立不同的一级索引，如根据基本资料表中的基本资料id与专辑信息表中的专辑id间的关系，建立相应的一级索引，即建立如基本资料id1：{专辑id1，专辑id2}的数据结构，实现根据基本资料快速查询其包含的专辑id信息。而本发明可以根据三个表中的主键关系，即基本资料id、专辑id和视频id之间的关系建立一个二级索引，此时用户可以在二级索引中，根据基本资料id、专辑id和/或视频id来查找相应的视频。

表1 基本资料信息表

表2 专辑信息表

表3 视频信息表

另，现有技术所采用的elasticsearch二级索引方式，性能没有本发明的高。且如果数据如果已经存储为hash结构，且存在在Redis数据库中，则本发明可以直接安装Redisearch，建立目标二级索引，即可实现二级索引功能。而elasticsearch则需要建立es集群，然后将数据再存储到es中，效率较低。

本发明采用在Redis中安装RediSearch模块103实现二级索引，既解决了基于传统关系型数据库查询数据关系的高耗时，又解决了Redis普通缓存不支持多字段二级索引检索的问题。

具体的，在本实施例提出的其他数据处理装置中，当基础元数据为视频元数据时，可以包括下述过程：

1.新建索引：

FT.CREATE{index}

[ON {data_type}]

[PREFIX {count} {prefix} [{prefix} ..]

SCHEMA{identifier}[TEXT|NUMERIC|GEO|TAG] [CASESENSITIVE]

a）符号说明：

{}为变量；

[]为可选；

|为或者，可选其一；

b）参数说明：

index:将创建的索引名称；

data_type:当前支持的数据类型，本文中指HASH；

PREFIX{count}{prefix}：prefix为键的前缀匹配，通过设置prefix，声明哪些键参与当前索引（Redis是键值对存储的，此处的键即指Redis中的键），可添加多个prefix，count为prefix的数量，多个时，将prifix用空格分开。如果不填，默认为*(所有键)；

SCHEMA{identifier}{attribute type}{options...}：在SCHEMA关键字后边，声明哪些参数被索引；

{identifier}：在hash结构的数据中，指hash结构数据中的参数名；

[TEXT | NUMERIC | GEO | TAG]为Field Types，参数值类型；

TEXT：如参数名类型设置为此，则支持对参数值的全文检索；

NUMERIC：支持数字范围检索；

GEO：支持地理范围检索；

如：FT.CREATE video-relationship ON HASH PREFIX 1 video-relation:SCHEMA kissId TEXT albumId TEXT tvId TEXT isPianhua TEXT；

（kissId视频基本资料id，albumId专辑id，tvId视频id，isPianhua是否为片花（0：否，1：是））。

2.插入数据：

HSET {hash} {field} {value} [{field} {value} ...]；

a）符号说明：

{}为变量；

[]为可选；

b）参数说明：

hash：用于hash存储的关键键；

field：hash存储数据中的参数名；

value: hash存储数据中参数的值；

如hset video-relation:1_1_1 kissId 1 albumId 1 tvId 1 isPianhua 0；如果数据关系中的某一项不存在，则可置成一个默认值（该值即代表为可空）；

3.查询数据：

FT.SEARCH {index} {query} [LIMIT offset num]

a）符号说明：

{}为变量；

[]为可选；

b）参数说明：

index：索引名称，查询数据前，索引必须已被创建；

query：查询检索语句，必须符合查询语法；

LIMIT offset num:限制返回从偏移量offset开始的指定num数量的结果。offset从0开始。默认为0和10，意味着返回从第一条数据开始的10条结果。

c）通过albumId（值为：albumId）检索出所有的tvId；

FT.SEARCH video-relationship @albumId:1；

d）检索视频基本资料下正片专辑（视频基本资料id为1）；

FT.SEARCH video-relationship (@kissId:1)(@isPianhua:0)；

e）检索视频基本资料下片花专辑（视频基本资料id为1）；

FT.SEARCH video-relationship (@kissId:1)(@isPianhua:1)；

查询出来的结果为hset存储的数据结果。在符合的数据结果中，即可获取相关的需要的视频id、专辑id等。

本实施例提出的数据处理装置，可以提高对数据的每秒查询率，减少缓存占用，支持多字段索引，提高索引效率。

与图1所示装置相对应，如图3所示，本实施例提出了一种数据处理方法。该数据处理方法应用于数据处理装置，该数据处理装置包括：第一获得单元、第一更新单元和运行在Redis上的RediSearch模块；该数据处理方法可以包括以下步骤：

S101、当存储在关系型数据库中的基础元数据出现数据更新时，第一获得单元获得关于基础元数据的数据变更消息；其中，基础元数据中包括至少一种类型信息的数据，数据变更消息中记录有基础元数据中至少一种类型信息的数据变更内容；

S102、第一更新单元基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；

S103、当监测到目标元数据出现数据更新时，RediSearch模块对与目标元数据相对应的目标二级索引进行相应的数据更新；其中，目标二级索引是RediSearch模块基于Redis数据库中的目标元数据创建的。

需要说明的是，在本实施例中，步骤S101、S102和S103的具体处理过程及其带来的技术效果可分别参考图1中第一获得单元101、第一更新单元102和RediSearch模块103的相关说明，此处不再赘述。

可选的，数据处理装置还包括封装单元；数据处理方法还包括：

封装单元在获得请求方发送的数据查询指令时，对数据查询指令进行封装，获得适用于RediSearch模块的索引指令，并发送至RediSearch模块；

RediSearch模块根据索引指令，在目标二级索引中查找相应的目标索引数据，并根据查找到的目标索引数据，在Redis数据库中查找出目标数据，将查找到的目标数据返回至请求方。

可选的，数据处理装置还包括：定时补偿单元；数据处理方法还包括：

定时补偿单元周期性验证基础元数据在预设历史时长内的数据更新内容是否已成功更新到目标元数据中，若否，则触发第一获得单元，以将基础元数据在预设历史时长内的数据更新内容更新到目标元数据中。

可选的，当存储在关系型数据库中的基础元数据出现数据更新时，第一获得单元获得关于基础元数据的数据变更消息，包括：

当基础元数据的维护方对关系型数据库中的基础元数据进行数据更新时，第一获得单元获得数据变更消息。

本实施例提出的数据处理方法，当存储在关系型数据库中的基础元数据出现数据更新时，第一获得单元获得关于基础元数据的数据变更消息；其中，基础元数据中包括至少一种类型信息的数据，数据变更消息中记录有基础元数据中至少一种类型信息的数据变更内容；第一更新单元基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；当监测到目标元数据出现数据更新时，RediSearch模块对与目标元数据相对应的目标二级索引进行相应的数据更新；其中，目标二级索引是RediSearch模块基于Redis数据库中的目标元数据创建的。本发明可以实现对二级索引中索引数据的有效更新。

需要说明的是，在本实施例中，数据处理装置可以是芯片，组件或模块，数据处理装置可包括处理器和存储器，第一获得单元、第一更新单元和RediSearch模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中可以包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或多个，通过调整内核参数来进行数据处理。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

下面参考图4，其示出了适于用来实现本实施例的电子设备700的结构示意图。图4示出的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备700可以包括处理器701、存储器702、通信接口703、输入单元704、输出单元705和通信总线706。其中，处理器701和存储器702通过通信总线706彼此相连。通信接口703、输入单元704和输出单元705也连接至通信总线706。

其中，通信接口703可以为通信模块的接口，如GSM模块的接口。通信接口703可以用于获得其他设备发送的数据或指令。通信接口703还用于将数据或指令发送至其他设备。

在本发明实施例中，处理器701，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

可选的，存储器702可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据。

此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

处理器701可以调用存储器702中存储的程序，具体的，处理器701可以执行以上任一数据处理方法。

存储器702中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本发明实施例中，存储器702中至少存储有用于实现以下功能的程序：

第一获得单元，用于当存储在关系型数据库中的基础元数据出现数据更新时，获得关于基础元数据的数据变更消息；其中，基础元数据中包括至少一种类型信息的数据，数据变更消息中记录有基础元数据中至少一种类型信息的数据变更内容；第一更新单元，用于基于数据变更消息，对存储在Redis数据库中的目标元数据进行数据更新；目标元数据与基础元数据相对应；RediSearch模块，用于当监测到目标元数据出现数据更新时，对与目标元数据相对应的目标二级索引进行相应的数据更新；其中，目标二级索引是RediSearch模块基于Redis数据库中的目标元数据创建的。

可选的，电子设备700可以包括：一个或多个处理器；

当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任一数据处理方法。

当然，图4所示的电子设备700的结构并不构成对本发明实施例中电子设备的限定，在实际应用中电子设备可以包括比图4所示的更多或更少的部件，或者组合某些部件。

本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现以上任一数据处理方法。

本发明实施例提供了一种处理器，该处理器用于运行程序，其中，该程序运行时实现以上任一数据处理方法。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，使得数据处理设备实现以上任一数据处理方法。

其中，本发明的上述实施例提供的电子设备、处理器、计算机可读介质或计算机程序产品可以均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种数据处理装置，其特征在于，所述数据处理装置包括：第一获得单元、第一更新单元和运行在Redis上的RediSearch模块；其中：

2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置还包括封装单元；

3.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置还包括：定时补偿单元；

4.根据权利要求1所述的数据处理装置，其特征在于，所述第一获得单元，用于当所述基础元数据的维护方对所述关系型数据库中的所述基础元数据进行数据更新时，获得所述数据变更消息。

5.一种数据处理方法，其特征在于，所述数据处理方法应用于数据处理装置，所述数据处理装置包括：第一获得单元、第一更新单元和运行在Redis上的RediSearch模块；所述数据处理方法包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述数据处理装置还包括封装单元；所述数据处理方法还包括：

7.根据权利要求5所述的数据处理方法，其特征在于，所述数据处理装置还包括：定时补偿单元；所述数据处理方法还包括：

8.根据权利要求5所述的数据处理方法，其特征在于，所述当存储在关系型数据库中的基础元数据出现数据更新时，所述第一获得单元获得关于所述基础元数据的数据变更消息，包括：

9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求5-8中任一所述的数据处理方法。

10.一种处理器，所述处理器用于运行程序，其中，所述程序运行时实现如权利要求5-8中任一所述的数据处理方法。