CN112307222A

CN112307222A - 一种应用于5g富媒体消息的冷热分级分区列式存储技术

Info

Publication number: CN112307222A
Application number: CN202011263910.0A
Authority: CN
Inventors: 田树东
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-11-12
Filing date: 2020-11-12
Publication date: 2021-02-02

Abstract

本发明提供一种5G富媒体消息分类分级存储方法，能够节约磁盘存储空间，提高用户端加载和查询速度，定期清理超出生命期的数据。所述存储方法包括：参数信息、配置信息分类存储；媒体素材分类存储；用户交互数据分类存储；根据RCS富媒体消息生命周期分级存储不同属性信息；根据5G富媒体消息生命周期不同属性特点，定期转移、清理冗余数据、过期数据。

Description

一种应用于5G富媒体消息的冷热分级分区列式存储技术

技术领域

RCS(Rich Communications Suite)富媒体通信组件，也叫5G消息。

区别于传统消息类型，5G消息包括短视频、在线支付、互动应答、地理位置、钱包卡券服务等新消息类型。

背景技术

随着运营商5G网络逐渐成熟，5G富媒体消息的应用量也逐步增加。不同于传统短信、彩信的模式，5G消息的内容更丰富、消息活跃周期更长，需要更大的存储空间，更高效的查询效率。

目前通信增值服务商普遍采用一条消息一条记录的行存储模式，对于图片部分会拆分单独存储并索引。这种方式对于普通消息是够用的，但是对于5G富媒体消息，因为5G消息大小不一、类型多样，存储大量交互式场景则会造成存储空间浪费和查询效率下降。

发明内容

1、本发明鉴于上述问题而完成，目的是降低5G富媒体消息存储空间，提高查询检索效率，及时、高效、简洁地清理过期数据。

2、本方案根据5G消息类型、字段数量及类型、字段生命周期及使用频率分别采取分库分区、分字段、分级独立列式存储的模式。

2.1、分库分区：根据消息实体类型，将文本、语音、图像、短视频、位置数据、交易数据、文件、卡券分类存储、根据业务有效期分区存储。

2.2、分字段：5G消息的摘要部分分成独立的字段单独存储。

2.3、分级：短时完成流转的消息、当天完成流转的消息、三日内完成流转的消息、当月消息、六个月内的消息以及历史消息等都采取不同的分级存储管理策略，消息分级策略支持按照不同业务分别配置。

3、5G消息的字段随着时间增减变化，列式存储没有磁盘空间浪费。

不同类型、不同时段的消息体存储在不同的空间，便于灵活定时清理过期数据，提高磁盘空间利用率。

4、5G消息查询和检索有基于时间轴的特点，分区存储可以缩小查询范围，能大幅提高查询效率。

附图说明

图1是表示本发明的实施方式的系统的示意图

图2是表示本发明的实施方式的数据流转更新的流程图

图3是表示本发明的实施方式的5G消息体生命周期的阶段划分图

具体实施方式

下面，参照附图来说明本发明的实施方式。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

参照图1来说明本发明的实施方式的系统示意图。本发明的实施方式的系统包括5G富媒体消息的接收、存储、发送三个主流程。在图1中，仅图示了一个流程概要，但是在本发明的实施方式的系统中可以包括多个用户同时并发提交，5G消息平台接收分类存储，并下发到不同运营商的网关。其中，用户或用户平台提交消息，5G平台接收消息并给予响应。双方之间均能够发送和接收信息，同理5G消息平台和运营商网关之间也能够发送和接收信息，并且各个环节之间发送和接收信息是异步执行的，可以提供更强大的并发处理能力。

参照图1第二个过程，接收的5G消息和发送的5G消息都涉及存储和状态更新、参数更新、配置更新。具体地，各存储区内部数据分级示例如下表

参照图2本发明的实施方式的数据流转更新的流程图并结合上表，客户发送5G消息，平台接收时，立即记录完整报文，将消息各媒体部分分别存储于各分类区。根据流程图，进入发送环节，此时产生发送相关数据，例如发送时间、发送计费、客户扣费、通道扣费等数据，这批数据存储于发送存储区。根据流程图，进入接收状态环节，新增状态时间、状态值、失败重发、失败计费、客户退款、通道退款等信息，均存储于状态存储区。最终达到发送标准（例如发送成功或连续发送三次均状态失败等）后，5G消息平台给客户推送最终结果，同时在推送存储器记录推送时间、推送状态码、并清理前序环节的过期数据。

具体地，如平台收到影城售票系统发送给购票者的5G消息，内容包括购票电影的文字简介、海报图片、视频剪辑和影城位置路线导航信息，此时平台在接收存储区存储主被叫双方号码信息，将海报、视频片段、位置信息分类存入媒体区。

平台根据号码归属信息，生成消息指令，下发到对应运营商网关，将发送情况相关数据存入发送存储区。

在用户收到5G消息后，平台会接收到运营商网关反馈的接收状态，此时平台将接收情况数据存入接收存储区。

平台将用户接收状态推送给影城售票系统，并在推送存储区记录推送及响应情况。

用户在手机端点击菜单或以消息方式进行确认的数据，都记录在交互存储区。

随着时间轴的推移，5G消息逐步降级，从内存降至缓存降至磁盘最终压缩存储于历史数据区。

参照图3本发明的实施方式的5G消息体生命周期的阶段划分图，这个图例说明了5G富媒体消息在活跃阶段的特征，一阶段是接收阶段，二阶段是发送阶段，三阶段是推送阶段，在这三个阶段中，不断有新的属性和新的数据添加进来。同时有过期的数据被及时清理或更新。

经过这三个阶段后，5G消息参数配置数据和媒体数据都进入冻结阶段，将只涉及查询，不涉及更改。超过查询时效期的数据都会被标记为历史数据，根据预定的策略逐步进行清理。

Claims

1.一种应用于5G富媒体消息的冷热分级分区列式存储技术，包括：

根据5G消息类型、字段数量及类型、字段生命周期及使用频率分别采取分库分区、分字段、分级独立列式存储的模式。

2.分库分区：根据消息实体类型，将文本、语音、图像、短视频、位置数据、交易数据、文件、卡券分类存储、根据业务有效期分区存储。

3.分字段：5G消息的摘要部分分成独立的字段单独存储，字段之间有逻辑关系但无物理相关性。

4.分级：短时完成流转的消息、当天完成流转的消息、三日内完成流转的消息、当月消息、六个月内的消息以及历史消息等都采取不同的分级存储管理策略，消息分级策略支持按照不同业务分别配置。

5.5G消息的字段随着时间增减变化，列式存储没有磁盘空间浪费,

不同类型、不同时段的消息体存储在不同的空间，便于灵活定时清理过期数据，提高磁盘空间利用率；其特征在于，接收产生接收必须的字段、发送产生发送相关字段，状态阶段产生状态字段，推送时产生推送字段数据。

6.5G消息查询和检索有基于时间轴的特点，分区存储可以缩小查询范围，能大幅提高查询效率；其特征在于，用户查询频率最高的就是当天处理的富媒体消息，其次是三天之内处理完成的;当月5G消息的查询只涉及统计和分析，超过六个月的数据查询的需求急剧下降，可以归档压缩或定期清理。

7.如1所述的一种应用于5G富媒体消息的冷热分级分区列式存储技术，其特征在于，根据富媒体消息类型进行归类存储，根据字段属性产生时间归类存储，根据字段使用频率分类存储，根据字段生命周期自动清理过期失效数据。

8.如1所述的一种应用于5G富媒体消息的冷热分级分区列式存储技术，其特征在于，还包括2中的分库分区：系统有文本库、语音库、图像库、视频库、位置库、交易库、文件库、卡券库等分类存储库，根据业务消息有效期划分的当日热点库、三日活跃库、月结库、半年查询库、历史数据索引库。

9.如1所述的一种应用于5G富媒体消息的冷热分级分区列式存储技术，其特征在于，还包括3中的5G消息的摘要部分分成独立的字段单独存储，5G富媒体消息的每个参数、属性都是独立存储的、可以独立更新、独立删除;当一条消息的部分字段失效时，可以立即进行删除、更新，减少磁盘空间的浪费。

10.如1所述的一种应用于5G富媒体消息的冷热分级分区列式存储技术，其特征在于，还包括4中的分级：短时完成流转的消息、当天完成流转的消息、三日内完成流转的消息、当月消息、六个月内的消息以及历史消息等都采取不同的分级存储管理策略，消息分级策略支持按照不同业务分别配置，不同级别的消息存储在不同类型的缓存中，具有不同的查询响应速度和存储成本差别。