CN107273423A - 多媒体消息数据处理方法、装置和系统 - Google Patents

多媒体消息数据处理方法、装置和系统 Download PDF

Info

Publication number
CN107273423A
CN107273423A CN201710347013.XA CN201710347013A CN107273423A CN 107273423 A CN107273423 A CN 107273423A CN 201710347013 A CN201710347013 A CN 201710347013A CN 107273423 A CN107273423 A CN 107273423A
Authority
CN
China
Prior art keywords
multimedia message
chained list
data processing
medium data
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710347013.XA
Other languages
English (en)
Other versions
CN107273423B (zh
Inventor
徐云恒
熊胜
汤卫东
杨晶蕾
程幸生
聂志锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Hubei Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Hubei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Hubei Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201710347013.XA priority Critical patent/CN107273423B/zh
Publication of CN107273423A publication Critical patent/CN107273423A/zh
Application granted granted Critical
Publication of CN107273423B publication Critical patent/CN107273423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多媒体消息数据处理方法、装置和系统。该方法可以包括:创建记录有多个储存单元的标识的链表,多个存储单元存储有相同类型的多媒体消息,其中,标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。接收多媒体消息,根据接收的多媒体消息的类型选择按照该类型的多媒体消息的数量进行排列的链表。将接收的多媒体消息存储至选择的链表的链表首节点记录的标识对应的存储单元。本发明实施例的一种多媒体消息数据处理方法、装置和系统,能够在负载均衡的同时,在多媒体消息进行检索时避免I/O访问冲突。

Description

多媒体消息数据处理方法、装置和系统
技术领域
本发明属于信息处理技术领域,尤其涉及一种多媒体消息数据处理方法、装置和系统。
背景技术
随着多媒体消息数量迅猛增长,之前使用的普通关系型数据库已不再适应多媒体消息的存储与检索。现在技术中也存在许多成熟的技术和系统,例如:分布式文件系统,它能够对文件进行管理,解决了大容量存储和负载均衡问题,特别适合以文件为载体的在线服务。
一般的分布式文件系统包括:客户端、存储节点集群和跟踪器集群。可以采用两种负载均衡方法:一是跟踪器跟进客户端上传的多媒体数据文件进行所有存储服务器组轮询,二是跟踪器跟进客户端上传的多媒体数据文件选择剩余存储空间多的存储服务器组优先。但这两种方法都可能导致检索的一批多媒体消息在同一个存储服务器组里,造成I/O访问冲突,影响系统性能。
发明内容
本发明实施例提供了一种多媒体消息数据处理方法、装置和系统,能够在负载均衡的同时,在多媒体消息进行检索时避免I/O访问冲突。
第一方面,提供了多媒体消息数据处理方法,该方法可以包括:
创建记录有多个储存单元的标识的链表,多个存储单元存储有相同类型的多媒体消息,其中,标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。
接收多媒体消息,根据接收的多媒体消息的类型选择按照该类型的多媒体消息的数量进行排列的链表。
将接收的多媒体消息存储至选择的链表的链表首节点记录的标识对应的存储单元。
第二方面,提供了一种多媒体消息数据处理装置,该装置可以包括:第一创建单元、判断单元和处理单元。
该第一创建单元可以用于创建记录有多个储存单元的标识的链表,多个存储单元存储有相同类型的多媒体消息,其中,标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列;
该判断单元可以用于接收多媒体消息,根据接收的多媒体消息的类型选择按照该类型的多媒体消息的数量进行排列的链表;
该处理单元可以用于将接收的多媒体消息存储至选择的链表的链表首节点记录的标识对应的存储单元。
第三方面,提供了一种多媒体消息数据处理系统,可以包括存储器和处理器。该存储器可以用于储存有可执行程序代码。该处理器可以用于读取所述存储器中存储的可执行程序代码以执行上述的多媒体消息数据处理方法。
根据本发明实施例提供的多媒体消息数据处理方法、装置和系统,可以通过创建记录有多个储存单元的标识的链表,这里的标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。在接收到多媒体消息后,根据接收的多媒体消息的类型选择相应的链表,并再选择链表中存储此类型最少的存储单元存储该多媒体消息。能够避免一个存储单元中存储过多的相同类型的多媒体消息,进而在使分布式文件系统负载均衡的同时,避免在进行多媒体消息检索中的I/O访问冲突。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种实施例的多媒体消息数据处理方法的应用场景图;
图2是本发明的一种实施例的多媒体消息数据处理方法的示意性流程图;
图3是本发明的一种实施例的根据记录储存服务器组的标识的链表对多媒体数据进行存储的示意性示例图;
图4是本发明的另一种实施例的多媒体消息数据处理方法的示意性流程图;
图5是本发明的另一种实施例的多媒体消息数据处理方法的关系维护表的示意性结构图;
图6是本发明的又一种实施例的多媒体消息数据处理方法的示意性流程图;
图7是本发明的又一种实施例的多媒体消息数据处理方法的关系维护表的示意性结构图;
图8是本发明的一种实施例的多媒体消息数据处理装置的示意性结构框图;
图9是本发明的另一种实施例的多媒体消息数据处理装置的示意性结构框图;
图10是本发明的又一种实施例的多媒体消息数据处理装置的示意性结构框图;
图11是本发明的一种实施例的多媒体消息数据处理装置或多媒体消息数据处理系统的计算设备实现的示意性结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
在一些示例中,分布式文件系统在存储多媒体数据文件选择存储服务器组时,如图1所示,图1是本发明的一种实施例的多媒体消息数据处理方法的应用场景图。包括:客户端、存储节点集群和跟踪器集群。其中,存储节点集群包括3组存储服务器组,每个服务器组包括多台存储服务器。跟踪器集群包括多台跟踪器。可以采用两种负载均衡方法:一是跟踪器跟进客户端上传的多媒体数据文件进行所有存储服务器组轮询,二是跟踪器跟进客户端上传的多媒体数据文件选择剩余存储空间多的存储服务器组优先。但这两种方法都可能导致检索的一批多媒体消息在同一个存储服务器组里,造成I/O访问冲突,影响系统性能。
基于上述问题,本发明的实施例提出了一种多媒体消息数据处理方法。图2是本发明的一种实施例的多媒体消息数据处理方法的示意性流程图。如图2所示,该多媒体消息数据处理方法,还可以包括:
S210,创建记录有多个储存单元的标识的链表,多个存储单元存储有相同类型的多媒体消息,其中,标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。
在一些示例中,S210中的多媒体消息可以包括多种类型,例如,文本、音频、视频、图片等。
在一些示例中,S210中的多个储存单元的标识可以是储存单元的有标识作用的ID或储存单元的地址等信息。
在一些示例中,S210中的多个储存单元可以是多种存储单元,例如可以是能够存储多媒体消息的储存服务器或储存服务器组。
S220,接收多媒体消息,根据接收的多媒体消息的类型选择按照该类型的多媒体消息的数量进行排列的链表。
S230,将接收的多媒体消息存储至选择的链表的链表首节点记录的标识对应的存储单元。
在一些示例中,由于S210中,上述链表是按照多媒体消息的数量升序排列的,所以可以看出S230中的链表的链表首节点记录的标识对应的是存储有该类型多媒体消息最少的存储单元。
在一些示例中,如果S210中,上述链表是按照多媒体消息的数量降序排列的,那么S230中的链表的链表尾节点记录的标识对应的是存储有该类型多媒体消息最少的存储单元。这样的调整是本领域技术人员可以根据S210~S230合理推知的。
图3是本发明的一种实施例的根据记录储存服务器组的标识的链表对多媒体数据进行存储的示意性示例图。如图3所示,该多媒体消息数据处理方法可以使用了哈希表和有序链表相结合的数据结构,记录每一组存储服务器中每种类型的多媒体消息的数量。每种类型的记录储存服务器组的标识信息的链表按照计数的升序排列,这样进行多媒体消息文存储时,选择记录储存服务器组的标识信息的链表首节点的存储服务器组即可。
因此,根据本发明实施例提供的多媒体消息数据处理方法,可以通过创建记录有多个储存单元的标识的链表,这里的标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。在接收到多媒体消息后,根据接收的多媒体消息的类型选择相应的链表,并再选择链表中存储此类型最少的存储单元存储该多媒体消息。能够避免一个存储单元中存储过多的相同类型的多媒体消息,进而在使分布式文件系统负载均衡的同时,避免在进行多媒体消息检索中的I/O访问冲突。
在一些示例中,在非法信息监管中,需要对多媒体消息进行离线分析,一般会通过机器学习算法和人工审核方式等提炼出多媒体消息监控策略,然后将监控结果输出。但在多媒体消息存储时,由存储服务器生成并返回的文件ID与多媒体消息内容无关联,所以无法通过文件ID进行非发信息的监管。基于上述问题,本发明的实施例提出了一种多媒体消息数据处理方法。图4是本发明的另一种实施例的多媒体消息数据处理方法的示意性流程图。如图4所示。该多媒体消息数据处理方法可以包括:S410和S420。
在S410中,可以根据所述多媒体消息生成指示所述多媒体数据的存储地址的标识信息。
在一些示例中,S410中的多媒体数据的文件名可以是包含多媒体数据内容信息的多媒体数据的标签。
在一些示例中,S410中的指示多媒体数据的存储地址的标识信息可以是上述的ID信息。
在S420中,可以关联所述多媒体数据的文件名和所述多媒体数据的存储地址的标识信息,建立关系维护表。
在一些示例中,S420中的上述的ID信息和关联多媒体数据的文件名的关系维护表。例如,在所示关系维护表中,每个多媒体数据的文件名和ID具有一一对应的关系。
根据本发明实施例提供的多媒体消息数据处理方法,可以通过在接收包括多媒体数据和多媒体数据的文件名的多媒体消息,关联多媒体数据的文件名和多媒体数据的存储地址的标识信息,建立关系维护表,使得在分布式文件系统存储的多媒体消息数据可以通过原来有含义的文件名被鉴别与查找,为网络非法信息的监管提供便利条件。
在一些示例中,上述关系维护表可以是通过红黑树的方法构建生成的。
例如,分布式文件系统启动时将此关系维护表从数据库中读出加载到内存,然后实时更新。
由于,在海量多媒体数据存储时,在一些示例中,若只使用一个红黑树进行存储,当数据量达到一定规模时,增删查的速度会明显下降,所以在一些示例中,可以采用哈希表先将多媒体数据分组,每组使用一个红黑树存储的方法。图5是本发明的另一种实施例的多媒体消息数据处理方法的关系维护表的示意性结构图。如图5所示,该方法便于扩展,适用于与日剧增的多媒体数据的数据量变化。例如,树(Rbtree)的主键(key)可以是原文件名,值(value)可以文件名。
在一些示例中,分布式文件系统,例如,Fast分布式文件系统(FastDFS),这样的文件系统的特点是利于小文件存储,底层没有对文件进行分块存储,这样降低了系统的复杂性,更加简洁高效。在也会有大文件出现的可能性,这时分布式文件系统对于大文件的存储性能会降低。
基于上述问题,本发明的实施例提出了一种多媒体消息数据处理方法。图6是本发明的又一种实施例的多媒体消息数据处理方法的示意性流程图。如图6所示,该多媒体消息数据处理方法可以包括:
S610,多媒体消息中的多媒体数据大于预设值。
在一些示例中,可以设置一个预设值,并将多媒体消息中的对媒体数据与该预设值进行比较,当多媒体消息中的对媒体数据大于该预设值时,可以判定该多媒体数据为大文件,可以对其进行分割。
S620,对多媒体数据进行分割,并根据分割后的多媒体数据分别生成对应的存储地址的标识信息。
S630,基于分割顺序生成记录标识信息的链表。
图7是本发明的又一种实施例的多媒体消息数据处理方法的关系维护表的示意性结构图。如图7所示,文件1ID对于原文件名,文件1ID、文件2ID至文件nID分别对于分割后的多媒体数据文件。
在一些示例中,由于多媒体消息主要来自于实时通信软件,大部分都属于小文件类型,在对多媒体消息存储之前对其大小进行判断,如果是大文件,则对其进行分割存储。
在一些示例中,可以根据该预设值,将大文件分段读取,使用分布式文件系统提供的数据流写入接口进行文件上传,然后将原文件名和分布式文件系统存储服务器返回的分割文件ID进行存储。
在一些示例中,由于大文件多媒体消息数量有限,所以可以采用一个红黑树进行存储。例如,树(Rbtree)的主键(key)可以是原文件名,值(value)可以是记录分割后的文件标识信息的链表。
在一些示例中,上述分割后的文件的ID可以按分割顺序存储,便于后续文件合并。在一些示例中,在大文件多媒体消息下载时,可以使用原文件名遍历红黑树,找到对应的文件ID链表,按顺序读取链表,使用分布式文件系统提供的数据流读取接口获取分段文件,可以依上述顺序将分段文件合并后得到完整的原文件。
上文中结合图1至图7,详细描述了根据本发明实施例的多媒体消息数据处理方法,下面将结合图8至图11,详细描述根据本发明实施例的多媒体消息数据处理装置和多媒体消息数据处理系统。
图8是本发明的一种实施例的多媒体消息数据处理装置的示意性结构框图。如图8所示,该多媒体消息数据处理装置800可以包括:第一创建单元810、判断单元820和处理单元830。
第一创建单元810可以用于创建记录有多个储存单元的标识的链表,多个存储单元存储有相同类型的多媒体消息,其中,标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列;
判断单元820可以用于接收多媒体消息,根据接收的多媒体消息的类型选择按照该类型的多媒体消息的数量进行排列的链表;
处理单元830可以用于将接收的多媒体消息存储至选择的链表的链表首节点记录的标识对应的存储单元。
因此,根据本发明实施例提供的多媒体消息数据处理装置,可以通过创建记录有多个储存单元的标识的链表,这里的标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。在接收到多媒体消息后,根据接收的多媒体消息的类型选择相应的链表,并再选择链表中存储此类型最少的存储单元存储该多媒体消息。能够避免一个存储单元中存储过多的相同类型的多媒体消息,进而在使分布式文件系统负载均衡的同时,避免在进行多媒体消息检索中的I/O访问冲突。
根据本发明实施例的多媒体消息数据处理装置800可对应于根据本发明实施例的多媒体消息数据处理方法中的执行主体,并且多媒体消息数据处理装置800中的各个单页的上述操作和/或功能分别为了实现图1中的各个方法的相应流程,为了简洁,在此不再赘述。
图9是本发明的另一种实施例的多媒体消息数据处理装置的示意性结构框图。如图9所示,多媒体消息数据处理装置900可以包括:第一创建单元910、判断单元920、处理单元930和第二创建单元940。
其中,第一创建单元910、判断单元920、处理单元930和图8中的第一创建单元810、判断单元820和处理单元830的功能类似。
第二创建单元940可以用于:
根据多媒体消息生成指示多媒体数据的存储地址的标识信息。
关联多媒体数据的文件名和多媒体数据的存储地址的标识信息,建立关系维护表。
根据本发明实施例提供的多媒体消息数据处理装置900,可以通过在接收包括多媒体数据和多媒体数据的文件名的多媒体消息,关联多媒体数据的文件名和多媒体数据的存储地址的标识信息,建立关系维护表,使得在分布式文件系统存储的多媒体消息数据可以通过原来有含义的文件名被鉴别与查找,为网络非法信息的监管提供便利条件。
在一些示例中,该关系维护表可以是通过红黑树的方法构建生成的。
在一些示例中,该关系维护表可以是通过哈希表和红黑树的方法构建生成的。
图10是本发明的又一种实施例的多媒体消息数据处理装置的示意性结构框图。如图10所示,多媒体消息数据处理装置1000,可以包括:第一创建单元1010、判断单元1020、处理单元1030、第二创建单元1040和分割单元1050。
其中,第一创建单元1010、判断单元1020、处理单元1030和第二创建单元1040和图9中的第一创建单元910、判断单元920、处理单元930和第二创建单元940的功能类似。
分割单元1050,可以用于:
多媒体消息中的多媒体数据大于预设值。
对多媒体数据进行分割,并根据分割后的多媒体数据分别生成对应的存储地址的标识信息。
基于分割顺序生成记录标识信息的链表。
根据一些实施例,本发明的一种实施例提供一种多媒体消息数据处理系统,可以包括存储器和处理器。该存储器可以用于储存有可执行程序代码。该处理器可以用于读取存储器中存储的可执行程序代码以执行图2、图4和图6所示的多媒体消息数据处理方法。
根据本发明实施例提供的多媒体消息数据处理系统,可以通过在接收包括多媒体数据和多媒体数据的文件名的多媒体消息,关联多媒体数据的文件名和多媒体数据的存储地址的标识信息,建立关系维护表,使得在分布式文件系统存储的多媒体消息数据可以通过原来有含义的文件名被鉴别与查找,为网络非法信息的监管提供便利条件。
图11是本发明的一种实施例的多媒体消息数据处理装置或多媒体消息数据处理系统的计算设备实现的示意性结构框图。如图11所示,结合上述的多媒体消息数据处理方法和多媒体消息数据处理装置的至少一部分可以由包括输入设备1101、输入端口1102、处理器1103、存储器1104、输出端口1105、以及输出设备1106的计算设备1100实现。其中,输入端口1102、处理器1103、存储器1104、以及输出端口1105通过总线1110相互连接,输入设备1101和输出设备1106分别通过输入端口1102和输出端口1105与总线1110连接,进而与计算设备1100的其他组件连接。需要说明的是,这里的输出接口和输入接口也可以用I/O接口表示。具体地,输入设备1101接收来自外部的输入信息,并通过输入端口1102将输入信息传送到处理器1103;处理器1103基于存储器1104中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器1104中,然后通过输出端口1105将输出信息传送到输出设备1106;输出设备1106将输出信息输出到计算设备1100的外部。
上述存储器1104包括用于数据或指令的大容量存储器。举例来说而非限制,存储器1104可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器1104可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器1104可在计算设备1100的内部或外部。在特定实施例中,存储器1104是非易失性固态存储器。在特定实施例中,存储器1104包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
总线1110包括硬件、软件或两者,将计算设备1100的部件彼此耦接在一起。举例来说而非限制,总线1110可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线1110可包括一个或多个总线1110。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
当通过图11所示的计算设备1100实现结合图8描述的多媒体消息数据处理装置时,输入设备1101接收多媒体消息,在特定实施例中,与输出设备相连的I/O接口可以包括硬件、软件或两者,提供用于在计算设备1100与一个或多个I/O设备之间的通信的一个或多个接口。在合适的情况下,计算设备1100可包括一个或多个这些I/O设备。一个或多个这些I/O设备可允许人和计算机系统1100之间的通信。举例来说而非限制,I/O设备可包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态照相机、触针、手写板、触摸屏、轨迹球、视频摄像机、另一合适的I/O设备或者两个或更多个以上这些的组合。I/O设备可包括一个或多个传感器。本发明实施例考虑用于它们的任何合适的I/O设备和任何合适的I/O接口。在合适的情况下,I/O接口可包括一个或多个装置或能够允许处理器1103驱动一个或多个这些I/O设备的软件驱动器。在合适的情况下,I/O接口可包括一个或多个I/O接口。尽管本发明实施例描述和示出了特定的I/O接口,但本发明实施例考虑任何合适的I/O接口。该处理器1103基于存储器1104中存储的计算机可执行指令,创建记录有多个储存单元的标识的链表,多个存储单元存储有相同类型的多媒体消息,其中,标识在链表中按照每个存储单元中存储的相同类型的多媒体消息的数量升序排列。接收多媒体消息,根据接收的多媒体消息的类型选择按照该类型的多媒体消息的数量进行排列的链表。将接收的多媒体消息存储至选择的链表的链表首节点记录的标识对应的存储单元。随后在需要时经由输出端口1105和输出设备1106将根据上述储存的多媒体消息输出。
本发明实施例的目的还可以通过在任何计算设备上运行一个程序或者一组程序来实现。上述计算设备可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现上述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,上述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

Claims (11)

1.一种多媒体消息数据处理方法,适用于分布式文件系统,其特征在于,所述方法包括:
创建记录有多个储存单元的标识的链表,所述多个存储单元存储有相同类型的多媒体消息,其中,所述标识在所述链表中按照每个存储单元中存储的所述相同类型的多媒体消息的数量升序排列;
接收多媒体消息,根据接收的所述多媒体消息的类型选择按照所述类型的多媒体消息的数量进行排列的链表;
将接收的所述多媒体消息存储至选择的所述链表的链表首节点记录的标识对应的存储单元。
2.根据权利要求1所述的多媒体消息数据处理方法,其特征在于,所述多媒体消息包括多媒体数据和所述多媒体数据的文件名,所述将接收的所述多媒体消息存储至选择的所述链表的链表首节点记录的标识信息对应的存储单元之后,还包括;
根据所述多媒体消息生成指示所述多媒体数据的存储地址的标识信息;
关联所述多媒体数据的文件名和所述多媒体数据的存储地址的标识信息,建立关系维护表。
3.根据权利要求2所述的多媒体消息数据处理方法,其特征在于,所述关系维护表是通过红黑树的方法构建生成的。
4.根据权利要求2所述的多媒体消息数据处理方法,其特征在于,所述关系维护表是通过哈希表和红黑树的方法构建生成的。
5.根据权利要求2所述的多媒体消息数据处理方法,其特征在于,所述根据所述多媒体消息生成指示所述多媒体数据的存储地址的标识信息,包括:
所述多媒体消息中的多媒体数据大于预设值;
对所述多媒体数据进行分割,并根据分割后的多媒体数据分别生成对应的存储地址的标识信息;
所述根据所述多媒体消息生成指示所述多媒体数据的存储地址的标识信息之后,还包括:
基于分割顺序生成记录所述标识信息的链表。
6.一种多媒体消息数据处理装置,适用于分布式文件系统,其特征在于,所述装置包括:
第一创建单元,用于创建记录有多个储存单元的标识的链表,所述多个存储单元存储有相同类型的多媒体消息,其中,所述标识在所述链表中按照每个存储单元中存储的所述相同类型的多媒体消息的数量升序排列;
判断单元,用于接收多媒体消息,根据接收的所述多媒体消息的类型选择按照所述类型的多媒体消息的数量进行排列的链表;
处理单元,用于将接收的所述多媒体消息存储至选择的所述链表的链表首节点记录的标识对应的存储单元。
7.根据权利要求6所述的多媒体消息数据处理装置,其特征在于,所述装置还包括第二创建单元,用于;
根据所述多媒体消息生成指示所述多媒体数据的存储地址的标识信息;
关联所述多媒体数据的文件名和所述多媒体数据的存储地址的标识信息,建立关系维护表。
8.根据权利要求7所述的多媒体消息数据处理装置,其特征在于,所述关系维护表是通过红黑树的方法构建生成的。
9.根据权利要求7所述的多媒体消息数据处理装置,其特征在于,所述关系维护表是通过哈希表和红黑树的方法构建生成的。
10.根据权利要求7所述的多媒体消息数据处理装置,其特征在于,所述装置还包括分割单元,用于:
所述多媒体消息中的多媒体数据大于预设值;
对所述多媒体数据进行分割,并根据分割后的多媒体数据分别生成对应的存储地址的标识信息;
所述根据所述多媒体消息生成指示所述多媒体数据的存储地址的标识信息之后,还包括:
基于分割顺序生成记录所述标识信息的链表。
11.一种多媒体消息数据处理系统,其特征在于,包括存储器和处理器;
所述存储器用于储存有可执行程序代码;
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至5任一项所述的多媒体消息数据处理方法。
CN201710347013.XA 2017-05-15 2017-05-15 多媒体消息数据处理方法、装置和系统 Active CN107273423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710347013.XA CN107273423B (zh) 2017-05-15 2017-05-15 多媒体消息数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710347013.XA CN107273423B (zh) 2017-05-15 2017-05-15 多媒体消息数据处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN107273423A true CN107273423A (zh) 2017-10-20
CN107273423B CN107273423B (zh) 2019-04-12

Family

ID=60064012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710347013.XA Active CN107273423B (zh) 2017-05-15 2017-05-15 多媒体消息数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107273423B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582823A (zh) * 2018-11-21 2019-04-05 平安科技(深圳)有限公司 视频信息链式存储方法、装置、计算机设备及存储介质
CN117579617A (zh) * 2024-01-10 2024-02-20 深圳市众志天成科技有限公司 一种基于信息安全的数据传输方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537076A (zh) * 2014-12-31 2015-04-22 北京奇艺世纪科技有限公司 一种文件读写方法及装置
CN105045820A (zh) * 2015-06-25 2015-11-11 浙江立元通信技术股份有限公司 一种处理海量级数据的视频图像信息的方法及数据库系统
US9449018B1 (en) * 2013-11-25 2016-09-20 Google Inc. File operation task optimization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449018B1 (en) * 2013-11-25 2016-09-20 Google Inc. File operation task optimization
CN104537076A (zh) * 2014-12-31 2015-04-22 北京奇艺世纪科技有限公司 一种文件读写方法及装置
CN105045820A (zh) * 2015-06-25 2015-11-11 浙江立元通信技术股份有限公司 一种处理海量级数据的视频图像信息的方法及数据库系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝昱文等: "基于分布式环境的存储负载均衡算法研究", 《信息技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582823A (zh) * 2018-11-21 2019-04-05 平安科技(深圳)有限公司 视频信息链式存储方法、装置、计算机设备及存储介质
CN117579617A (zh) * 2024-01-10 2024-02-20 深圳市众志天成科技有限公司 一种基于信息安全的数据传输方法和装置
CN117579617B (zh) * 2024-01-10 2024-03-22 深圳市众志天成科技有限公司 一种基于信息安全的数据传输方法和装置

Also Published As

Publication number Publication date
CN107273423B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN110569298B (zh) 一种数据对接、可视化方法和系统
CN105187674B (zh) 服务录音的合规检查方法及装置
US8422786B2 (en) Analyzing documents using stored templates
CN104731896A (zh) 一种数据处理方法及系统
CN109241084B (zh) 数据的查询方法、终端设备及介质
CN110708285B (zh) 流量监控方法、装置、介质及电子设备
US10936283B2 (en) Buffer size optimization in a hierarchical structure
US20210286839A1 (en) File synchronization system
US11205138B2 (en) Model quality and related models using provenance data
CN110647318A (zh) 一种有状态应用的实例创建方法、装置、设备及介质
US11048475B2 (en) Multi-cycle key compares for keys and records of variable length
CN110647523B (zh) 数据质量的分析方法及装置、存储介质、电子设备
CN112769802A (zh) 基于服务端的访问校验方法、装置、电子设备及存储介质
US20190163443A1 (en) Hierarchical sort/merge structure using a request pipe
CN107273423B (zh) 多媒体消息数据处理方法、装置和系统
US11437038B2 (en) Recognition and restructuring of previously presented materials
CN112615909A (zh) 在级联存储服务器集群中存储数据的方法及相关设备
CN116702752A (zh) 文件数据处理方法、装置、设备及存储介质
US20190163785A1 (en) Method and system for providing domain-specific response to a user query
US8875136B2 (en) Methods of personalizing services via identification of common components
CN115809466B (zh) 基于stride模型的安全需求生成方法、装置、电子设备及介质
CN116049508A (zh) 测试要素信息生成方法、装置、设备及存储介质
CN114860172A (zh) 数据存储方法、装置、设备和存储介质
CN115827294A (zh) 一种组件故障检测的方法和装置
CN116629816A (zh) 基于大数据的人力资源管理和辅助决策系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant