CN108184170B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN108184170B
CN108184170B CN201711208118.3A CN201711208118A CN108184170B CN 108184170 B CN108184170 B CN 108184170B CN 201711208118 A CN201711208118 A CN 201711208118A CN 108184170 B CN108184170 B CN 108184170B
Authority
CN
China
Prior art keywords
data
data set
target
target data
source data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711208118.3A
Other languages
English (en)
Other versions
CN108184170A (zh
Inventor
吕晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201711208118.3A priority Critical patent/CN108184170B/zh
Publication of CN108184170A publication Critical patent/CN108184170A/zh
Application granted granted Critical
Publication of CN108184170B publication Critical patent/CN108184170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2351Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving encryption of additional data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理方法及装置,所述方法包括:当接收到客户端的数据获取请求时,将数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,将匹配到的目标数据集合返回给所述客户端;其中,预置的目标数据集合通过以下方式确定:获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;存储目标数据集合。本发明实施例缓解了服务器处理用户数据获取请求时数据库和服务器压力过大的现象,有效降低服务器的压力。

Description

一种数据处理方法及装置
技术领域
本发明涉及网络数据处理技术领域,特别是涉及一种数据处理方法及装置。
背景技术
随着互联网的发展,越来越多的用户在客户端的视频应用上观看视频,在视频的播放过程中,用户可以在自己感兴趣的某时间点,通过客户端上的按钮向服务器发出弹幕获取指令,获取该时间点对应的弹幕数据,或者通过客户端的输入栏输入新的评论内容,生成新的弹幕。
现有技术中,服务器接收到用户在客户端的弹幕获取指令后,依据该弹幕读取指令携带的视频标识、用户标识等,在数据库中获取该弹幕获取指令对应的原始弹幕数据,然后将该原始弹幕数据解析为客户端可以识别的目标弹幕数据,再将该目标弹幕数据发送给客户端,在客户端展示弹幕。
然而,本领域技术人员在研究上述技术方案的过程中发现,上述技术方案存在如下缺陷:对于客户端的任一弹幕获取指令,服务器都要从数据库中查找相应的弹幕数据、并将该弹幕获取指令对应的弹幕数据发送给客户端,由于数据库中存储着大量的数据,频繁的从数据库中查找、获取数据,对数据库的资源占用很大,服务器的压力也会非常大,当弹幕获取指令较多时,可能造成服务器崩溃。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法及装置。
根据本发明的第一方面,提供了一种数据处理方法,所述方法包括:
当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;
若匹配,将匹配到的目标数据集合返回给所述客户端;
其中,所述预置的目标数据集合通过以下方式确定:
获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;
存储所述目标数据集合。
根据本发明的第二方面,提供了另一种数据处理方法,所述方法包括:
向服务器侧发送数据获取请求,所述数据获取请求包括数据请求标识;
接收服务器侧返回的目标数据集合;其中,所述目标数据集合包括:目标数据元素和目标数据元素标识;
根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素。
根据本发明的第三方面,提供了一种数据处理装置,所述装置包括:
请求处理模块,用于当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;
若匹配,将匹配到的目标数据集合返回给所述客户端;
目标数据集合确定模块,用于确定预置的目标数据集合;
所述目标数据集合确定模块包括:
源数据获取子模块,用于获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
规约处理子模块,用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;
存储子模块,用于存储所述目标数据集合。
根据本发明的第四方面,提供了另一种数据处理装置,所述装置包括:
发送模块,用于向服务器侧发送数据获取请求,所述数据获取请求包括数据请求标识;
接收模块,用于接收服务器侧返回的目标数据集合;其中,所述目标数据集合包括:目标数据元素和目标数据元素标识;
目标数据元素获取模块,用于根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素。
本发明实施例包括以下优点:本发明实施例通过预先确定目标数据集合,得到至少一个规约标识和对应的目标数据集合,然后,当接收到来自客户端的数据获取请求时,使用该数据获取请求携带的数据请求标识与预置的规约标识进行匹配,并将匹配到的目标数据集合返回给客户端。现有技术中,服务器根据数据获取请求中的数据请求标识直接从源数据库中进行匹配,由于源数据库中源数据的数量往往非常大,如果对于用户的数据获取请求都要通过从源数据库中查找得到,服务器的压力会非常大;而本发明实施例经过规约处理,将数量众多源数据,规约为具有规约标识的目标数据集合,并且目标数据集合的数量远远少于源数据的数量。这样一来,基于所述目标数据集合,当接收到客户端的数据获取请求时,就可以依据数据请求中携带的数据请求标识与数量较少的规约标识进行匹配,得到与匹配的规约标识对应的目标数据集合,由于规约标识需要匹配的数据量与源数据相比大幅度降低,因此大大降低了服务器的资源消耗,减少了服务器的负载压力。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种数据处理方法的流程图;
图2是本发明实施例提供的一种数据处理方法的具体流程图;
图3是本发明实施例提供的一种数据处理方法的另一种具体流程图;
图4是本发明实施例提供的另一种数据处理方法的流程图;
图5是本发明实施例提供的一种数据处理装置的框图;
图6是本发明实施例提供的一种数据处理装置的具体框图;
图7是本发明实施例提供的另一种数据处理装置的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
应当理解,此处所描述的具体实施例仅用以解释本发明,仅仅是本发明一部分实施例,而不是全部的实施例,并不用于限定本发明。
实施例一
参照图1,示出了一种数据处理方法的流程图,该方法应用于服务器端,具体可以包括如下步骤:
步骤101:当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配。
本发明实施例所应用的服务器端可以是WEB(World Wide Web,万维网)服务器,该WEB服务器可以响应来自客户端的静态或动态请求并向客户端返回请求结果。具体实施时,可通过一台服务器对上述动态请求和静态请求进行响应,也可以通过设置静态服务器和动态服务器分别对上述静态请求和动态请求进行响应,本发明实施例对此不做具体限制。
与服务器端进行数据交互的客户端可以为智能手机、电脑、多媒体播放器、可穿戴式设备等,本发明实施例对客户端具体形态不做限制。
当接收到客户端的数据获取请求时,服务器可以通过将该数据获取请求中携带的数据请求标识,与之前已经设置在服务器上的规约标识进行匹配,判断服务器上是否设置有与该数据获取请求相匹配的目标数据集合。
本发明实施例中,可以根据不同的应用场景来确定客户端数据获取请求的内容。例如,针对网络视频的弹幕获取请求、WEB系统中会员的余额获取请求等,本发明实施例对数据获取请求的具体内容不做限制。
其中,数据获取请求中携带的数据请求标识的内容,也可以根据不同的应用场景来确定。例如,当数据获取请求为某一视频的弹幕获取请求时,该弹幕获取请求携带的数据请求标识可以是:视频标识,视频播放时刻等;当数据获取请求为WEB系统应用中会员的余额获取请求时,该余额获取请求携带的数据请求标识可以是:应用标识,会员身份标识等,本发明实施例对数据请求标识的具体内容不做限制。
本发明实施中,该目标数据集合可以是预先设置在服务器上的;该目标数据集合的规约标识是在预置目标数据集合时确定的,详细过程请参照下面的具体说明。
具体的,该预置的目标数据集合可以通过以下方式确定:
步骤A1:获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
一般的,源数据可以设置在数据库、缓存区、数据文件等位置,本发明实施例对源数据设置的具体位置不做限定。
本发明实施例中,源数据的具体内容可以根据不同应用场景来确定,例如,网络视频中的弹幕数据、WEB系统中的会员账户数据等,本发明实施例对源数据的具体内容不做限制。
其中,用于获取源数据的预设条件可以由本领域技术人员根据实际需求确定,例如:网络中的某一视频的弹幕数据,每一个弹幕数据属性信息至少都应包括该视频的标识信息,用以表明该弹幕数据属于具体的某个视频,那么,同属一个视频就相当于预设条件;又比如:WEB系统中某一视频网站的会员账户数据,每一个会员账户数据属性信息至少都应该包括该视频网站的标识信息,用以表明该会员账户数据属于具体的某个视频网站,那么,同属一个视频网站就相当于预设条件,还有诸多应用场景,本发明实施例对此不作限制。
获取到该满足预设条件的源数据后,将每一个源数据作为一个源数据元素,得到源数据集合。每个源数据都会携带源数据属性信息,例如:当源数据为某网络视频的弹幕数据时,源数据元素可以是该网络视频某一播放时刻对应的弹幕数据,则该弹幕数据至少携带视频播放时刻信息,视频播放时刻信息就可以作为该弹幕数据的属性信息;又比如:当源数据为WEB系统中某一视频网站的会员账户数据时,源数据元素可以是该视频网站的某一个会员账户数据,则该会员账户数据至少携带标识该会员的会员身份信息,该会员身份信息就可以称为会员账户数据的属性信息,还有诸多应用场景,本发明实施例对此不作限制。
步骤A2:根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合。
源数据集合中往往存在着大量的源数据元素,根据预设的规约条件和源数据属性信息对源数据集合中的每个源数据元素进行规约处理,可以是按照预设的规约条件对源数据属性信息进行划分,并将划分在同一区间的源数据元素做为一个目标数据集合,将该区间内所有源数据元素所共同对应的源数据属性信息确定为该目标数据集合的规约标识。
本发明实施例中,可以根据不同的应用场景来确定预设的规约条件,并对源数据集合中的每个源数据元素进行规约处理,确定出规约标识以及目标数据集合的内容。下面举例说明:
以视频弹幕数据为例,源数据是视频弹幕数据,源数据属性信息相应的可以是视频播放时刻信息;预设的规约条件就可以是:从视频播放的起始时刻,约定以一分钟为一个时长,将视频弹幕数据划分成若干个视频弹幕数据集合。那么,假设该视频的播放时长为40分钟,则对源数据集合中的每个源数据元素进行规约处理可以是:将完整的视频弹幕数据,从视频播放起始时刻开始,以一分钟为一个时长,将视频弹幕数据划分为40个视频弹幕数据集合,每一个视频弹幕数据集合中都包含着某一个1分钟内的所有视频弹幕数据;相应的,该40个视频弹幕数据集合可以称为40个目标数据集合,0-1分钟、1-2分钟、2-3分钟…就可以分别作为对应的目标数据集合的规约标识。
优选地,以弹幕数据为例,还可以将0-1分钟、1-2分钟、2-3分钟…分别约定对应自然数1、2、3…,将该自然数1、2、3…以后缀、前缀或其他形式与视频弹幕数据对应的视频标识组合,作为目标数据集合相应的规约标识,比如规约标识为视频标识+1、视频标识+2等,可以理解的是,上述自然数1、2、3…也可以替换为任何形式的序列号,上述视频标识也可以根据实际需要设置为相应的形式,总而言之,可以使每一个目标数据集合有唯一的一个规约标识。
以WEB系统中的会员账户数据为例,源数据是WEB系统中某一视频网站的会员账户数据,源数据属性信息相应的可以是会员身份信息,预设的规约条件就可以是:从序列号最小的会员身份信息开始,以每100个会员身份信息对应的会员账户数据为一个组合,将该会员账户数据划分为若干会员账户数据集合。那么,假设该视频网站会员账户数据有10000个,标识每个会员账户数据的会员身份信息可以是0-10000的序列号,则对源数据集合中的每个源数据元素进行规约处理可以是:将完整的会员账户数据,从序列号为零的会员账户数据开始,以每100个会员账户数据为一个组合,将会员账户数据划分为100个会员账户数据集合;则该100个会员账户数据集合可以称为100目标数据集合,0-100,100-200,200-300…就分别作为对应的目标数据集合的规约标识。
再比如,将参数a1…an为源数据元素,其集合am称为源数据集合,其中,n和m可以为1、2、3…的自然数;如果集合am是一个有限集,且数量较大,则可以进行规约处理:将am分成子集am1,am2...aml,对于每一个子集,都有通用的、基于输入的规则可以定义a1…an到amk的唯一的映射;如果集合am是一个无限集,但在实际的情况中可以被定义和规约为有限集,则可以降为有限集b的情况,比如am是2010年到2100年的所有时刻,时刻的单位可以无限小,则对应的2010年到2100年的集合am是无限集,但在实际情况中可以规约为:2010至2100年之间,以一小时为一个单位,则可以将集合am映射为包含近80万个子集的有限集b,每一个小时就作为有限集b中对应的各子集的规约标识。
结合以上内容,本发明实施例的预设的规约条件,以及对源数据集合中的每个源数据元素进行规约处理,得到规约标识以及目标数据集合的具体内容可以由本领域技术人员基于不同的应用场景进行适应性设定,本发明实施对此不作限制。
步骤A3:存储所述目标数据集合。
具体的,可将目标数据集合存储在源数据所在的服务器上,也可以存储在其它服务器上,本发明实施例对目标数据集合的存储位置不做限制。
根据确定的规约标识和目标数据集合,服务器依据不同应用场景中源数据的具体内容,将发送自客户端的数据请求标识与服务器上存储的规约标识进行匹配,以便得到对应的目标数据集合。
步骤102:若匹配,将匹配到的目标数据集合返回给所述客户端。
服务器如果匹配到数据获取请求对应的目标数据集合,则将该目标数据集合返回给客户端。
以步骤A2中的视频弹幕数据为例,经过A2步骤的规约处理后,用户在0-1分钟内的任意时刻发出读取弹幕的请求,匹配到的都是第0-1分钟的弹幕数据集合,用户在第1-2分钟内的任意时刻发出读取弹幕的请求,匹配到的都是1-2分钟的弹幕数据集合,依次类推。服务器将匹配到的弹幕数据集合返回给客户端。
优选地,以步骤A2中一个目标数据集合对应唯一的规约标识为例,还可以在客户端约定,将该弹幕获取请求携带的标识先转化为与规约标识一致的形式,比如,假设客户端在0-1分钟发出了弹幕获取请求,先将该0-1分钟发出的弹幕获取请求携带的标识转化为:视频标识+1,依据“视频标识+1”,能快速匹配到具有“视频标识+1”规约标识的目标数据集合。
以步骤A2中的WEB系统中的会员账户数据为例,经过A2步骤的规约处理后,序列号在0-100的任何会员发出余额获取请求,匹配到的都是序列号在0-100的会员账户数据集合,序列号在100-200的任何会员发出余额获取请求,匹配到的都是序列号在100-200的会员账户数据集合,依次类推。服务器将匹配到的会员账户数据集合返回给客户端。
综上所述,本发明实施例通过预先确定目标数据集合,得到至少一个规约标识和对应的目标数据集合,然后,当接收到来自客户端的数据获取请求时,使用该数据获取请求携带的数据请求标识与预置的规约标识进行匹配,并将匹配到的目标数据集合返回给客户端。现有技术中,服务器根据数据获取请求中的数据请求标识直接从源数据库中进行匹配,由于源数据库中源数据的数量往往非常大,如果对于用户的数据获取请求都要通过从源数据库中查找得到,服务器的压力会非常大;而本发明实施例经过规约处理,将数量众多的源数据,规约为具有规约标识的目标数据集合,并且目标数据集合的数量远远少于源数据的数量。这样一来,基于所述目标数据集合,当接收到客户端的数据获取请求时,就可以依据数据请求中携带的数据请求标识与数量较少的规约标识进行匹配,得到与匹配的规约标识对应的目标数据集合,由于规约标识需要匹配的数据量与源数据相比大幅度降低,因此大大降低了服务器的资源消耗,减少了服务器的负载压力。
实施例二
参照图2,示出了一种数据处理方法的具体流程图,该方法应用于web服务器,所述WEB服务器包括第一服务器和第二服务器,具体可以包括如下步骤:
步骤201:当所述第二服务器接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配。
本发明实施例中,可预先将源数据设置在第一服务器;将获取的目标数据集合存储在第二服务器。
优选地,可以将设置源数据的第一服务器采用动态服务器,存储目标数据集合的第二服务器采用静态服务器,以便分别响应发送自客户端的静态和动态请求。一般来说,动态服务器和静态服务器具有各自特点,具体说明如下:
动态服务器是指应用服务器、缓存服务器、数据库服务器等各种中间件,是为了处理复杂请求而计算处理的应用宿主。动态服务器承载业务服务,负责对用户的请求进行计算和处理,返回最终结果。由于中间件本身的特性,请求的结果需要通过计算得到的过程等等原因,这些服务器的同时能处理的请求数少,占资源多,处理时间和响应时间较长。
静态服务器主要负责web静态资源的分发,没有计算处理的过程。处理静态请求时,请求处理速度快,响应时间少,同时能处理的请求数多,占资源少。
优选的,预先通过第一服务器根据源数据确定出目标数据集合,并将该目标数据集合存储于第二服务器,具体过程如下:
步骤B1:第一服务器获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;所述源数据设置在所述第一服务器。
步骤B2:第一服务器根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的第一数据集合。
步骤B3:第一服务器对所述第一数据集合中的每个第一数据元素分别进行加密处理,并根据所述加密后第一数据元素确定出目标数据集合。
该步骤为可选步骤,在具体加密时,可选择对称加密、不对称加密等加密算法,本发明实施例对此不做具体限制。
将加密后的第一数据元素作为目标数据元素,将目标数据元素组成的集合作为目标数据集合。
本发明实施例中,由于每个目标数据元素都经过加密处理,客户端只有通过密钥才能得到相应的目标数据元素,这样一来,一方面可以避免目标数据集合在服务器与客户端的传输过程中被截获导致信息泄露;另一方面,由于一个目标数据集合中可能包含与当前用户无关的数据,因此,用户使用私有秘钥解密针对特定的目标数据元素进行解密,可避免将与当前用户无关的目标数据元素泄漏给客户端用户。
在具体实施时,由于客户端的系统环境、应用场景存在不同,因此,客户端从服务器获取到目标数据元素后通常还需要按照预设格式对该目标数据元素进行解析后才能使用,例如,将从服务器获取的视频弹幕数据解析为客户端视频播放器所能适配的文件格式进行加载显示。但这样一来,客户端在解析弹幕数据时会占用客户端的处理资源,当所需处理的弹幕数据量很大时,很有可能造成弹幕加载延迟,影响用户的观看体验。为了降低这一影响,在本发明的另一优选实施例中,第一服务器还可以按照预设格式将第一数据元素的格式确定为目标数据元素和目标数据集合,以便客户端在接收到该目标数据集合后无需对目标数据元素进行再次解析即可直接使用,降低客户端的负载。例如,客户端从第二服务器获取到目标弹幕数据集合后,直接将得到的目标弹幕加载显示到视频播放器中,避免了因时间延迟导致的弹幕和视频不同步的问题,提高了用户的观看体验。
步骤B4:第一服务器将所述目标数据集合存储在第二服务器。
在本发明的另一种优选实施例中,第一服务器还可以对目标数据集合进行压缩处理,将压缩后的目标数据集合存储在第二服务器,以便降低对第二服务器的空间占用。
在本发明的另一种可选实施例中,也可以设置除第一服务器和第二服务器以外的第三服务器,由第三服务器预先根据第一服务器中的源数据确定出目标数据集合,并将该目标数据集合存储于第二服务器,本发明实施例对此不做限制。
步骤202:若匹配,所述第二服务器将匹配到的目标数据集合返回给所述客户端。
在具体实施时,源数据可能会实时发生变化,为了保证客户端能够获取到最新的目标数据集合,在本发明的另一可选实施例中,当所述满足所述预设条件的源数据发生变化时,根据所述发生变化的源数据和所述规约条件设置对应的目标数据集合。
引起源数据发生变化的原因有很多,以视频弹幕数据为例,当用户发出针对某个视频的新的弹幕时,会新增该弹幕,源数据增加;当审核人员删除部分不合规定的弹幕,源数据减少;当视频被重新剪辑后,源数据中对应弹幕的播放时间也要重新更新等。
当第一服务器检测到满足预设条件的源数据发生变化时,可以立即调用业务逻辑来确定变化后的源数据对应的目标数据集合,并将更新后的目标数据集合推送到第二服务器。由于本发明实施例中,在完成将目标数据集合存储在第二服务器的步骤后,由第二服务器负责接收客户端数据获取请求和分发目标数据集合给用户,而第一服务器只负责更新发生变化的目标数据集合,因为第一服务器不需要接收客户端的数据获取请求,计算压力很小,相应的计算速度就会很快,更新的过程可以在很短的时间内完成,对于用户来说,保证了获取目标数据元素的实时性。
本发明实施例通过采用第一服务器与第二服务器互相配合的方法,具体来说,将第一服务器的数量很多的源数据经过规约化处理,得到数量较少的目标数据集合,并将目标数据集合存储在第二服务器上,当第二服务器接收到客户端的数据获取请求时,将数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配,并将匹配到的目标数据集合返回给客户端。由于该过程中,第一服务器和第二服务器分别承担不同的业务处理,具体的,第一服务器只负责存储源数据以及更新发生变化的目标数据集合,而第二服务器只负责静态内容分发,将客户端请求的目标数据集合发送给客户端,因为第一服务器不需要接收客户端的请求,计算压力很小,相应的计算速度就会很快,更新目标数据集合的过程可以在很短的时间内完成;同时,由于第二服务器只负责静态内容分发,并不需要承担其它的数据处理需求,因此,即便同时收到大量客户端的请求也能够保证向客户端分发目标数据集合的实时性。
实施例三
为了更方便本领域技术人员理解本发明实施例方案,下面以视频弹幕数据为例,对本发明实施例所提供的数据处理方法做进一步详细描述。
参照图3,示出了本发明实施例提供的一种数据处理方法的另一种具体流程图。
具体的,该方法应用在web服务器,该web服务器包括第一服务器和第二服务器,其中,第一服务器为动态服务器,第二服务器为静态服务器,该第一服务器上存储有源数据,该源数据包括:视频标识、弹幕数据和视频播放时刻信息(即源数据和源数据属性信息)。
首先,预先通过动态服务器和静态服务器设置目标数据集合,具体步骤如下:
步骤C1:动态服务器从源数据源数据中按照视频标识分别获取同属一个视频的视频弹幕数据,得到视频弹幕数据集合,该视频弹幕数据集合包括:弹幕数据和对应的视频播放时刻信息。
步骤C2:动态服务器按照视频播放的起始时刻,以一分钟为一个时长,将视频弹幕数据划分成至少一个视频弹幕数据集合。
假设该视频的播放时长为40分钟,从视频播放起始时刻开始,以一分钟为一个时长,将视频弹幕数据划分为40个视频弹幕数据集合,每一个视频弹幕数据集合中都包含着某一个1分钟内的所有视频弹幕数据;相应的,该40个视频弹幕数据集合可以称为40个第一弹幕集合,0-1分钟、1-2分钟、2-3分钟…就分别作为该视频对应的第一弹幕集合的规约标识。
步骤C3:动态服务器对第一弹幕集合中的每个弹幕元素进行加密处理。
举例来说,可以将视频播放时刻对应的时刻信息作为密钥,比如:“00:01”、“00:02”…可以作为密钥,“00:01”表示视频播放的第1秒,“00:02”表示视频播放的第2秒…
将加密后的第一弹幕元素作为目标弹幕元素,将目标弹幕元素组成的集合确定为目标弹幕集合。
本发明实施例中,由于每个目标弹幕元素都经过加密处理,客户端只有通过密钥才能得到相应的目标弹幕元素,比如,客户端在视频播放的第1秒发出弹幕获取请求,得到静态服务器返回的第0-1分钟的目标弹幕集合,通过该弹幕获取请求携带的“00:01”,客户端可以只解密出视频播放的第1秒对应的弹幕数据,而0-1分钟内除了第1秒对应的弹幕数据,其他的弹幕数据不会被用户额外获取,一方面可以避免用户得到不需要的额外数据,另一方面也可以避免将不能被用户知道的数据泄漏给用户。
本发明实施例的另一种优选方案中,还可以规约由动态服务器将该第一弹幕集合中的视频弹幕数据的格式,进一步解析为客户端可以直接识别的格式,比如json格式,当客户端接收到该弹幕元素后,可以直接进行弹幕展示,而不需要占用客户端资源进行解析,本发明实施例对第一弹幕集合中的视频弹幕数据的具体格式不作限制。
步骤C4:动态服务器将目标弹幕集合存储在静态服务器上。
在本发明的另一种优选实施中,还可以对目标弹幕集合进一步加压缩处理,以目标弹幕集合的目标弹幕元素是json格式为例,一般情况中,纯字符json的返回结果的快速压缩比大概在6-7:1,假设单返回值不超过100个字节大小,则10000个结果集大小在100到300k左右,从而可以降低对静态服务器的空间占用。
通过以上处理,静态服务器中成功设置了目标数据集合,之后,当静态服务器接收到客户端的数据获取请求时,对该请求的具体处理过程如下:
步骤301:当静态服务器接收到客户端的弹幕获取请求时,将所述弹幕获取请求携带的视频标识、视频播放时刻与预置的目标弹幕集合的规约标识进行匹配。
步骤302:若匹配,静态服务器将匹配到的目标弹幕集合返回给所述客户端。
用户在0-1分钟内的任意时刻发出读取弹幕的请求,静态服务器匹配到的都是第0-1分钟的目标弹幕集合,用户在第1-2分钟内的任意时刻发出读取弹幕的请求,静态服务器匹配到的都是1-2分钟的目标弹幕集合,依次类推。静态服务器将匹配到的目标弹幕集合返回给客户端。
做为本发明实施例的另一种优选方案,当所述源数据中某一视频的弹幕数据发生变化时,根据所述发生变化的弹幕数据和所述规约条件设置对应的目标弹幕集合。
动态服务器只要检测到源数据中针对该视频的弹幕数据发生变化,可以立即调用业务逻辑来确定变化后弹幕数据对应的目标弹幕集合,并将新的目标弹幕集合推送到静态服务器。
由于本发明实施中,在完成将目标弹幕集合存储在静态服务器后的设置后,由静态服务器负责接收用户的弹幕获取请求和分发目标弹幕集合给用户,而动态服务器只负责更新发生变化的目标弹幕集合,因为动态服务器不需要接收客户端的请求,计算压力很小,相应的计算速度就会很快,更新的过程可以在很短的时间内完成,对于用户来说,保证了获取目标弹幕元素的实时性。
综上所述,本发明实施例通过采用动态服务器与静态服务器互相配合的方法,具体来说,将动态服务器中数量很多的源视频弹幕数据经过规约化处理,得到数量较少的目标弹幕集合,并将目标弹幕集合存储在静态服务器上,当静态服务器接收到客户端的弹幕获取请求时,将弹幕获取请求携带的视频播放时刻与预置的目标弹幕集合的规约标识进行匹配,即由处理用户请求功能强大的静态服务器来处理客户端的弹幕数据获取请求,既能降低软硬件的资源,又能提高服务器的可用性和可扩展性。并且,因为在完成将目标弹幕集合存储在静态服务器的设置后,由静态服务器负责接收用户的弹幕获取请求和分发目标弹幕集合给用户,而动态服务器只负责更新发生变化的目标弹幕集合,因为动态服务器不需要接收客户端用户的弹幕获取请求,计算压力很小,相应的计算速度就会很快,更新的过程可以在很短的时间内完成,对于用户来说,保证了获取目标弹幕元素的实时性。
实施例四
参照图4,示出了另一种数据处理方法的流程图,该方法应用于客户端,具体可以包括如下步骤:
步骤401:向服务器侧发送数据获取请求,所述数据获取请求包括数据请求标识。
本发明实施例所应用的客户端可以为智能手机、电脑、多媒体播放器、可穿戴式设备等,本发明实施例对客户端具体形态不做限制。
具体的,当用户需要得到目标数据信息时,会通过客户端上的一些诸如数据获取按钮、数据搜索引擎等向服务器发出数据获取请求,该数据获取请求会携带数据请求标识,表明具体要请求的内容。
本发明实施例中,可以根据不同的应用场景来确定向服务器侧发送的数据获取请求以及数据获取请求中携带的数据请求标识的内容。例如,当数据获取请求为某一视频的弹幕获取请求时,该弹幕获取请求携带的数据请求标识可以包括:请求视频标识、请求视频播放时刻信息等,本发明实施例对数据请求标识的具体内容不做限制。
步骤402:接收服务器侧返回的目标数据集合;其中,所述目标数据集合包括:目标数据元素和目标数据元素标识。
客户端会收到服务器返回的与数据获取请求相适应的目标数据集合,该集合中可以包含一定数量的目标数据元素,每个目标数据元素会携带目标数据元素标识,通过该目标数据元素标识来唯一确定该目标数据元素。
本发明实施例中,目标数据集合的具体内容可以根据不同应用场景来确定。例如,若客户端发送的是读取弹幕数据请求,对应的目标数据集合就是目标弹幕集合,本发明实施例对目标数据集合的具体内容不做限制。
本发明实施例中,目标数据元素和目标数据元素标识的具体内容可以根据不同应用场景来确定。例如,目标数据元素为目标视频弹幕数据,目标数据元素标识为目标视频弹幕数据播放时刻信息,本发明实施例对目标数据元素和目标数据元素标识的具体内容不做限制。
具体来说,若客户端向服务器发送的是读取视频播放第2秒的弹幕获取请求,会收到服务器返回的视频播放0-1分钟对应的目标弹幕集合,该目标弹幕集合可以表示为:
{“00:01”:{“弹幕1”,“弹幕2”,“弹幕3”},
“00:02”:{“弹幕4”,“弹幕5”,“弹幕6”,“弹幕6”}
}
其中,{“弹幕1”,“弹幕2”,“弹幕3”}、{“弹幕4”,“弹幕5”,“弹幕6”,“弹幕6”}…就是该目标弹幕集合的目标视频弹幕数据;“00:01”、“00:02”…是该目标弹幕集合中各目标视频弹幕数据对应的目标视频弹幕数据播放时刻信息,其中,“00:01”表示视频第1秒。
做为本发明实施例的一种优选方案,若客户端接收的目标数据集合是经过加密、压缩的形式,则客户端要适应的进行解密和解压,以实现对目标数据集合的进一步处理。
步骤403:根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素。
本发明实施例中,符合预设规则可以根据不同应用场景来确定,例如,若该目标数据集合是目标弹幕集合,则可以根据弹幕获取请求携带的请求视频播放时刻信息,只获取该请求视频播放时刻对应的目标弹幕元素,此时,目标视频弹幕数据播放时刻信息等于请求视频播放时刻信息就是预设规则,具体以客户端接收到步骤402中的弹幕数据集合为例,由于数据请求标识中携带了视频播放的第2秒标识,即“00:02”,那么客户端根据“00:02”可以在目标数据集合中匹配得到目标数据元素{“弹幕4”,“弹幕5”,“弹幕6”,“弹幕6”};
再比如,若该目标数据集合是目标弹幕集合,还可以根据弹幕获取请求携带的请求视频播放时刻信息,获取目标视频弹幕数据播放时刻信息大于请求视频播放时刻信息的目标视频弹幕数据,此时,目标视频弹幕数据播放时刻信息大于请求视频播放时刻信息就是预设规则,具体以客户端接收到步骤202中的弹幕数据集合为例,由于数据请求标识中携带了视频播放的第2秒标识,即“00:02”,那么客户端根据“00:02”可以在目标数据集合中匹配得到目标弹幕元素{“弹幕4”,“弹幕5”,“弹幕6”,“弹幕6”}、“00:03”对应的目标弹幕元素、“00:04”对应的目标弹幕元素…
本发明实施例对预设规则的具体内容不做限制。
做为本发明实施例另一种优选的方案,若该目标数据集合是目标弹幕集合,步骤403之后还可以包括:在屏幕的预设区域内显示所述获取的目标视频弹幕数据。
综上所述,本发明实施例客户端在向服务器侧发送携带数据请求标识的数据获取请求后,得到的不是服务器针对该数据请求标识的具体的目标数据元素,而是一个与该数据请求标识匹配的目标数据集合,由客户端依据数据请求标识与目标数据集合中的目标数据元素标识,得到确定的目标数据元素,将解析具体目标数据元素放在客户端处理,可以减轻服务器的压力,避免服务器运算压力过大。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例五
参照图5,示出了一种数据处理装置500的框图,该装置具体可以包括:
请求处理模块501,用于当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,将匹配到的目标数据集合返回给所述客户端;
目标数据集合确定模块502,用于确定预置的目标数据集合;
目标数据集合确定模块502包括:
源数据获取子模块5021,用于获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
规约处理子模块5022,用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;
存储子模块5023,用于存储所述目标数据集合。
本发明实施例包括以下优点:本发明实施例预先通过目标数据集合确定模块502得到至少一个规约标识和对应的目标数据集合,然后,当接收到来自客户端的数据获取请求时,通过请求处理模块501该数据获取请求携带的数据请求标识与预置的规约标识进行匹配,并将匹配到的目标数据集合返回给客户端。现有技术中,服务器根据数据获取请求中的数据请求标识直接从源数据库中进行匹配,由于源数据库中源数据的数量往往非常大,如果对于用户的数据获取请求都要通过从源数据库中查找得到,服务器的压力会非常大;而本发明实施例通过规约处理模块5022,将数量众多源数据,规约为具有规约标识的目标数据集合,并且目标数据集合的数量远远少于源数据的数量。这样一来,基于所述目标数据集合,当接收到客户端的数据获取请求时,就可以依据数据请求中携带的数据请求标识与数量较少的规约标识进行匹配,得到与匹配的规约标识对应的目标数据集合,由于规约标识需要匹配的数据量与源数据相比大幅度降低,因此大大降低了服务器的资源消耗,减少了服务器的负载压力。
实施例六
参照图6,示出了一种数据处理装置600的框图,该装置具体可以包括:第一服务器和第二服务器;所述源数据设置在所述第一服务器;所述目标数据集合存储在第二服务器;
请求处理模块601,用于当所述第二服务器接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,所述第二服务器将匹配到的目标数据集合返回给所述客户端;
目标数据集合确定模块602,用于确定预置的目标数据集合;
目标数据集合确定模块602包括:
源数据获取子模块6021,用于获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
规约处理子模块6022,用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;
第一数据集合确定子模块6023,用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的第一数据集合;
加密子模块6024,用于对所述第一数据集合中的每个第一数据元素分别进行加密处理,并根据所述加密后第一数据元素确定出目标数据集合
存储子模块6025,用于存储所述目标数据集合。
优选地,还可以包括:目标数据集合更新模块,用于当所述满足预设条件的源数据发生变化时,根据所述发生变化的源数据和所述规约条件设置对应的目标数据集合。
优选地,所述源数据包括视频弹幕数据;所述源数据属性信息包括视频播放时刻信息。
本发明实施例包括以下优点:本发明实施例通过采用第一服务器与第二服务器互相配合的方法,具体来说,通过规约处理子模块6022将第一服务器的数量很多的源数据经过规约化处理,得到数量较少的目标数据集合,并将目标数据集合存储在第二服务器上,当第二服务器接收到客户端的数据获取请求时,请求处理模块601将数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配,并将匹配到的目标数据集合返回给客户端。由于该过程中,第一服务器和第二服务器分别承担不同的业务处理,具体的,第一服务器只负责存储源数据以及更新发生变化的目标数据集合,而第二服务器只负责静态内容分发,将客户端请求的目标数据集合发送给客户端,因为第一服务器不需要接收客户端的请求,计算压力很小,相应的计算速度就会很快,更新目标数据集合的过程可以在很短的时间内完成;同时,由于第二服务器只负责静态内容分发,并不需要承担其它的数据处理需求,因此,即便同时收到大量客户端的请求也能够保证向客户端分发目标数据集合的实时性。
实施例七
参照图7,示出了另一种数据处理装置700的框图,该装置具体可以包括:
发送模块701,用于向服务器侧发送数据获取请求,所述数据获取请求包括数据请求标识;
接收模块702,用于接收服务器侧返回的目标数据集合;其中,所述目标数据集合包括:目标数据元素和目标数据元素标识;
目标数据元素获取模块703,用于根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素。
优选的,所述数据请求标识包括:请求视频标识和请求视频播放时刻信息;所述目标数据元素为目标视频弹幕数据,所述目标数据元素标识为目标视频弹幕数据播放时刻信息。
优选的,该目标数据元素获取模块703包括:
目标视频弹幕数据获取子模块,用于从所述目标数据集合中获取目标视频弹幕数据播放时刻信息大于所述请求视频播放时刻信息的目标视频弹幕数据;
优选的,该视频处理装置700还可以包括:
目标视频弹幕数据显示模块,用于在屏幕的预设区域内显示所述获取的目标视频弹幕数据。
本发明实施例客户端发送模块701在向服务器侧发送携带数据请求标识的数据获取请求后,接收模块702得到的不是服务器针对该数据请求标识的具体的目标数据元素,而是一个与该数据请求标识匹配的目标数据集合,由客户端目标数据元素获取模块703依据数据请求标识与目标数据集合中的目标数据元素标识,得到确定的目标数据元素,将解析具体目标数据元素放在客户端处理,可以减轻服务器的压力,避免服务器运算压力过大。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法和一种数据处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种数据处理方法,其特征在于,所述方法包括:
当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;
若匹配,将匹配到的目标数据集合返回给所述客户端;
其中,所述预置的目标数据集合通过以下方式确定:
获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;
存储所述目标数据集合;
其中,所述根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合的步骤,包括:
根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行划分,获得至少一个目标数据集合,并根据所述目标数据集合中源数据元素对应的源数据属性信息,确定所述规约标识,所述源数据属性信息包括:视频播放时刻信息。
2.根据权利要求1所述的方法,其特征在于,所述方法应用于Web服务器,所述Web服务器包括:第一服务器和第二服务器;
所述源数据设置在所述第一服务器;
所述目标数据集合存储在第二服务器;
所述当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,将匹配到的目标数据集合返回给所述客户端的步骤,包括:
当所述第二服务器接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,所述第二服务器将匹配到的目标数据集合返回给所述客户端。
3.根据权利要求1所述的方法,其特征在于,所述存储所述目标数据集合之后,还包括:
当所述满足预设条件的源数据发生变化时,根据发生变化的源数据和所述规约条件设置对应的目标数据集合。
4.根据权利要求1所述的方法,其特征在于,所述根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合的步骤,包括:
根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的第一数据集合;
对所述第一数据集合中的每个第一数据元素分别进行加密处理,并根据所述加密后第一数据元素确定出目标数据集合。
5.根据权利要求1所述的方法,其特征在于,所述源数据包括视频弹幕数据。
6.一种数据处理方法,其特征在于,所述方法包括:
向服务器侧发送数据获取请求,所述数据获取请求包括数据请求标识;
接收服务器侧返回的目标数据集合;其中,所述目标数据集合包括:目标数据元素和目标数据元素标识;所述目标数据集合由源数据集合根据预设的规约条件以及源数据属性信息对源数据元素进行划分获得,所述源数据属性信息包括:视频播放时刻信息;根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素。
7.根据权利要求6所述的方法,其特征在于,
所述数据请求标识包括:请求视频标识和请求视频播放时刻信息;所述目标数据元素为目标视频弹幕数据,所述目标数据元素标识为目标视频弹幕数据播放时刻信息;
所述根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素的步骤,包括:
从所述目标数据集合中获取目标视频弹幕数据播放时刻信息大于所述请求视频播放时刻信息的目标视频弹幕数据;
所述方法还包括:
在屏幕的预设区域内显示所述获取的目标视频弹幕数据。
8.一种数据处理装置,其特征在于,所述装置包括:
请求处理模块,用于当接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,将匹配到的目标数据集合返回给所述客户端;
目标数据集合确定模块,用于确定预置的目标数据集合;
所述目标数据集合确定模块包括:
源数据获取子模块,用于获取满足预设条件的源数据,得到源数据集合,所述源数据集合包括:源数据元素和源数据属性信息;
规约处理子模块,用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的目标数据集合;
存储子模块,用于存储所述目标数据集合;
所述规约处理子模块,具体用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行划分,获得至少一个目标数据集合,并根据所述目标数据集合中源数据元素对应的源数据属性信息,确定所述规约标识,所述源数据属性信息包括:视频播放时刻信息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:第一服务器和第二服务器;
所述源数据设置在所述第一服务器;
所述目标数据集合存储在第二服务器;
所述请求处理模块,具体用于当所述第二服务器接收到客户端的数据获取请求时,将所述数据获取请求携带的数据请求标识与预置的目标数据集合的规约标识进行匹配;若匹配,所述第二服务器将匹配到的目标数据集合返回给所述客户端。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
目标数据集合更新模块,用于当所述满足预设条件的源数据发生变化时,根据发生变化的源数据和所述规约条件设置对应的目标数据集合。
11.根据权利要求8所述的装置,其特征在于,所述目标数据集合确定模块包括:
第一数据集合确定子模块,用于根据预设的规约条件和所述源数据属性信息对所述源数据集合中的每个源数据元素进行规约处理,得到至少一个规约标识和对应的第一数据集合;
加密子模块,用于对所述第一数据集合中的每个第一数据元素分别进行加密处理,并根据所述加密后第一数据元素确定出目标数据集合。
12.根据权利要求8所述的装置,其特征在于,所述源数据包括视频弹幕数据。
13.一种数据处理装置,其特征在于,所述装置包括:
发送模块,用于向服务器侧发送数据获取请求,所述数据获取请求包括数据请求标识;
接收模块,用于接收服务器侧返回的目标数据集合;其中,所述目标数据集合包括:目标数据元素和目标数据元素标识;所述目标数据集合由源数据集合根据预设的规约条件以及源数据属性信息对源数据元素进行划分获得,所述源数据属性信息包括:视频播放时刻信息;
目标数据元素获取模块,用于根据所述数据请求标识从所述目标数据集合中获取符合预设规则的目标数据元素。
14.根据权利要求13所述的装置,其特征在于,
所述数据请求标识包括:请求视频标识和请求视频播放时刻信息;所述目标数据元素为目标视频弹幕数据,所述目标数据元素标识为目标视频弹幕数据播放时刻信息;
所述目标数据元素获取模块包括:
目标视频弹幕数据获取子模块,用于从所述目标数据集合中获取目标视频弹幕数据播放时刻信息大于所述请求视频播放时刻信息的目标视频弹幕数据;
所述装置还包括:
目标视频弹幕数据显示模块,用于在屏幕的预设区域内显示所述获取的目标视频弹幕数据。
CN201711208118.3A 2017-11-27 2017-11-27 一种数据处理方法及装置 Active CN108184170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711208118.3A CN108184170B (zh) 2017-11-27 2017-11-27 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711208118.3A CN108184170B (zh) 2017-11-27 2017-11-27 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN108184170A CN108184170A (zh) 2018-06-19
CN108184170B true CN108184170B (zh) 2021-08-20

Family

ID=62545343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711208118.3A Active CN108184170B (zh) 2017-11-27 2017-11-27 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108184170B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830107B (zh) * 2018-06-25 2021-10-26 北京奇虎科技有限公司 保护隐私信息的方法、装置、电子设备及计算机可读存储介质
CN109448740B (zh) * 2018-12-18 2022-05-27 网易(杭州)网络有限公司 语音音效的处理方法、装置以及语音系统
TWI772648B (zh) 2019-06-03 2022-08-01 銓鴻資訊有限公司 基於集體驗證的部分資料驗證方法
CN112311591B (zh) * 2020-09-27 2023-01-24 国网山东省电力公司莒县供电公司 一种电力通信规约配置方法、系统、服务器及可读存储介质
CN113766337B (zh) * 2021-01-15 2024-04-05 北京京东拓先科技有限公司 一种处理信息的方法、装置和系统
CN113239039B (zh) * 2021-05-11 2023-11-14 北京理工新源信息科技有限公司 动态数据的存储方法、查询方法、管理方法及管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279863A (zh) * 2013-06-08 2013-09-04 北京创腾科技有限公司 报告文档的自动生成方法和系统
CN103312825A (zh) * 2013-07-10 2013-09-18 中国人民解放军国防科学技术大学 一种数据分布存储方法和装置
CN106559468A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种访问数据的方法
CN107168995A (zh) * 2017-03-29 2017-09-15 联想(北京)有限公司 一种数据处理方法及服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671074B2 (en) * 2010-04-12 2014-03-11 Microsoft Corporation Logical replication in clustered database system with adaptive cloning
CN104951432B (zh) * 2015-05-21 2019-01-11 腾讯科技(深圳)有限公司 一种对信息进行处理的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279863A (zh) * 2013-06-08 2013-09-04 北京创腾科技有限公司 报告文档的自动生成方法和系统
CN103312825A (zh) * 2013-07-10 2013-09-18 中国人民解放军国防科学技术大学 一种数据分布存储方法和装置
CN106559468A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种访问数据的方法
CN107168995A (zh) * 2017-03-29 2017-09-15 联想(北京)有限公司 一种数据处理方法及服务器

Also Published As

Publication number Publication date
CN108184170A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108184170B (zh) 一种数据处理方法及装置
US9141682B1 (en) Resolving conflicts within saved state data
CN110689349B (zh) 一种区块链中的交易哈希值存储和搜索方法及装置
US9336403B2 (en) Managing restricted tagged content elements within a published message
JP2022008838A (ja) メディアデバイスアセット認定を実行するための方法及び装置
CN111385316B (zh) 资源刷新方法、访问方法及装置
JP7397094B2 (ja) リソース構成方法、リソース構成装置、コンピューター機器、及びコンピュータープログラム
US20210192551A1 (en) Using hashed media identifiers to determine audience measurement data including demographic data from third party providers
US10958744B2 (en) Identifying and managing redundant digital content transfers
US20200213103A1 (en) Blockchain transaction processing method and apparatus
CN110249324B (zh) 在多个网页上维护会话标识符以进行内容选择
CN111431813A (zh) 访问限流方法、设备及存储介质
US9912746B2 (en) Content distribution system
US11632411B2 (en) Method and apparatus for cascaded multi-input content preparation templates for 5G networks
US11223692B2 (en) Service execution methods and apparatuses
CN107391541B (zh) 一种实时数据合并方法和装置
WO2017096886A1 (zh) 内容推送的方法、装置以及系统
CN113411364B (zh) 资源获取方法、装置及服务器
US20160127496A1 (en) Method and system of content caching and transmission
US10262310B1 (en) Generating a verifiable download code
CN110781523B (zh) 用于处理信息的方法和装置
CN116702218B (zh) 小程序中三维模型的渲染方法、装置、终端及存储介质
CN110019352B (zh) 用于存储数据的方法和装置
US10567539B2 (en) Managing metadata in cloud driven, thin client video applications
US10157404B1 (en) Events service for online advertising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant