CN106022161B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN106022161B
CN106022161B CN201610320313.4A CN201610320313A CN106022161B CN 106022161 B CN106022161 B CN 106022161B CN 201610320313 A CN201610320313 A CN 201610320313A CN 106022161 B CN106022161 B CN 106022161B
Authority
CN
China
Prior art keywords
data
target data
target
address
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610320313.4A
Other languages
English (en)
Other versions
CN106022161A (zh
Inventor
郭建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TVMining Beijing Media Technology Co Ltd
Original Assignee
TVMining Beijing Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TVMining Beijing Media Technology Co Ltd filed Critical TVMining Beijing Media Technology Co Ltd
Priority to CN201610320313.4A priority Critical patent/CN106022161B/zh
Publication of CN106022161A publication Critical patent/CN106022161A/zh
Application granted granted Critical
Publication of CN106022161B publication Critical patent/CN106022161B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据处理方法及装置。方法包括:接收来自第二终端的数据请求;根据数据请求,生成与数据请求相应的目标地址,其中,目标地址对应于目标数据在目标缓存服务器上的碎片缓存地址和目标数据在目标数据服务器上的目标虚拟文件名;将目标地址发送至第二终端,以使第二终端根据目标地址请求目标数据。通过本发明的技术方案,既可以使第二终端根据该目标地址请求目标数据,使第二终端可以及时获得该目标数据,满足第二终端的使用需求,又可以该目标地址来掩盖该目标数据在目标缓存服务器上的真实缓存地址和在目标数据服务器上的真实存储地址,使得该目标数据的真实地址相对用户来说是非透明的,从而提供了该目标数据的安全性。

Description

一种数据处理方法及装置
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据处理方法及装置。
背景技术
在相关技术中,设备在接收到用户的数据请求时,如果本地缓存有所请求的数据,则会将缓存中的数据直接返回用户,如果没有,就会从存储有该数据的服务器中请求该数据,但该数据在服务器中通常是被分割为碎片文件存储的,即一个大数据往往被分割为若干小份数据存储在服务器中,这就增大了数据管理的负担、并延长了数据查找的时间,且数据在该服务器上的地址往往是透明的,这也降低了数据的安全性。
发明内容
本发明提供一种数据处理方法及装置,用以在接收到数据请求时,通过生成与该数据请求相应的目标地址,并将目标地址发送至所述第二终端,既可以使第二终端根据该目标地址请求目标数据,使第二终端可以及时获得该目标数据,满足第二终端的使用需求,又可以通过这个与碎片缓存地址和目标虚拟文件名相对应的目标地址来掩盖该目标数据在目标缓存服务器上的真实缓存地址和在目标数据服务器上的真实存储地址,使得该目标数据的真实地址相对用户来说是非透明的,从而提供了该目标数据的安全性。
本发明提供一种数据处理方法,用于第一终端,包括:接收来自第二终端的数据请求,其中,所述数据请求用于请求目标数据;
根据所述数据请求,生成与所述数据请求相应的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
将所述目标地址发送至所述第二终端,以使所述第二终端根据所述目标地址请求所述目标数据。
在一个实施例中,所述根据所述数据请求,生成与所述数据请求相应的目标地址,包括:
确定所述目标数据在所述目标数据服务器上的预设存储地址;
获取与所述数据请求相关的特征信息;
根据所述预设存储地址和所述特征信息,生成所述目标地址,其中,所述目标虚拟文件名与所述预设存储地址相映射。
在一个实施例中,所述获取与所述数据请求相关的特征信息,包括:
获取与所述数据请求相关的以下至少一种信息:
所述第二终端的标识;
接收到所述数据请求的当前时间;
所述目标数据的时长;
所述目标数据的名称。
本发明还提供另一种数据处理方法,用于第二终端,包括:
生成数据请求,并将所述数据请求发送第一终端,其中,所述数据请求用于请求目标数据;
接收所述第一终端根据所述数据请求生成的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
根据所述目标地址请求所述目标数据。
在一个实施例中,所述根据所述目标地址请求所述目标数据,包括:
根据所述目标地址,向与所述碎片缓存地址相应的所述目标缓存服务器请求所述目标数据,其中,所述目标缓存服务器根据所述目标地址解析出所述碎片缓存地址,且在所述碎片缓存地址中查找到所述目标数据时,将所述目标数据发送至所述第二终端,在所述碎片缓存地址中未查找到所述目标数据时,根据所述目标地址解析出所述目标虚拟文件名,进而根据所述目标虚拟文件名解析出所述目标数据在所述目标数据服务器上的预设存储地址,以根据所述预设存储地址,从所述目标数据服务器中请求所述目标数据,并将所述目标数据发送至所述第二终端,其中,所述目标虚拟文件名与所述预设存储地址相映射;
接收所述目标缓存服务器发送的所述目标数据。
在一个实施例中,所述目标数据服务器上存储有所述目标数据的完整数据;
所述目标缓存服务器上存储有所述完整数据相映射的逻辑碎片数据,且所述碎片缓存地址与所述预设存储地址相对应。
本发明还提供一种数据处理装置,用于第一终端,包括:
接收模块,用于接收来自第二终端的数据请求,其中,所述数据请求用于请求目标数据;
生成模块,用于根据所述数据请求,生成与所述数据请求相应的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
发送模块,用于将所述目标地址发送至所述第二终端,以使所述第二终端根据所述目标地址请求所述目标数据。
在一个实施例中,所述生成模块包括:
确定子模块,用于确定所述目标数据在所述目标数据服务器上的预设存储地址;
获取子模块,用于获取与所述数据请求相关的特征信息;
生成子模块,用于根据所述预设存储地址和所述特征信息,生成所述目标地址,其中,所述目标虚拟文件名与所述预设存储地址相映射。
在一个实施例中,所述获取子模块具体用于:
获取与所述数据请求相关的以下至少一种信息:
所述第二终端的标识;
接收到所述数据请求的当前时间;
所述目标数据的时长;
所述目标数据的名称。
本发明还提供了另一种数据处理装置,用于第二终端,包括:
处理模块,用于生成数据请求,并将所述数据请求发送第一终端,其中,所述数据请求用于请求目标数据;
接收模块,用于接收所述第一终端根据所述数据请求生成的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
请求模块,用于根据所述目标地址请求所述目标数据。
在一个实施例中,所述请求模块包括:
请求子模块,用于根据所述目标地址,向与所述碎片缓存地址相应的所述目标缓存服务器请求所述目标数据,其中,所述目标缓存服务器根据所述目标地址解析出所述碎片缓存地址,且在所述碎片缓存地址中查找到所述目标数据时,将所述目标数据发送至所述第二终端,在所述碎片缓存地址中未查找到所述目标数据时,根据所述目标地址解析出所述目标虚拟文件名,进而根据所述目标虚拟文件名解析出所述目标数据在目标数据服务器上的预设存储地址,以根据所述预设存储地址,从所述目标数据服务器中请求所述目标数据,其中,所述目标虚拟文件名与所述预设存储地址相映射;
接收子模块,用于接收所述目标缓存服务器发送的所述目标数据。
在一个实施例中,所述目标数据服务器上存储有所述目标数据的完整数据;
所述目标缓存服务器上存储有所述完整数据相映射的逻辑碎片数据,且所述碎片缓存地址与所述预设存储地址相对应。
本公开的实施例提供的技术方案可以包括以下有益效果:
在接收到数据请求时,通过生成与该数据请求相应的目标地址,并将目标地址发送至所述第二终端,既可以使第二终端根据该目标地址请求目标数据,使第二终端可以及时获得该目标数据,满足第二终端的使用需求,又可以通过这个与碎片缓存地址和目标虚拟文件名相对应的目标地址来掩盖该目标数据在目标缓存服务器上的真实缓存地址和在目标数据服务器上的真实存储地址,使得该目标数据的真实地址相对用户来说是非透明的,从而提供了该目标数据的安全性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据一示例性实施例示出的一种数据处理方法的流程图。
图2是根据一示例性实施例示出的另一种数据处理方法的流程图。
图3是根据一示例性实施例示出的又一种数据处理方法的流程图。
图4是根据一示例性实施例示出的一种数据处理装置的框图。
图5是根据一示例性实施例示出的另一种数据处理装置的框图。
图6是根据一示例性实施例示出的又一种数据处理装置的框图。
图7是根据一示例性实施例示出的再一种数据处理装置的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
在相关技术中,设备在接收到用户的数据请求时,如果本地缓存有所请求的数据,则会将缓存中的数据直接返回用户,如果没有,就会从存储有该数据的服务器中请求该数据,但该数据在服务器中通常是被分割为碎片文件存储的,即一个大数据往往被分割为若干小份数据存储在服务器中,这就增大了数据管理的负担、并延长了数据查找的时间,且数据在该服务器上的地址往往是透明的,这也降低了数据的安全性。
为了解决上述技术问题,本公开实施例提供了一种数据处理方法,该方法适用于数据处理程序、系统或装置中,用于第一终端,如图1所示,
在步骤S101中,接收来自第二终端的数据请求,其中,数据请求用于请求目标数据;
其中,第二终端可以是用户的客户端,而第一终端可以是能够根据数据请求自动生成目标地址的服务器、或者手机、平板、PC机(personal computer,电脑)等设备,且第一终端和第二终端可以通过有线、或者无线方式相连接,如通过蓝牙、红外、互联网、WiFi、移动数据网络等方式相连接;
该目标数据可以是电影、电视剧、音乐、小说、综艺节目等各种类型的数据,且该目标数据可以是一个完整的数据(如一集完整的电视剧、一个完整的电影、小说等)、也可以是一个完整的数据中的若干个逻辑碎片(如一集完整的电视剧中的若干段电视剧、一个完整的电影的若干段电影、一章完整的小说中的若干小节、或者若干段落、若干语句等)。
在步骤S102中,根据数据请求,生成与数据请求相应的目标地址,其中,目标地址对应于目标数据在目标缓存服务器上的碎片缓存地址和目标数据在目标数据服务器上的目标虚拟文件名;
目标地址是随机生成的,并不是该目标数据在目标缓存服务器上的真实的碎片缓存地址和该目标数据在目标数据服务器上的目标虚拟文件名,但却与碎片缓存地址和目标虚拟文件名相对应,因而,一方面,用户能够根据该目标地址请求到所需的目标数据,另一方面,由于该碎片缓存地址和目标虚拟文件名对用户而言是非透明的,用户无法很清楚地了解目标数据在目标缓存服务器和数据服务器上的真实地址,所以,有利于提高目标数据的数据安全性;
其次,碎片缓存地址为该目标数据在目标缓存服务器上的具体存储地址,目标虚拟文件名映射了该目标数据在目标数据服务器上的真实的预设存储地址,另外,当目标缓存服务器上并未存储该目标数据时,该碎片缓存地址可能为空、也可能为预先为该目标数据中的逻辑碎片分配的若干个在目标缓存服务器上的缓存地址;
另外,该第一终端、第二终端、目标缓存服务器、目标数据服务器的连接关系为:
第二终端——第一终端——目标缓存服务器——目标数据服务器,即:
第二终端与第一终端直接相连接,第一终端与目标缓存服务器直接相连接,目标缓存服务器与目标数据服务器直接相连接,且该目标缓存服务器可能为多个缓存服务器。
在步骤S103中,将目标地址发送至第二终端,以使第二终端根据目标地址请求目标数据。
通过将目标地址发送至第二终端,既可以使第二终端根据该目标地址请求目标数据,使第二终端可以及时获得该目标数据,满足第二终端的使用需求,又可以通过这个与碎片缓存地址和目标虚拟文件名相对应的目标地址来掩盖该目标数据在目标缓存服务器上的真实缓存地址和在目标数据服务器上的真实存储地址,使得该目标数据的真实地址相对用户来说是非透明的,从而提供了该目标数据的安全性。
如图2所示,在一个实施例中,上述图1中的步骤S102可被执行为:
在步骤S201中,确定目标数据在目标数据服务器上的预设存储地址,其中,该预设存储地址为该目标数据在目标数据服务器上的真实存储地址;
在步骤S202中,获取与数据请求相关的特征信息;
在步骤S203中,根据预设存储地址和特征信息,生成目标地址,其中,目标虚拟文件名与预设存储地址相映射,可以是一个36进制的虚拟文件名,目标缓存服务器可以通过该36进制虚拟文件名解析出该目标数据所在的大文件在目标数据服务器上的预设存储地址,而36进制相当于对预设存储地址进行了加密,可以防止倒链,且目标地址映射了目标数据在目标缓存服务器上的地址和目标数据在目标数据服务器上的目标虚拟文件名;另外,由于目标虚拟文件名也仅仅与预设存储地址相映射,并没有真实反映出该目标数据在目标数据服务器上真实的预设存储地址,因而,目标地址对应于目标数据在目标数据服务器上的目标虚拟文件名不仅可以表示目标地址中的部分地址与该目标虚拟文件名相映射,同时也可以表示目标虚拟文件名真实包含在该目标地址中,只是目标地址对应于目标数据在目标数据服务器上的目标虚拟文件名如果表示为目标地址中的部分地址与该目标虚拟文件名相映射,则进一步掩盖了该预设存储地址,使得该预设存储地址和目标数据的安全性更高。
由于目标数据可能对应若干个逻辑分片、分散存储在目标缓存服务器上的若干个小文件中,因而,该目标地址可能为若干个地址,同时,由于目标数据经逻辑分片后形成的若干个小文件可能存储在不同的缓存服务器上,因而,该目标缓存服务器可能为多个缓存服务器。
根据该预设存储地址和特征信息,可以自动生成与该碎片缓存地址和目标虚拟文件名相映射的目标地址;而由于该目标地址是随机生成的,并不是该目标数据在目标缓存服务器上的真实的碎片缓存地址和该目标数据在目标数据服务器上的目标虚拟文件名,但却与碎片缓存地址和目标虚拟文件名相对应,因而,一方面,用户能够根据该目标地址请求到所需的目标数据,另一方面,由于该碎片缓存地址和目标虚拟文件名对用户而言是非透明的,用户无法很清楚地了解目标数据在目标缓存服务器和数据服务器上的真实地址,所以,有利于提高目标数据的数据安全性。
在一个实施例中,上述图2中的步骤S202可被执行为:
获取与数据请求相关的以下至少一种信息:
第二终端的标识,该标识包括:该第二终端的IP地址(Internet ProtocolAddress,又译为网际协议地址)、MAC地址(Media Access Control或者Medium AccessControl,媒体访问控制)、该第二终端的品牌和编号等用于唯一标识该第二终端的信息;
接收到数据请求的当前时间;
目标数据的时长;
目标数据的名称。
通过获取第二终端的标识、该当前时间、该目标数据的时长、名称等至少一项信息,并确定该至少一项信息为特征信息,进而结合该预设存储地址和该特征信息,和一定的地址算法,可以自动、随机地生成该目标地址;
其次,目标数据服务器存储的各文件都是完整的大文件,因而,目标缓存服务器也存储有目标数据对应的完整文件(即目标数据对应的完整数据在目标数据服务器上仅存储在一个文件中),但目标数据在目标缓存服务器上是经过逻辑分片的(如:第0-1024帧为片1、第1025-2048帧为片2……以此类推,或者0-10s为一个片1、10-20s为一个片2、20-30s为一个片3……以此类推,其中,每个逻辑分片就是一份逻辑碎片数据),因而,目标数据在目标缓存服务器可能存储在若干个小文件(即若干个逻辑碎片)中,而用户请求目标数据时,又是先向目标缓存服务器请求的,所以,该目标地址可能为若干个与小文件数目相同的碎片地址,例如:在存储该目标数据时,第一终端会根据该时长和逻辑分片最小时长,并按照一定的地址算法,随机生成M个地址(此时,目标地址为这M个地址,且M=时长与逻辑分片最小时长的商),相应地,目标数据在目标缓存服务器上就被逻辑分片为M个小文件,并缓存在N个缓存服务器上(此时,目标缓存服务器即这N个缓存服务器,N小于或等于M);
另外,在按照一定的地址算法,随机生成该目标地址时,通过结合该当前时间,可以使该目标地址具有时效性,使得该目标地址具有时间戳,进而使得该目标地址在该当前时间之后的一定时间(如半分钟)就失效,以防止非法用户通过非法获得该目标地址而获取该目标数据,从而进一步提高了该目标数据的安全性。
最后,由于该目标地址是随机生成的,每次都不一样,例如:即便请求相同的目标数据,由于该当前时间不同,该目标地址也就不同,因而,这可以进一步提高该目标数据的安全性。
如图3所示,本发明还提供了另一种数据处理方法,用于第二终端,包括:
在步骤S301中,生成数据请求,并将数据请求发送第一终端,其中,数据请求用于请求目标数据,其中,第一终端和第二终端分别与上文中的第一终端和第二终端相同,此处不再赘述;
在步骤S302中,接收第一终端根据数据请求生成的目标地址,其中,目标地址对应于目标数据在目标缓存服务器上的碎片缓存地址和目标数据在目标数据服务器上的目标虚拟文件名;
在步骤S303中,根据目标地址请求目标数据。
在根据用户请求生成数据请求时,通过将该数据请求发送第一终端,可以接收该第一终端根据该数据请求生成的目标地址,进而根据该目标地址可以及时请求到目标数据,从而满足第二终端对目标数据的使用需求,同时由于这个目标地址仅仅与碎片缓存地址和目标虚拟文件名相对应,掩盖了该目标数据在目标缓存服务器上的真实缓存地址和在目标数据服务器上的真实存储地址,使得该目标数据的真实地址相对用户来说是非透明的,因而,有利于该目标数据的安全性。
在一个实施例中,上述步骤S303可被执行为:
根据目标地址,向与碎片缓存地址相应的目标缓存服务器请求目标数据,其中,目标缓存服务器根据目标地址解析出碎片缓存地址,且在碎片缓存地址中查找到目标数据时,将目标数据发送至第二终端,在碎片缓存地址中未查找到目标数据时,根据目标地址解析出目标虚拟文件名,进而根据目标虚拟文件名解析出目标数据在目标数据服务器上的预设存储地址,以根据预设存储地址,从目标数据服务器中请求目标数据,并将目标数据发送至第二终端,其中,目标虚拟文件名与预设存储地址相映射;
接收目标缓存服务器发送的目标数据,其次,当目标数据为若干个逻辑碎片(即若干个逻辑碎片数据)时,则该目标地址就为若干个碎片地址,则当该目标地址为若干个碎片地址时,碎片缓存地址就为若干个与各碎片地址相应的缓存地址,此时,步骤“根据目标地址,向与碎片缓存地址相应的目标缓存服务器请求目标数据”就可被执行为:(同时或者顺次)根据若干个碎片地址向与若干个缓存地址相应的目标缓存服务器请求若干个逻辑碎片(即若干个逻辑碎片数据)。
目标缓存服务器上预存储有与第一终端中的地址算法相应的地址解析算法,因而,在接收到目标地址时,可以根据目标数据的名称等信息一一解析出该目标数据的碎片文件在目标缓存服务器上的具体的碎片缓存地址,进而在该碎片缓存地址中查找该目标数据在该目标缓存服务器上的碎片文件,若查找到,则直接将目标数据的碎片文件返回给第二终端,若未查找到则进一步先解析出与该碎片缓存地址相映射的目标数据在该目标数据服务器上的目标虚拟文件名,进而根据该目标虚拟文件名解析出该目标数据在该目标数据服务器上的真实存储地址(即该预设存储地址),以获取该目标数据,并将该目标数据返回给第二终端,以使第二终端在不清楚该目标数据在目标缓存服务器上的真实缓存地址和在目标数据服务器上的真实存储地址的基础上,可以及时获得该目标数据。
其次,目标缓存服务器在根据该预设存储地址,从目标数据服务器中请求到目标数据时,会先读取该目标数据,将该目标数据缓存到本地,进而再将该目标数据发送至第二终端,以避免需要重复向目标缓存服务器请求目标数据。
另外,目标缓存服务器在该碎片缓存地址中未查找到该目标数据时,在根据该目标地址解析出该目标虚拟文件名之前,还可以向其他缓存服务器发出询问,以确定其他缓存服务器中是否缓存有该目标数据,如果未缓存有该目标数据,则再解析该目标虚拟文件名,进而向目标数据服务器请求该目标数据,从而可以避免多个缓存服务器缓存相同的数据,这样既节省存储空间,又减少目标节目的读取。
在一个实施例中,目标数据服务器上存储有目标数据的完整数据,该目标数据的完整数据即该目标数据所属的完整节目的数据(可以为任意格式,如M3U8、MP4、DV-AVI等数据格式),例如:当该目标数据为整个A影片时,该完整数据就是该整个A影片本身,当该目标数据为整个A影片中某部分影片时,该完整数据就是整个A影片;
目标数据服务器上存储有该目标数据的完整数据,表示目标数据服务器并没有将目标数据进行物理分割或者逻辑分片,而是通过完整的大文件来完整地存储目标数据的完整数据的,例如:当该目标数据是一个预设时长的完整节目时,该目标数据服务器就通过一个大文件来完整地存储该预设时长的完整节目(例如:当目标数据是某电视剧的第p集电视时,该目标数据服务器就通过一个大文件q来完整地存储第p集电视的完整数据),当该目标数据是一个完整节目中的某段节目时,该完整节目仍然是存储在该目标数据服务器中的一个大文件中的(例如:当该目标数据是某电视剧的第p集电视中的第m片段时,该目标数据服务器仍然可以使用大文件q来完整地存储第p集电视的完整数据),而这种直接存储完整数据的方式,不仅可以避免逻辑分片或者物理分割数据而带来的麻烦,同时也降低了数据管理的复杂度,且由于目标数据的完整数据是存储在一个大文件中的,因而,可以避免在多个小文件中查找该目标数据,有利于加快数据请求的速率。
目标缓存服务器上存储有完整数据相映射的逻辑碎片数据,且碎片缓存地址与预设存储地址相对应,该逻辑碎片数据的格式也可以是M3U8格式(其中,M3U8文件是指UTF-8编码格式的M3U文件)、或者MP4等数据格式。
由于目标缓存服务器是将该完整数据进行逻辑分片后,将得到的逻辑碎片数据进行分片存储的,即按照该完整数据的时长和逻辑分片最小时长将该完整数据逻辑分片为M(M=时长与逻辑分片最小时长的商)个连续的逻辑碎片数据,进而缓存在M个小文件中的(如当逻辑分片最小时长为1分钟时,若一个完整数据的时长为1小时,则目标缓存服务器就会将该完整数据逻辑分片为60个小逻辑碎片数据,然后存储在60个小文件中),这便于第二终端请求或下载某些逻辑碎片数据;
其次,由于逻辑分片只是在逻辑上将该完整数据分为若干个逻辑碎片数据,进而存储在若干个小文件中,并不需要进行实际的物理切割,所以,可以降低缓存服务器的负担。
如图4所示,本发明还提供一种数据处理装置,包括:
接收模块401,被配置为接收来自第二终端的数据请求,其中,所述数据请求被配置为请求目标数据;
生成模块402,被配置为根据所述数据请求,生成与所述数据请求相应的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
发送模块403,被配置为将所述目标地址发送至所述第二终端,以使所述第二终端根据所述目标地址请求所述目标数据。
如图5所示,在一个实施例中,所述生成模块402包括:
确定子模块4021,被配置为确定所述目标数据在所述目标数据服务器上的预设存储地址;
获取子模块4022,被配置为获取与所述数据请求相关的特征信息;
生成子模块4023,被配置为根据所述预设存储地址和所述特征信息,生成所述目标地址,其中,所述目标虚拟文件名与所述预设存储地址相映射。
在一个实施例中,所述获取子模块4022具体被配置为:
获取与所述数据请求相关的以下至少一种信息:
所述第二终端的标识;
接收到所述数据请求的当前时间;
所述目标数据的时长;
所述目标数据的名称。
如图6所示,本发明还提供另一种数据处理装置,包括:
处理模块601,被配置为生成数据请求,并将所述数据请求发送第一终端,其中,所述数据请求被配置为请求目标数据;
接收模块602,被配置为接收所述第一终端根据所述数据请求生成的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
请求模块603,被配置为根据所述目标地址请求所述目标数据。
如图7所示,在一个实施例中,所述请求模块603包括:
请求子模块6031,被配置为根据所述目标地址,向与所述碎片缓存地址相应的所述目标缓存服务器请求所述目标数据,其中,所述目标缓存服务器根据所述目标地址解析出所述碎片缓存地址,且在所述碎片缓存地址中查找到所述目标数据时,将所述目标数据发送至所述第二终端,在所述碎片缓存地址中未查找到所述目标数据时,根据所述目标地址解析出所述目标虚拟文件名,进而根据所述目标虚拟文件名解析出所述目标数据在目标数据服务器上的预设存储地址,以根据所述预设存储地址,从所述目标数据服务器中请求所述目标数据,其中,所述目标虚拟文件名与所述预设存储地址相映射;
接收子模块6032,被配置为接收所述目标缓存服务器发送的所述目标数据。
在一个实施例中,所述目标数据服务器上存储有所述目标数据的完整数据;
所述目标缓存服务器上存储有所述完整数据相映射的逻辑碎片数据,且所述碎片缓存地址与所述预设存储地址相对应。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
最后,本发明中的数据处理装置适用于第二终端设备。例如,可以是移动电话,计算机,数字广播第二终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种数据处理方法,用于第一终端,其特征在于,包括:
接收来自第二终端的数据请求,其中,所述数据请求用于请求目标数据;
根据所述数据请求,生成与所述数据请求相应的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
将所述目标地址发送至所述第二终端,以使所述第二终端根据所述目标地址请求所述目标数据;
所述根据所述数据请求,生成与所述数据请求相应的目标地址,包括:
确定所述目标数据在所述目标数据服务器上的预设存储地址;
获取与所述数据请求相关的特征信息;
根据所述预设存储地址和所述特征信息,生成所述目标地址,其中,所述目标虚拟文件名与所述预设存储地址相映射。
2.根据权利要求1所述的方法,其特征在于,
所述获取与所述数据请求相关的特征信息,包括:
获取与所述数据请求相关的以下至少一种信息:
所述第二终端的标识;
接收到所述数据请求的当前时间;
所述目标数据的时长;
所述目标数据的名称。
3.一种数据处理方法,用于第二终端,其特征在于,包括:
生成数据请求,并将所述数据请求发送第一终端,其中,所述数据请求用于请求目标数据;
接收所述第一终端根据所述数据请求生成的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
根据所述目标地址请求所述目标数据;
所述根据所述目标地址请求所述目标数据,包括:
根据所述目标地址,向与所述碎片缓存地址相应的所述目标缓存服务器请求所述目标数据,其中,所述目标缓存服务器根据所述目标地址解析出所述碎片缓存地址,且在所述碎片缓存地址中查找到所述目标数据时,将所述目标数据发送至所述第二终端,在所述碎片缓存地址中未查找到所述目标数据时,根据所述目标地址解析出所述目标虚拟文件名,进而根据所述目标虚拟文件名解析出所述目标数据在所述目标数据服务器上的预设存储地址,以根据所述预设存储地址,从所述目标数据服务器中请求所述目标数据,其中,所述目标虚拟文件名与所述预设存储地址相映射;
接收所述目标缓存服务器发送的所述目标数据。
4.根据权利要求3所述的方法,其特征在于,
所述目标数据服务器上存储有所述目标数据的完整数据;
所述目标缓存服务器上存储有所述完整数据相映射的逻辑碎片数据,且所述碎片缓存地址与所述预设存储地址相对应。
5.一种数据处理装置,用于第一终端,其特征在于,包括:
接收模块,用于接收来自第二终端的数据请求,其中,所述数据请求用于请求目标数据;
生成模块,用于根据所述数据请求,生成与所述数据请求相应的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
发送模块,用于将所述目标地址发送至所述第二终端,以使所述第二终端根据所述目标地址请求所述目标数据;
所述生成模块包括:
确定子模块,用于确定所述目标数据在所述目标数据服务器上的预设存储地址;
获取子模块,用于获取与所述数据请求相关的特征信息;
生成子模块,用于根据所述预设存储地址和所述特征信息,生成所述目标地址,其中,所述目标虚拟文件名与所述预设存储地址相映射。
6.根据权利要求5所述的装置,其特征在于,
所述获取子模块具体用于:
获取与所述数据请求相关的以下至少一种信息:
所述第二终端的标识;
接收到所述数据请求的当前时间;
所述目标数据的时长;
所述目标数据的名称。
7.一种数据处理装置,用于第二终端,其特征在于,包括:
处理模块,用于生成数据请求,并将所述数据请求发送第一终端,其中,所述数据请求用于请求目标数据;
接收模块,用于接收所述第一终端根据所述数据请求生成的目标地址,其中,所述目标地址对应于所述目标数据在目标缓存服务器上的碎片缓存地址和所述目标数据在目标数据服务器上的目标虚拟文件名;
请求模块,用于根据所述目标地址请求所述目标数据;
所述请求模块包括:
请求子模块,用于根据所述目标地址,向与所述碎片缓存地址相应的所述目标缓存服务器请求所述目标数据,其中,所述目标缓存服务器根据所述目标地址解析出所述碎片缓存地址,且在所述碎片缓存地址中查找到所述目标数据时,将所述目标数据发送至所述第二终端,在所述碎片缓存地址中未查找到所述目标数据时,根据所述目标地址解析出所述目标虚拟文件名,进而根据所述目标虚拟文件名解析出所述目标数据在目标数据服务器上的预设存储地址,以根据所述预设存储地址,从所述目标数据服务器中请求所述目标数据,其中,所述目标虚拟文件名与所述预设存储地址相映射;
接收子模块,用于接收所述目标缓存服务器发送的所述目标数据。
8.根据权利要求7所述的装置,其特征在于,
所述目标数据服务器上存储有所述目标数据的完整数据;
所述目标缓存服务器上存储有所述完整数据相映射的逻辑碎片数据,且所述碎片缓存地址与所述预设存储地址相对应。
CN201610320313.4A 2016-05-13 2016-05-13 一种数据处理方法及装置 Expired - Fee Related CN106022161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610320313.4A CN106022161B (zh) 2016-05-13 2016-05-13 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610320313.4A CN106022161B (zh) 2016-05-13 2016-05-13 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN106022161A CN106022161A (zh) 2016-10-12
CN106022161B true CN106022161B (zh) 2018-09-25

Family

ID=57097139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610320313.4A Expired - Fee Related CN106022161B (zh) 2016-05-13 2016-05-13 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN106022161B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810609A (zh) * 2017-04-27 2018-11-13 深圳市优朋普乐传媒发展有限公司 一种存储管理方法、设备及系统
CN107995177A (zh) * 2017-11-27 2018-05-04 浪潮软件集团有限公司 一种数据传输系统及方法
CN114968088B (zh) * 2022-04-08 2023-09-05 中移互联网有限公司 文件存储方法、文件读取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025410A2 (en) * 2000-09-15 2002-03-28 Koninklijke Philips Electronics N.V. Protect by data chunk address as encryption key
CN101472166A (zh) * 2007-12-26 2009-07-01 华为技术有限公司 一种内容缓存、查询方法及点对点媒体传输系统
CN103346998A (zh) * 2013-05-18 2013-10-09 北京凯锐立德科技有限公司 一种基于文件破碎加密的文档安全保护方法
CN104298937A (zh) * 2013-07-15 2015-01-21 英飞凌科技股份有限公司 用于存储器地址加密的装置和方法
CN104503707A (zh) * 2014-12-24 2015-04-08 华为技术有限公司 读取数据的方法以及装置
CN104954890A (zh) * 2015-06-24 2015-09-30 深圳市世文通文化传播有限公司 一种云存储图像粉碎均发方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025410A2 (en) * 2000-09-15 2002-03-28 Koninklijke Philips Electronics N.V. Protect by data chunk address as encryption key
CN101472166A (zh) * 2007-12-26 2009-07-01 华为技术有限公司 一种内容缓存、查询方法及点对点媒体传输系统
CN103346998A (zh) * 2013-05-18 2013-10-09 北京凯锐立德科技有限公司 一种基于文件破碎加密的文档安全保护方法
CN104298937A (zh) * 2013-07-15 2015-01-21 英飞凌科技股份有限公司 用于存储器地址加密的装置和方法
CN104503707A (zh) * 2014-12-24 2015-04-08 华为技术有限公司 读取数据的方法以及装置
CN104954890A (zh) * 2015-06-24 2015-09-30 深圳市世文通文化传播有限公司 一种云存储图像粉碎均发方法

Also Published As

Publication number Publication date
CN106022161A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN110121871B (zh) 对于流式内容部分的基于请求的编码系统和方法
CN103856569B (zh) 一种同步域名系统资源信息的方法及设备
CN102882939B (zh) 负载均衡方法、设备及泛域名加速访问系统
WO2016026384A1 (zh) 一种客户端页面显示方法、装置及系统
CN103036969B (zh) 用于提供文件下载地址的管理设备及方法
US8078686B2 (en) High performance file fragment cache
US20140067990A1 (en) Method for accessing a content item in a cloud storage system, and a corresponding cloud broker, cloud cache agent and client application
CN108184170B (zh) 一种数据处理方法及装置
CN104283933A (zh) 下载数据的方法、客户端及系统
US8909808B2 (en) Redundancy elimination for web caching
CN106022161B (zh) 一种数据处理方法及装置
CN104714965A (zh) 静态资源去重方法、静态资源管理方法及装置
CN106878370A (zh) 一种本地缓存的更新方法和设备
CN107809684B (zh) 视频切片生成方法和装置、缓存服务器
CN105893607A (zh) 页面数据管理方法、装置及数据服务器
CN107801051A (zh) 虚拟切片信息传输方法和装置、视频服务器
CN108494875A (zh) 一种反馈资源文件的方法和装置
CN111225248B (zh) 点播内容的管理方法及内容分发网络点播服务器
EP2959661B1 (en) Method, apparatus and system for processing user generated content
US10015012B2 (en) Precalculating hashes to support data distribution
KR20150011087A (ko) 컨텐츠 전송 서비스를 위한 분산 캐싱 관리 방법 및 이를 위한 중앙 관리 장치
CN104717254B (zh) 文件访问的方法和云网关
CN105812894A (zh) 一种基于智能终端的视频文件处理方法和装置
WO2022057935A1 (zh) 一种基于内容分发网络获取数据的方法及装置
CN113411364A (zh) 资源获取方法、装置及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A data processing method and device

Effective date of registration: 20210104

Granted publication date: 20180925

Pledgee: Inner Mongolia Huipu Energy Co.,Ltd.

Pledgor: TVMINING (BEIJING) MEDIA TECHNOLOGY Co.,Ltd.

Registration number: Y2020990001527

PE01 Entry into force of the registration of the contract for pledge of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180925

Termination date: 20210513

CF01 Termination of patent right due to non-payment of annual fee