CN104077338A - 一种数据处理的方法及装置 - Google Patents

一种数据处理的方法及装置 Download PDF

Info

Publication number
CN104077338A
CN104077338A CN201310257141.7A CN201310257141A CN104077338A CN 104077338 A CN104077338 A CN 104077338A CN 201310257141 A CN201310257141 A CN 201310257141A CN 104077338 A CN104077338 A CN 104077338A
Authority
CN
China
Prior art keywords
data
data point
digest value
content
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310257141.7A
Other languages
English (en)
Other versions
CN104077338B (zh
Inventor
黄耀先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310257141.7A priority Critical patent/CN104077338B/zh
Priority to PCT/CN2014/080326 priority patent/WO2014206242A1/en
Publication of CN104077338A publication Critical patent/CN104077338A/zh
Priority to US14/730,326 priority patent/US10268715B2/en
Application granted granted Critical
Publication of CN104077338B publication Critical patent/CN104077338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2237Vectors, bitmaps or matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments

Abstract

本发明公开了一种数据处理的方法,包括:逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。本发明实施例提供的数据处理的方法,可以降低数据的存储空间,减少运行时内存的开销。

Description

一种数据处理的方法及装置
技术领域
本发明涉及数据处理技术领域,具体涉及一种数据处理的方法及装置。 
背景技术
现有技术中在制作游戏或者其他应用时,首先要针对应用场景制作很多图片,然后将多个图片封装在一个文件中,一个应用通常有很多个文件。 
在对现有技术的研究和实践过程中,本发明的发明人发现一个应用中可能会有很多场景是重复的,所以,这些涉及到该应用的多个文件中所包含的图片也有很多是重复的,这样,就导致这些重复的数据占用了很多的存储空间,而且运行时还增加了内存的开销。 
发明内容
本发明实施例提供一种数据处理的方法,可以降低数据的存储空间,减少运行时内存的开销。本发明实施例还提供了相应的装置。 
本发明第一方面提供一种数据处理的方法,包括: 
逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较; 
当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容; 
建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。 
结合第一方面,在第一种可能的实现方式中,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括: 
根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集; 
对应的,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行 比较,包括: 
逐点计算每个数据点集中的所有数据点数据内容的摘要值; 
将所述同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。 
结合第一方面或第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括: 
逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。 
结合第一方面或第一方面第一种可能的实现方式,在第三种可能的实现方式中,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括: 
加载与所述所有数据点关联的所有文件,并检测所述所有文件; 
当所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。 
结合第一方面第三种可能的实现方式,在第四种可能的实现方式中,所述方法还包括: 
合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。 
本发明第二方面提供一种数据处理装置,包括: 
计算单元,用于逐点计算所有数据点数据内容的摘要值; 
比较单元,用于将所述计算单元计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较; 
删除单元,用于当所述比较单元比较出所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容; 
映射建立单元,用于建立所述删除单元删除数据内容的后一数据点的摘要 值与所述任一数据点数据内容之间的映射关系。 
结合第二方面,在第一种可能的实现方式中,所述数据处理装置还包括: 
划分单元,用于根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集; 
所述计算单元,还用于逐点计算所述划分单元划分后的每个数据点集中的所有数据点数据内容的摘要值; 
所述比较单元,用于将所述划分单元划分后的同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。 
结合第二方面或第二方面第一种可能的实现方式,在第二种可能的实现方式中, 
所述比较单元,用于逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。 
结合第二方面或第二方面第一种可能的实现方式,在第三种可能的实现方式中,所述数据处理装置还包括: 
加载单元,用于加载与所述所有数据点关联的所有文件; 
检测单元,用于检测所述加载单元加载的所有文件; 
获取单元,用于当所述检测单元检测出所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。 
结合第二方面第三种可能的实现方式,在第四种可能的实现方式中,所述数据处理装置还包括: 
合并单元,用于合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。 
本发明实施例采用逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个 数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。与现有技术中重复数据占用内存相比,本发明实施例提供的数据处理的方法,可以降低数据的存储空间,减少运行时内存的开销。 
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。 
图1是本发明实施例中数据处理的方法的一实施例示意图; 
图2是本发明实施例中数据处理的方法的另一实施例示意图; 
图3是本发明实施例数据处理装置的一实施例示意图; 
图4是本发明实施例数据处理装置的另一实施例示意图; 
图5是本发明实施例数据处理装置的另一实施例示意图; 
图6是本发明实施例数据处理装置的另一实施例示意图; 
图7是本发明实施例数据处理装置的另一实施例示意图。 
具体实施方式
本发明实施例提供一种数据处理的方法,可以降低数据的存储空间,减少运行时内存的开销。本发明实施例还提供了相应的装置。以下分别进行详细说明。 
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 
本发明实施例中的数据处理装置可以为个人计算机(Personal Computer,PC)、笔记本电脑、私人数字助理(Personal Digital Assitant,PDA)、手机等。 
参阅图1,本发明实施例提供的数据处理的方法的一实施例包括: 
101、逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。 
本发明实施例中的摘要值为使用信息摘要(message digest,MD4)算法计算得到的摘要值。 
比较摘要值的过程可以理解为:当后一数据点位第20个数据点时,可以将第20个点的摘要值与前面19个数据点的摘要值分别比较。 
102、当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容。 
当第20个点的摘要值与第8个数据点的摘要值相同时,说明第20个点的数据内容与第8个数据点的数据内容相同,为了节省存储空间,针对数据内容相同的数据点,可以只保留一个数据点的数据内容,其他数据点的相同数据内容都删除。 
103、建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。 
当第20个点的数据内容与第8个数据点的数据内容相同时,可以删除第8个数据点的数据内容,然后,建立第20个数据点的摘要值与第8个数据点的数据内容之间的映射关系,这样,在使用第20个数据点的数据内容时,可以调用第8个数据点的数据内容。 
本发明实施例采用逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。与现有技术中重复数据占用内存相比,本发明实施例提供的数据处理的方法,可以降低数据的存储空间,减少运行时内存的开销。 
可选地,在上述图1对应的实施例的基础上,本发明实施例提供的数据处理的方法的一可选实施例中,所述逐点计算所有数据点数据内容的摘要值的步 骤之前,还可以包括: 
根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集; 
对应的,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括: 
逐点计算每个数据点集中的所有数据点数据内容的摘要值; 
将所述同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。 
本发明实施例中,数据内容大小相同的数据点的摘要值不一定相同,但数据内容大小不相同的数据点的摘要值一定不相同,所以,可以先根据数据内容的大小对所有数据点进行划分,将数据内容大小相同的数据点划分到一个数据点集中,然后,针对同一点集中的每个数据点计算摘要值,再比较弄一点集中的数据点的摘要值,这样,可以减少比较的次数,提高内存的运行效率。 
可选地,在上述图1对应的实施例或图1对应的一可选实施例的基础上,本发明实施例提供的数据处理的方法的另一可选实施例中,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,可以包括: 
逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。 
本发明实施例中,在比较摘要值时可以是边计算边比较,实际上,也可以是将所有点的摘要值都计算完了,再比较。本发明实施例中,优选在计算出每个数据点的摘要值后直接与前面数据点的摘要值进行比较。 
可选地,在上述图1对应的实施例或图1对应的一可选实施例的基础上,本发明实施例提供的数据处理的方法的另一可选实施例中,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还可以包括: 
加载与所述所有数据点关联的所有文件,并检测所述所有文件; 
当所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。 
本发明实施例中,与所述所有数据点关联的所有文件为:直接包含所有数据点中全部或者部分数据点的文件或者通过该文件的文件名可以获取到所有数据点中全部或者部分数据点的文件。 
例如:所有数据点有200个,有4个文件,每个文件中包含50个数据点,加载的每个文件中可以直接包含这50个数据点,加载的文件也可以是空文件,当根据该空文件的文件名可以获取到这个空文件中应该包含的50个数据点。 
可选地,在上述图1对应的另一可选实施例的基础上,本发明实施例提供的数据处理的方法的另一可选实施例中,所述方法还可以包括: 
合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。 
本发明实施例中,数据点可以为一张图片,合并数据点,实际上就是合并图片,当一个文件中,有5个数据点,其中有1个数据点的数据内容建立了与其他文件中的数据点数据内容的摘要值得映射关系,那么可以将剩下的4个数据点合并,也就是将4幅图片合并。图片合并后在数据运行时可以提高加载速度,例如:原来4幅图片,需要加载4次,现在合并成1幅图片后,只需加载一次。当然,对于几个图片合并成一个图片,可以根据图片的大小而定,而且在图片合成时要根据每个小图片在应用场景中出现的时间而设置图片迁移规则。 
为了便于理解,下面以一个应用场景为例,说明本发明实施例中数据处理的过程: 
在玩一个游戏前,加载与该游戏相关的数据的所有文件,例如:有5个文件,每个文件中有20个数据点,共有100个数据点,先检测这100个数据点的数据内容的大小,检测后确定这100个数据点数据内容的大小有四种,根据数据内容的大小,将这100个数据点划分到四个数据点集中,每个数据点集中有25个数据点,假设这四个数据点集的名字分别为A、B、C和D。 
分别在A、B、C和D四个数据点集中逐个计算数据点数据内容的摘要值,以数据点集A为例,从第一个数据点开始,计算第一个数据点数据内容的摘要 值,计算第二个数据点数据内容的摘要值时,将第二个数据点数据内容的摘要值与第一个数据点数据内容的摘要值进行比较,当比较结果不同时,继续计算第三个数据点数据内容的摘要值,当比较结果相同时,删除第二个数据点的数据内容,建立第二个数据点数据内容的摘要值与第一个数据点的数据内容的映射关系。这样,在使用第二个数据点时,去调用第一个数据点的数据内容即可。以此类推,当计算到第25个数据点数据内容的摘要值后,将第25个数据点数据内容的摘要值与第1-24个数据点数据内容的摘要值分别比较,比较后的处理方式,与上述第一个和第二个数据点的处理方式相同,在此不再赘述。 
参阅图2,图2中示出了6个数据点,分别为数据点1、数据点2、数据点3、数据点4、数据点5和数据点6,根据数据点数据内容的大小数据点1、数据点2、数据点3划分到了数据点集A中,数据点4、数据点5和数据点6划分到了数据点集B中,计算数据点集A中的数据点1、数据点2、数据点3的数据内容的摘要值各不相同,再计算数据点集B中数据点4、数据点5和数据点6的数据内容的摘要值,计算出数据点5和数据点6的数据内容的摘要值相同,这样,就可以删除数据点6的数据内容,将数据点6的摘要值与数据点5的数据内容建立映射关系。 
参阅图3,本发明实施例提供的数据处理装置20的一实施例包括: 
计算单元201,用于逐点计算所有数据点数据内容的摘要值; 
比较单元202,用于将所述计算单元201计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较; 
删除单元203,用于当所述比较单元202比较出所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容; 
映射建立单元204,用于建立所述删除单元203删除数据内容的后一数据点的摘要值与所述任一数据点数据内容之间的映射关系。 
本发明实施例中,计算单元201逐点计算所有数据点数据内容的摘要值;比较单元202将所述计算单元201计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;删除单元203当所述比较单元202比较出所述后一数据点数据内容的摘要值与所述后一数据点 之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;映射建立单元204建立所述删除单元203删除数据内容的后一数据点的摘要值与所述任一数据点数据内容之间的映射关系。与现有技术中重复数据占用内存相比,本发明实施例提供的数据处理装置,可以降低数据的存储空间,减少运行时内存的开销。 
在上述图3对应的实施例的基础上,参阅图4,本发明实施例提供的数据处理装置的另一实施例中,所述数据处理装置20还包括: 
划分单元205,用于根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集; 
所述计算单元201,还用于逐点计算所述划分单元205划分后的每个数据点集中的所有数据点数据内容的摘要值; 
所述比较单元206,用于将所述划分单元205划分后的同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。 
在上述图3或图4对应的实施例的基础上,本发明实施例提供的数据处理装置20的另一实施例中, 
所述比较单元202,用于逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。 
在上述图3对应的实施例的基础上,参阅图5,本发明实施例提供的数据处理装置20的另一实施例中,所述数据处理装置20还包括: 
加载单元206,用于加载与所述所有数据点关联的所有文件; 
检测单元207,用于检测所述加载单元206加载的所有文件; 
获取单元208,用于当所述检测单元207检测出所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。 
在上述图5对应的实施例的基础上,参阅图6,本发明实施例提供的数据处理装置20的另一实施例中,所述数据处理装置20还包括: 
合并单元209,用于合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。 
请参考图7,其示出了本发明实施例所涉及的数据处理装置的结构示意图,该装置可以用于实施上述实施例中提供的数据处理的方法。具体来讲: 
装置1200可以包括RF(Radio Frequency,射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(wireless fidelity,无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解,图7中示出的装置结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中: 
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。 
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据装置1200的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失 性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。 
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。 
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及装置1200的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图7中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。 
装置1200还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中, 环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在装置1200移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于装置1200还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。 
音频电路160、扬声器161,传声器162可提供用户与装置1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一装置,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与装置1200的通信。 
WiFi属于短距离无线传输技术,装置1200通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块170,但是可以理解的是,其并不属于装置1200的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。 
处理器180是装置1200的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行装置1200的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。 
装置1200还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的 直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。 
尽管未示出,装置1200还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,装置的显示单元是触摸屏显示器,装置还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令: 
逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较; 
当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容; 
建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。 
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,所述装置的存储器中,还包含用于执行以下操作的指令: 
所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括: 
根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集; 
对应的,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括: 
逐点计算每个数据点集中的所有数据点数据内容的摘要值; 
将所述同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。 
在第一种或第二种可能的实施方式作为基础而提供的第三种可能的实施方式中,所述装置的存储器中,还包含用于执行以下操作的指令: 
逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行 比较。 
在第一种或第二种可能的实施方式作为基础而提供的第四种可能的实施方式中,所述装置的存储器中,还包含用于执行以下操作的指令: 
加载与所述所有数据点关联的所有文件,并检测所述所有文件; 
当所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。 
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,所述装置的存储器中,还包含用于执行以下操作的指令: 
合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。 
综上所述,本实施例提供的装置,通过逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。与现有技术中重复数据占用内存相比,本发明实施例提供的数据处理的方法,可以降低数据的存储空间,减少运行时内存的开销。 
作为另一方面,本发明再一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入装置中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序被一个或者一个以上的处理器用来执行一个滑动控制方法,所述方法包括: 
逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较; 
当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容; 
建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间 的映射关系。 
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括: 
根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集; 
对应的,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括: 
逐点计算每个数据点集中的所有数据点数据内容的摘要值; 
将所述同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。 
在第一种或第二种可能的实施方式作为基础而提供的第三种可能的实施方式中,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括: 
逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。 
在第一种或第二种可能的实施方式作为基础而提供的第四种可能的实施方式中,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括: 
加载与所述所有数据点关联的所有文件,并检测所述所有文件; 
当所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。 
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,所述方法还包括: 
合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。 
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。 
以上对本发明实施例所提供的数据处理的方法以及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。 

Claims (10)

1.一种数据处理的方法,其特征在于,包括:
逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;
当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;
建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。
2.根据权利要求1所述的方法,其特征在于,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括:
根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集;
对应的,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括:
逐点计算每个数据点集中的所有数据点数据内容的摘要值;
将所述同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。
3.根据权利要求1或2所述的方法,其特征在于,所述逐点计算所有数据点数据内容的摘要值,并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较,包括:
逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。
4.根据权利要求1或2所述的方法,其特征在于,所述逐点计算所有数据点数据内容的摘要值的步骤之前,还包括:
加载与所述所有数据点关联的所有文件,并检测所述所有文件;
当所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。
6.一种数据处理装置,其特征在于,包括:
计算单元,用于逐点计算所有数据点数据内容的摘要值;
比较单元,用于将所述计算单元计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较;
删除单元,用于当所述比较单元比较出所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时,删除所述后一数据点的数据内容;
映射建立单元,用于建立所述删除单元删除数据内容的后一数据点的摘要值与所述任一数据点数据内容之间的映射关系。
7.根据权利要求6所述的数据处理装置,其特征在于,所述数据处理装置还包括:
划分单元,用于根据所述所有数据点中每个数据点数据内容的大小,将数据内容的大小相同的数据点划分到一个数据点集;
所述计算单元,还用于逐点计算所述划分单元划分后的每个数据点集中的所有数据点数据内容的摘要值;
所述比较单元,用于将所述划分单元划分后的同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。
8.根据权利要求6或7所述的数据处理装置,其特征在于,
所述比较单元,用于逐点计算每个数据点数据内容的摘要值的同时,将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。
9.根据权利要求6或7所述的数据处理装置,其特征在于,所述数据处理装置还包括:
加载单元,用于加载与所述所有数据点关联的所有文件;
检测单元,用于检测所述加载单元加载的所有文件;
获取单元,用于当所述检测单元检测出所述所有文件中的任一文件为空文件时,根据所述空文件的文件名称,获取对应所述空文件的文件名称的数据点。
10.根据权利要求9所述的数据处理装置,其特征在于,所述数据处理装置还包括:
合并单元,用于合并同一个文件中未被映射的数据点,所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。
CN201310257141.7A 2013-06-25 2013-06-25 一种数据处理的方法及装置 Active CN104077338B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310257141.7A CN104077338B (zh) 2013-06-25 2013-06-25 一种数据处理的方法及装置
PCT/CN2014/080326 WO2014206242A1 (en) 2013-06-25 2014-06-19 Systems and methods for data processing
US14/730,326 US10268715B2 (en) 2013-06-25 2015-06-04 Systems and methods for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310257141.7A CN104077338B (zh) 2013-06-25 2013-06-25 一种数据处理的方法及装置

Publications (2)

Publication Number Publication Date
CN104077338A true CN104077338A (zh) 2014-10-01
CN104077338B CN104077338B (zh) 2016-02-17

Family

ID=51598597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310257141.7A Active CN104077338B (zh) 2013-06-25 2013-06-25 一种数据处理的方法及装置

Country Status (3)

Country Link
US (1) US10268715B2 (zh)
CN (1) CN104077338B (zh)
WO (1) WO2014206242A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595366A (zh) * 2004-07-06 2005-03-16 天津百维软件科技有限公司 一种节省存储空间的多台计算机系统共享备份方法
CN1851659A (zh) * 2005-12-21 2006-10-25 华为技术有限公司 一种主设备和备份设备之间数据核查的方法
CN101719143A (zh) * 2009-12-01 2010-06-02 北京中科创元科技有限公司 并行处理比对式增量数据抽取方法
CN102436408A (zh) * 2011-10-10 2012-05-02 上海交通大学 基于Map/Dedup的数据存储云化和云备份方法
CN102831127A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 重复数据处理方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225264B2 (en) * 1998-11-16 2007-05-29 Softricity, Inc. Systems and methods for delivering content over a computer network
US8195760B2 (en) * 2001-01-11 2012-06-05 F5 Networks, Inc. File aggregation in a switched file system
US6978268B2 (en) * 2002-03-16 2005-12-20 Siemens Medical Solutions Health Services Corporation Healthcare organization central record and record identifier management system
US8160883B2 (en) * 2004-01-10 2012-04-17 Microsoft Corporation Focus tracking in dialogs
EP1708095A1 (de) * 2005-03-31 2006-10-04 Ubs Ag Rechnernetzwerksystem zum Aufbauen, Synchronisieren und/oder Betreiben einer zweiten Datenbank aus/mit einer ersten Datenbank sowie Vorgehensweisen hierfür
US7861157B1 (en) * 2007-03-26 2010-12-28 Lsi Corporation System and method of processing streaming XML data
WO2008130983A1 (en) * 2007-04-16 2008-10-30 Attune Systems, Inc. File aggregation in a switched file system
US9348587B2 (en) * 2010-07-09 2016-05-24 Hyperion Core, Inc. Providing code sections for matrix of arithmetic logic units in a processor
CN102222085B (zh) * 2011-05-17 2012-08-22 华中科技大学 一种基于相似性与局部性结合的重复数据删除方法
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CN102495894A (zh) * 2011-12-12 2012-06-13 成都市华为赛门铁克科技有限公司 重复数据查找方法、装置及系统
CN102722450B (zh) * 2012-05-25 2015-01-14 清华大学 一种基于位置敏感哈希的删冗块设备存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595366A (zh) * 2004-07-06 2005-03-16 天津百维软件科技有限公司 一种节省存储空间的多台计算机系统共享备份方法
CN1851659A (zh) * 2005-12-21 2006-10-25 华为技术有限公司 一种主设备和备份设备之间数据核查的方法
CN101719143A (zh) * 2009-12-01 2010-06-02 北京中科创元科技有限公司 并行处理比对式增量数据抽取方法
CN102831127A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 重复数据处理方法、装置及系统
CN102436408A (zh) * 2011-10-10 2012-05-02 上海交通大学 基于Map/Dedup的数据存储云化和云备份方法

Also Published As

Publication number Publication date
US20150269206A1 (en) 2015-09-24
CN104077338B (zh) 2016-02-17
US10268715B2 (en) 2019-04-23
WO2014206242A1 (en) 2014-12-31

Similar Documents

Publication Publication Date Title
US10439406B2 (en) Terminal and method for charging the same
CN103327102A (zh) 一种推荐应用程序的方法和装置
CN105490919A (zh) 消息撤回方法和装置
CN106502703B (zh) 一种函数调用方法和装置
CN103677903A (zh) 一种移动终端智能升级方法、装置及电子设备
CN103327189A (zh) 一种上传照片、浏览照片以及删除照片的方法及装置
CN103543913A (zh) 一种终端设备操作方法、装置和终端设备
CN104142868A (zh) 建立连接的方法及装置
CN104636047A (zh) 对列表中的对象进行操作的方法、装置及触屏终端
CN103473092A (zh) 一种下载应用的处理方法、装置及终端设备
CN104238893A (zh) 一种对视频预览图片进行显示的方法和装置
CN103455330A (zh) 应用程序管理方法、终端、设备及系统
CN104252341A (zh) 应用程序的换肤方法、装置及应用程序的客户端设备
CN104063362A (zh) 一种字符串截断方法及装置
CN103177217B (zh) 一种文件扫描方法、系统及客户端和服务器
CN103491245A (zh) 一种存储短信的方法、装置和终端设备
CN104133757A (zh) 一种获取内存信息的方法及终端
CN104077184A (zh) 一种应用程序的进程控制方法及计算机系统
CN103631625A (zh) 一种数据获取的方法、用户端、服务器及系统
CN104679724A (zh) 页面注释方法及装置
CN104166646A (zh) 一种输入统一资源定位符的方法和装置
CN104007887A (zh) 浮层显示的方法和终端
CN104142994A (zh) 一种数据列表获取的方法、终端及系统
CN104901992A (zh) 一种资源转移的方法和装置
CN103699571A (zh) 一种文件同步方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant