CN114146388A - 一种基于大数据的数据处理系统及方法 - Google Patents
一种基于大数据的数据处理系统及方法 Download PDFInfo
- Publication number
- CN114146388A CN114146388A CN202210115487.2A CN202210115487A CN114146388A CN 114146388 A CN114146388 A CN 114146388A CN 202210115487 A CN202210115487 A CN 202210115487A CN 114146388 A CN114146388 A CN 114146388A
- Authority
- CN
- China
- Prior art keywords
- data
- characters
- transmission speed
- character
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/0028—Training appliances or apparatus for special sports for running, jogging or speed-walking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0625—Emitting sound, noise or music
- A63B2071/063—Spoken or verbal instructions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/065—Visualisation of specific exercise parameters
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0655—Tactile feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/20—Distances or displacements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/30—Speed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/40—Acceleration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
- A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
- A63B2230/06—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations heartbeat rate only
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种基于大数据的数据处理方法包括:步骤S101,获取各数据的数据特征以对数据进行分类;步骤S102,根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;步骤S103,根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;步骤S104,获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。本发明通过对剩余未发送数据进行压缩,可以有效的降低数据的大小,以增加单位时间内的数据传输速度,进一步的保证了数据传输效率,并有效的提高了数据传输速度。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于大数据的数据处理系统及方法。
背景技术
中国专利公开号:CN107818120B。公开了一种基于大数据的数据处理方法和装置。上述方法包括:实时监控并采集各个数据源的第一数据;将所述第一数据传输至分布式消息系统进行存储;从所述分布式消息系统中读取所述第一数据,并将所述第一数据转化为预设格式,得到第二数据;获取与所述第二数据对应的数据处理框架,并将所述第二数据发送到与所述数据处理框架匹配的节点中;通过所述节点对所述第二数据进行处理,并将所述第二数据写入与所述节点匹配的数据处理框架。上述基于大数据的数据处理方法和装置,能够在保证数据处理框架集群的处理压力不会过大的情况下,将数据实时写入数据处理框架,并提高数据处理效率。但是在数据传输过程中,无法对数据传输过程进行把控,导致数据传输效率低的问题。
发明内容
为此,本发明提供一种基于大数据的数据处理方法,用以克服现有技术中,无法对数据传输过程进行把控,导致数据传输效率低的问题。
为实现上述目的,一方面,本发明提供一种基于大数据的数据处理方法,包括:
步骤S101,获取各数据的数据特征以对数据进行分类;
步骤S102,根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;
步骤S103,根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;
步骤S104,获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩;
在步骤S104中,实时获取各数据发送通道的实际传输速度,并将实际传输速度与预设数据传输速度进行比对,若判定实际传输速度小于预设数据传输速度,则判定需对剩余未发送数据进行压缩,若判定实际传输速度在预设数据传输速度范围内,则判定无需对剩余未发送数据进行压缩,若判定实际传输速度大于预设数据传输速度,则判定需调节该数据通道的发送的数据数量。
进一步地,在所述步骤S104中,实时获取单个所述数据发送通道的实际传输速度V,将实际传输速度V与对应的预设数据传输速度V0进行比对,并根据比对结果判定是否对剩余数据进行压缩;
所述预设数据传输速度包括第一预设数据传输速度V1和第二预设数据传输速度V2,其中,V1<V2;
当V<V1时,则判定该数据传输通道的数据传输速度不符合标准,并需对剩余数据进行压缩;
当V1≤V≤V2时,则判定该数据传输通道的数据传输速度符合标准,并无需对剩余数据进行压缩;
当V>V2时,则判定该数据传输通道的数据传输速度不符合标准,并需调节该所述数据传输通道发送的数据数量。
进一步地,当判定该数据传输通道的数据传输速度不符合标准,并需对剩余数据进行压缩时,以预设数据字符数量对单一数据拆分为若干数据段,并依次对各数据段进行压缩,压缩完成时,将任一单一数据压缩后的实际大小D与对应的预设数据大小D0进行比对,并根据比对结果判定是否修正预设数据字符数量;
当D>D0时,则判定该单一数据压缩不符合标准,并需调节预设数据字符数量;
当D≤D0时,则判定该单一数据压缩符合标准,并使用预设数据字符数量对剩余未发送数据进行压缩。
进一步地,当判定该单一数据压缩不符合标准,并需调节预设数据字符数量时,计算实际数据大小差值△D,设定△D=D0-D,并根据实际数据大小差值修正预设数据字符数量,将修正后的预设数据字符数量记为R1,设定R1=R0ⅹ(1-△D/D),当R1不为整数时,向下取整,其中,R0为预设数据字符数量。
进一步地,当需将预设数据字符数量修正至R1时,将修正后的预设数据字符数量R1与预设数据字符数量最小值Rmin进行比对,当R1≥Rmin时,则判定修正后的预设数据字符数量符合标准,并以修正后的预设数据字符数量R1对单一数据进行拆分,当R1<Rmin时,则判定无法使用修正后的预设数据字符数量对单一数据进行拆分,并以预设数据字符数量对单一数据进行拆分,且更换所述数据发送通道。
进一步地,当以预设数据字符数量对单一数据拆分为若干数据段时,读取任一数据段的末位字符,将末位字符与关键词信息字符进行比对,并根据比对结果判定是否修正该数据段的字符数量;
当所述关键词信息中含有所述末位字符时,则初步判定需调整该数据段的字符数量;
当所述关键词信息中不含有所述末位字符时,则判定无需调整该数据段的字符数量。
进一步地,当所述关键词信息中含有所述末位字符,且初步判定需调整该数据段的字符数量时,从任一数据段末位第1个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量;
从任一数据段末位第2个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n-1,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量;
从任一数据段末位第k个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n-k,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量,其中k<n,n小于或等于预设字符数量。
进一步地,当所述关键词信息中含有所述末位字符,且初步判定需调整该数据段的字符数量时,从任一数据段末位第1个字符开始,向相邻数据段选择j个字符,向自身所在的数据段选择z个字符,将j+z组成的字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量,设定j+z=X-1,其中,X表示关键词信息的字符数量。
进一步地,当判定该数据传输通道的数据传输速度不符合标准,并需调节该所述数据传输通道发送的数据数量时,将调节后的实际数据发送数量记为W,设定W=(W0/E)ⅹ(1+(V-V2)/V2),当W不为整数时,向上取整,其中,W0为单一种类数据的总数量,E为对应的数据发送通道数量。
另一方面,本发明还提供一种基于大数据的数据处理系统,包括:
获取分类模块,用于获取各数据的数据特征以对数据进行分类;
确定模块,用于根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;
数据发送模块,其包括若干数据发送通道,用于根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;
压缩调节模块,用于获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。
与现有技术相比,本发明的有益效果在于,本发明在根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时,通过各数据发送通道发送的数据种类选择对应的预设数据传输速度,将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对,并根据比对结果选择性的对剩余未发送数据进行压缩,以增加该数据发送通道的实际传输速度,通过实时比对,其一方面,通过对各数据发送通道的实际传输速度的把控,可以有效的掌握数据传输情况,并根据各种类数据数量,选择对应数量的数据发送通道数量,可以有效的保证对数据传输效率,其另一方面,当数据发送通道的实际传输速度不符合标准时,通过对剩余未发送数据进行压缩,可以有效的降低数据的大小,以增加单位时间内的数据传输速度,进一步的保证了数据传输效率,并有效的提高了数据传输速度。
进一步地,本发明将预设数据传输通道的数值具体设置为两个,根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时,通过各数据发送通道发送的数据种类选择对应的预设数据传输速度,将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对,并根据比对结果选择性的对剩余未发送数据进行压缩,以增加该数据发送通道的实际传输速度,通过实时比对,其一方面,通过对各数据发送通道的实际传输速度的把控,可以有效的掌握数据传输情况,并根据各种类数据数量,选择对应数量的数据发送通道数量,可以有效的保证对数据传输效率,其另一方面,当数据发送通道的实际传输速度不符合标准时,通过对剩余未发送数据进行压缩,可以有效的降低数据的大小,以增加单位时间内的数据传输速度,进一步的保证了数据传输效率,并有效的提高了数据传输速度。
进一步地,本发明当判定该单一数据压缩不符合标准,并需调节预设数据字符数量时,通过对预设数据字符数量进行修正,以降低预设数据字符数量,以增加数据段的数量,通过降低预设数据字符的数量,可以增加压缩效率,可以有效的降低单个数据段压缩后的大小,进而可以有效的降低单一数据压缩后的大小,从而降低了剩余未发送数据的大小,进而有效的增加了在单位时间内发送数据的效率,并有效的提高了数据传输速度。
进一步地,本发明通过设置预设数据字符数量最小值,可以在对数据段进行压缩时,可以使用合理的对剩余未发送数据进行压缩,并在对预设数据字符数量进行修正时,可以精准的把握修正后预设数据字符数量的长度,防止因预设数据字符数量的长度过短,而导致数据拆分数量过多,从而可以精准的对单一数据进行拆分,以有效的提高数据传输速度。
进一步地,本发明在对单一数据进行拆分时,通过将任一数据段的末位字符与关键词字符进行比对,当关键词字符与所述末位字符有重合时,则初步判定拆分了数据信息中的关键词信息,并通过调整数据段的字数数量,以保证单一数据中的关键词信息,从而可以保证数据在传输过程中关键词的完整性,以提升数据传输的效率,并有效的提高了数据传输速度。
进一步地,本发明通过任一数据段的末位字符,向相邻数据段选择若干个字符,并通过选择若干个字符,以保证任一数据段中的关键词信息不被拆分,从而可以保证数据在传输过程中关键词的完整性,以提升数据传输的效率,并有效的提高了数据传输速度。
进一步地,本发明通过任一数据段的末位字符,向相邻数据段选择j个字符,同时,向自身所在的数据段选择z个字符,以保证任一数据段中的关键词信息不被拆分,同时,j+z等于关键词字符信息的字符数量,以精确的对各数据段进行拆分,从而可以保证数据在传输过程中关键词的完整性,以提升数据传输的效率,并有效的提高了数据传输速度。
附图说明
图1为本发明所述基于大数据的数据处理方法的流程示意图;
图2为本发明所述基于大数据的数据处理系统的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内不的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,为本发明实施例提供的基于大数据的数据处理方法的流程示意图,包括:
步骤S101,获取各数据的数据特征以对数据进行分类;
具体的,本发明实施例在对数据进行分类时,通过获取数据特征,其中,数据特征包括但不限于关键词、数据字符长度或数据字符的组合方式对数据进行分类,优选的,本实施例中,通过依次提取各数据中的关键词以对各数据进行分类,例如,关键词“101”为第一种类或关键词“我”为第二种类或关键词“me”为第三种类,通过获取各数据中的关键词,将各数据种类划分为第一种类、第二种类和第三种类,本领域技术人员可以理解的是,本领域技术人员可以根据实际需求定义关键词,只需可实现对数据进行种类划分即可。
步骤S102,根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;
具体的,本实施例中,根据每一个数据类型的数据总量,选择对应发送该数据种类的数据发送通道的数量,可以根据各种类数据的实际数量对数据发送通道的数量进行精准的选择,以保证在数据传输时的传输效率。
步骤S103,根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;
步骤S104,获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩;
在步骤S104中,实时获取各数据发送通道的实际传输速度,并将实际传输速度与预设数据传输速度进行比对,若判定实际传输速度小于预设数据传输速度,则判定需对剩余未发送数据进行压缩,若判定实际传输速度在预设数据传输速度范围内,则判定无需对剩余未发送数据进行压缩,若判定实际传输速度大于预设数据传输速度,则判定需调节该数据通道的发送的数据数量。
具体的,本发明实施例在根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时,通过各数据发送通道发送的数据种类选择对应的预设数据传输速度,当数据发送通道发送的数据类型为第一类型时,所述对应的预设数据传输速度为第一预设数据传输速度,并在各数据发送通道发送数据时,实时获取各数据发送的实际传输速度,将各数据发送通道的实际发送速度与对应的预设数据发送速度进行比对,具体的,当数据发送通道发送的数据类型为第一类型时,将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对,以此类推,并根据比对结果选择性的对剩余未发送数据进行压缩,以增加该数据发送通道的实际传输速度。
具体而言,本发明实施例在根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时,通过各数据发送通道发送的数据种类选择对应的预设数据传输速度,将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对,并根据比对结果选择性的对剩余未发送数据进行压缩,以增加该数据发送通道的实际传输速度,通过实时比对,其一方面,通过对各数据发送通道的实际传输速度的把控,可以有效的掌握数据传输情况,并根据各种类数据数量,选择对应数量的数据发送通道数量,可以有效的保证对数据传输效率,其另一方面,当数据发送通道的实际传输速度不符合标准时,通过对剩余未发送数据进行压缩,可以有效的降低数据的大小,以增加单位时间内的数据传输速度,进一步的保证了数据传输效率,并有效的提高了数据传输速度。
具体而言,在所述步骤S104中,实时获取单个所述数据发送通道的实际传输速度V,将实际传输速度V与对应的预设数据传输速度V0进行比对,并根据比对结果判定是否对剩余数据进行压缩;
所述预设数据传输速度包括第一预设数据传输速度V1和第二预设数据传输速度V2,其中,V1<V2;
当V<V1时,则判定该数据传输通道的数据传输速度不符合标准,并需对剩余数据进行压缩;
当V1≤V≤V2时,则判定该数据传输通道的数据传输速度符合标准,并无需对剩余数据进行压缩;
当V>V2时,则判定该数据传输通道的数据传输速度不符合标准,并需调节该所述数据传输通道发送的数据数量。
具体而言,本发明实施例将预设数据传输通道的数值具体设置为两个,根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时,通过各数据发送通道发送的数据种类选择对应的预设数据传输速度,将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对,并根据比对结果选择性的对剩余未发送数据进行压缩,以增加该数据发送通道的实际传输速度,通过实时比对,其一方面,通过对各数据发送通道的实际传输速度的把控,可以有效的掌握数据传输情况,并根据各种类数据数量,选择对应数量的数据发送通道数量,可以有效的保证对数据传输效率,其另一方面,当数据发送通道的实际传输速度不符合标准时,通过对剩余未发送数据进行压缩,可以有效的降低数据的大小,以增加单位时间内的数据传输速度,进一步的保证了数据传输效率,并有效的提高了数据传输速度。
具体而言,当判定该数据传输通道的数据传输速度不符合标准,并需对剩余数据进行压缩时,以预设数据字符数量对单一数据拆分为若干数据段,并依次对各数据段进行压缩,压缩完成时,将任一单一数据压缩后的实际大小D与对应的预设数据大小D0进行比对,并根据比对结果判定是否修正预设数据字符数量;
当D>D0时,则判定该单一数据压缩不符合标准,并需调节预设数据字符数量;
当D≤D0时,则判定该单一数据压缩符合标准,并使用预设数据字符数量对剩余未发送数据进行压缩。
具体的,本发明实施例在对单一数据进行压缩时,以预设数据字符数量对单一数据拆分为若干数据段,其中,预设数据字符数量可以为3个、5个或6个,优选的,本实施例中,将预设字符数量设置为5个,当剩余未发送数据中的单一数据中的字符数量为23个时,则将该单一数据划分为5个数据段,并分别对每个数据段进行压缩,以完成对任一单一数据的压缩,从而以降低单一数据的大小,本领域技术人员可以理解的是,在选择预设字符数量时,可以根据实际数据的种类进行选择。具体的,其中预设数据大小根据实际数据的字符数量进行选择的,例如,当单一数据的实际字符数量为20时,可以将预设数据大小设置为1kb,并在单一数据的实际字符数量为30时,可以将预设数据大小设置为1.5kb,本领域技术人员也可根据数据的实际情况选择对应的预设数据大小。
具体而言,当判定该单一数据压缩不符合标准,并需调节预设数据字符数量时,计算实际数据大小差值△D,设定△D=D0-D,并根据实际数据大小差值修正预设数据字符数量,将修正后的预设数据字符数量记为R1,设定R1=R0ⅹ(1-△D/D),当R1不为整数时,向下取整,其中,R0为预设数据字符数量。
具体而言,本发明实施例当判定该单一数据压缩不符合标准,并需调节预设数据字符数量时,通过对预设数据字符数量进行修正,以降低预设数据字符数量,以增加数据段的数量,通过降低预设数据字符的数量,可以增加压缩效率,可以有效的降低单个数据段压缩后的大小,进而可以有效的降低单一数据压缩后的大小,从而降低了剩余未发送数据的大小,进而有效的增加了在单位时间内发送数据的效率,并有效的提高了数据传输速度。
具体而言,当需将预设数据字符数量修正至R1时,将修正后的预设数据字符数量R1与预设数据字符数量最小值Rmin进行比对,当R1≥Rmin时,则判定修正后的预设数据字符数量符合标准,并以修正后的预设数据字符数量R1对单一数据进行拆分,当R1<Rmin时,则判定无法使用修正后的预设数据字符数量对单一数据进行拆分,并以预设数据字符数量对单一数据进行拆分,且更换所述数据发送通道。
具体而言,本发明实施例通过设置预设数据字符数量最小值,可以在对数据段进行压缩时,可以使用合理的对剩余未发送数据进行压缩,并在对预设数据字符数量进行修正时,可以精准的把握修正后预设数据字符数量的长度,防止因预设数据字符数量的长度过短,而导致数据拆分数量过多,从而可以精准的对单一数据进行拆分,以有效的提高数据传输速度。
具体而言,当以预设数据字符数量对单一数据拆分为若干数据段时,读取任一数据段的末位字符,将末位字符与关键词信息字符进行比对,并根据比对结果判定是否修正该数据段的字符数量;
当所述关键词信息中含有所述末位字符时,则初步判定需调整该数据段的字符数量;
当所述关键词信息中不含有所述末位字符时,则判定无需调整该数据段的字符数量;
其中,当实际需比对末位字符为末尾数据段时,则将末位字符替换为该数据段的起始字符。
具体而言,本发明实施例在对单一数据进行拆分时,通过将任一数据段的末位字符与关键词字符进行比对,当关键词字符与所述末位字符有重合时,则初步判定拆分了数据信息中的关键词信息,并通过调整数据段的字数数量,以保证单一数据中的关键词信息,从而可以保证数据在传输过程中关键词的完整性,以提升数据传输的效率,并有效的提高了数据传输速度。
具体而言,当所述关键词信息中含有所述末位字符,且初步判定需调整该数据段的字符数量时,从任一数据段末位第1个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量;
从任一数据段末位第2个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n-1,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量;
从任一数据段末位第k个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n-k,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量,其中k<n,n小于或等于预设字符数量。
具体而言,本发明实施例通过任一数据段的末位字符,向相邻数据段选择若干个字符,并通过选择若干个字符,以保证任一数据段中的关键词信息不被拆分,从而可以保证数据在传输过程中关键词的完整性,以提升数据传输的效率,并有效的提高了数据传输速度。
具体而言,当所述关键词信息中含有所述末位字符,且初步判定需调整该数据段的字符数量时,从任一数据段末位第1个字符开始,向相邻数据段选择j个字符,向自身所在的数据段选择z个字符,将j+z组成的字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量,设定j+z=X-1,其中,X表示关键词信息的字符数量。
具体而言,本发明实施例通过任一数据段的末位字符,向相邻数据段选择j个字符,同时,向自身所在的数据段选择z个字符,以保证任一数据段中的关键词信息不被拆分,同时,j+z等于关键词字符信息的字符数量,以精确的对各数据段进行拆分,从而可以保证数据在传输过程中关键词的完整性,以提升数据传输的效率,并有效的提高了数据传输速度。具体的,本实施例中,当关键词信息的字符数量为5个时,选取任一除末位数据段的数据段,并在该数据段的末位字符开始,向相邻数据段选择1个字符,同时,向自身所在的数据段选择3个字符,或向相邻数据段选择2个字符,同时,向自身所在的数据段选择2个字符,或向相邻数据段选择3个字符,同时,向自身所在的数据段选择1个字符。本领域技术人员可以理解的是,本发明实施例关键词信息的字符数量还可以根据实际情况进行选择,本发明实施例不对关键词信息的字符数量进行限制。
具体而言,当判定该数据传输通道的数据传输速度不符合标准,并需调节该所述数据传输通道发送的数据数量时,将调节后的实际数据发送数量记为W,设定W=(W0/E)ⅹ(1+(V-V2)/V2),当W不为整数时,向上取整,其中,W0为单一种类数据的总数量,E为对应的数据发送通道数量。
请继续参阅图2所示,为本发明实施例实施例提供的基于大数据的数据处理系统的结构示意图,包括:
获取分类模块,用于获取各数据的数据特征以对数据进行分类;
具体的,本发明实施例在对数据进行分类时,通过获取数据特征,其中,数据特征包括但不限于关键词、数据字符长度或数据字符的组合方式对数据进行分类,优选的,本实施例中,通过依次提取各数据中的关键词以对各数据进行分类,例如,关键词“101”为第一种类或关键词“我”为第二种类或关键词“me”为第三种类,通过获取各数据中的关键词,将各数据种类划分为第一种类、第二种类和第三种类,本领域技术人员可以理解的是,本领域技术人员可以根据实际需求定义关键词,只需可实现对数据进行种类划分即可。
确定模块,用于根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;
具体的,本实施例中,根据每一个数据类型的数据总量,选择对应发送该数据种类的数据发送通道的数量,可以根据各种类数据的实际数量对数据发送通道的数量进行精准的选择,以保证在数据传输时的传输效率。
数据发送模块,其包括若干数据发送通道,用于根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;
压缩调节模块,用于获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。同时,实时获取各数据发送通道的实际传输速度,并将实际传输速度与预设数据传输速度进行比对,若判定实际传输速度小于预设数据传输速度,则判定需对剩余未发送数据进行压缩,若判定实际传输速度在预设数据传输速度范围内,则判定无需对剩余未发送数据进行压缩,若判定实际传输速度大于预设数据传输速度,则判定需调节该数据通道的发送的数据数量。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于大数据的数据处理方法,其特征在于,包括:
步骤S101,获取各数据的数据特征以对数据进行分类;
步骤S102,根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;
步骤S103,根据各数据种类确定发送对应种类数据的所述数据发送通道的数量,传输对应种类的数据;
步骤S104,获取各数据发送通道的实际传输速度,并根据各所述数据发送通道的实际传输速度选择性对传输的数据进行压缩;
在步骤S104中,实时获取各数据发送通道的实际传输速度,并将实际传输速度与预设数据传输速度进行比对,若判定实际传输速度小于预设数据传输速度,则判定需对剩余未发送数据进行压缩,若判定实际传输速度在预设数据传输速度范围内,则判定无需对剩余未发送数据进行压缩,若判定实际传输速度大于预设数据传输速度,则判定需调节该数据通道的发送的数据数量。
2.根据权利要求1所述的基于大数据的数据处理方法,其特征在于,在所述步骤S104中,实时获取单个所述数据发送通道的实际传输速度V,将实际传输速度V与对应的预设数据传输速度V0进行比对,并根据比对结果判定是否对剩余数据进行压缩;
所述预设数据传输速度包括第一预设数据传输速度V1和第二预设数据传输速度V2,其中,V1<V2;
当V<V1时,则判定该数据传输通道的数据传输速度不符合标准,并需对剩余数据进行压缩;
当V1≤V≤V2时,则判定该数据传输通道的数据传输速度符合标准,并无需对剩余数据进行压缩;
当V>V2时,则判定该数据传输通道的数据传输速度不符合标准,并需调节该所述数据传输通道发送的数据数量。
3.根据权利要求2所述的基于大数据的数据处理方法,其特征在于,当判定该数据传输通道的数据传输速度不符合标准,并需对剩余数据进行压缩时,以预设数据字符数量对单一数据拆分为若干数据段,并依次对各数据段进行压缩,压缩完成时,将任一单一数据压缩后的实际大小D与对应的预设数据大小D0进行比对,并根据比对结果判定是否修正预设数据字符数量;
当D>D0时,则判定该单一数据压缩不符合标准,并需调节预设数据字符数量;
当D≤D0时,则判定该单一数据压缩符合标准,并使用预设数据字符数量对剩余未发送数据进行压缩。
4.根据权利要求3所述的基于大数据的数据处理方法,其特征在于,当判定该单一数据压缩不符合标准,并需调节预设数据字符数量时,计算实际数据大小差值△D,设定△D=D0-D,并根据实际数据大小差值修正预设数据字符数量,将修正后的预设数据字符数量记为R1,设定R1=R0ⅹ(1-△D/D),当R1不为整数时,向下取整,其中,R0为预设数据字符数量。
5.根据权利要求4所述的基于大数据的数据处理方法,其特征在于,当需将预设数据字符数量修正至R1时,将修正后的预设数据字符数量R1与预设数据字符数量最小值Rmin进行比对,当R1≥Rmin时,则判定修正后的预设数据字符数量符合标准,并以修正后的预设数据字符数量R1对单一数据进行拆分,当R1<Rmin时,则判定无法使用修正后的预设数据字符数量对单一数据进行拆分,并以预设数据字符数量对单一数据进行拆分,且更换所述数据发送通道。
6.根据权利要求3所述的基于大数据的数据处理方法,其特征在于,当以预设数据字符数量对单一数据拆分为若干数据段时,读取任一数据段的末位字符,将末位字符与关键词信息字符进行比对,并根据比对结果判定是否修正该数据段的字符数量;
当所述关键词信息中含有所述末位字符时,则初步判定需调整该数据段的字符数量;
当所述关键词信息中不含有所述末位字符时,则判定无需调整该数据段的字符数量。
7.根据权利要求6所述的基于大数据的数据处理方法,其特征在于,当所述关键词信息中含有所述末位字符,且初步判定需调整该数据段的字符数量时,从任一数据段末位第1个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量;
从任一数据段末位第2个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n-1,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量;
从任一数据段末位第k个字符开始,向相邻数据段选择n个字符,将n个字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n-k,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量,其中k<n,n小于或等于预设字符数量。
8.根据权利要求6所述的基于大数据的数据处理方法,其特征在于,当所述关键词信息中含有所述末位字符,且初步判定需调整该数据段的字符数量时,从任一数据段末位第1个字符开始,向相邻数据段选择j个字符,向自身所在的数据段选择z个字符,将j+z组成的字符与标准关键词字符作比对,若n个字符与标准关键词字符的重合度大于或等于90%时,则判定需增加所述任一数据段的字符数量,其中,增加的字符数量为n,若n个字符与标准关键词字符的重合度小于90%时,则判定该数据段中不含有关键词,且无需调整该数据段的字符数量,设定j+z=X-1,其中,X表示关键词信息的字符数量。
9.根据权利要求2所述的基于大数据的数据处理方法,其特征在于,当判定该数据传输通道的数据传输速度不符合标准,并需调节该所述数据传输通道发送的数据数量时,将调节后的实际数据发送数量记为W,设定W=(W0/E)ⅹ(1+(V-V2)/V2),当W不为整数时,向上取整,其中,W0为单一种类数据的总数量,E为对应的数据发送通道数量。
10.一种基于大数据的数据处理系统,其特征在于,包括:
获取分类模块,用于获取各数据的数据特征以对数据进行分类;
确定模块,用于根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;
数据发送模块,其包括若干数据发送通道,用于根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;
压缩调节模块,用于获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩,同时,实时获取各数据发送通道的实际传输速度,并将实际传输速度与预设数据传输速度进行比对,若判定实际传输速度小于预设数据传输速度,则判定需对剩余未发送数据进行压缩,若判定实际传输速度在预设数据传输速度范围内,则判定无需对剩余未发送数据进行压缩,若判定实际传输速度大于预设数据传输速度,则判定需调节该数据通道的发送的数据数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210115487.2A CN114146388B (zh) | 2022-02-07 | 2022-02-07 | 一种基于大数据的数据处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210115487.2A CN114146388B (zh) | 2022-02-07 | 2022-02-07 | 一种基于大数据的数据处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114146388A true CN114146388A (zh) | 2022-03-08 |
CN114146388B CN114146388B (zh) | 2022-05-03 |
Family
ID=80449967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210115487.2A Active CN114146388B (zh) | 2022-02-07 | 2022-02-07 | 一种基于大数据的数据处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114146388B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080168135A1 (en) * | 2007-01-05 | 2008-07-10 | Redlich Ron M | Information Infrastructure Management Tools with Extractor, Secure Storage, Content Analysis and Classification and Method Therefor |
CN107431688A (zh) * | 2015-03-12 | 2017-12-01 | 华为技术有限公司 | 数据传输方法、装置、处理器及移动终端 |
CN109543016A (zh) * | 2018-11-15 | 2019-03-29 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN110413681A (zh) * | 2019-08-01 | 2019-11-05 | 上海胜泰信息技术有限公司 | 一款Web端基于大数据技术的可视化数据处理方法 |
CN111352987A (zh) * | 2020-02-28 | 2020-06-30 | 汤学民 | 一种电子病历结构化方法、系统及相关设备 |
CN113347096A (zh) * | 2021-08-06 | 2021-09-03 | 湖南三湘银行股份有限公司 | 第三方支付数据的传输处理方法 |
CN113378214A (zh) * | 2021-05-20 | 2021-09-10 | 广西飞创信息科技有限公司 | 一种基于区块链技术的连续数据保护方法及装置 |
CN113378141A (zh) * | 2021-08-12 | 2021-09-10 | 明品云(北京)数据科技有限公司 | 一种文本数据传输方法、系统、设备及介质 |
CN113392286A (zh) * | 2021-06-11 | 2021-09-14 | 深圳市宏博信息科技有限公司 | 大数据信息采集系统 |
CN113449326A (zh) * | 2021-08-30 | 2021-09-28 | 北京博睿天扬科技有限公司 | 一种基于多源异构数据处理的工业大数据分析系统 |
CN113672602A (zh) * | 2021-08-02 | 2021-11-19 | 申瓯通信设备有限公司 | 一种基于数字调度的通信设备 |
CN113672270A (zh) * | 2021-08-19 | 2021-11-19 | 讯牧信息科技(上海)有限公司 | 升级方法,计算机系统和远端升级设备 |
-
2022
- 2022-02-07 CN CN202210115487.2A patent/CN114146388B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080168135A1 (en) * | 2007-01-05 | 2008-07-10 | Redlich Ron M | Information Infrastructure Management Tools with Extractor, Secure Storage, Content Analysis and Classification and Method Therefor |
CN107431688A (zh) * | 2015-03-12 | 2017-12-01 | 华为技术有限公司 | 数据传输方法、装置、处理器及移动终端 |
CN109543016A (zh) * | 2018-11-15 | 2019-03-29 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN110413681A (zh) * | 2019-08-01 | 2019-11-05 | 上海胜泰信息技术有限公司 | 一款Web端基于大数据技术的可视化数据处理方法 |
CN111352987A (zh) * | 2020-02-28 | 2020-06-30 | 汤学民 | 一种电子病历结构化方法、系统及相关设备 |
CN113378214A (zh) * | 2021-05-20 | 2021-09-10 | 广西飞创信息科技有限公司 | 一种基于区块链技术的连续数据保护方法及装置 |
CN113392286A (zh) * | 2021-06-11 | 2021-09-14 | 深圳市宏博信息科技有限公司 | 大数据信息采集系统 |
CN113672602A (zh) * | 2021-08-02 | 2021-11-19 | 申瓯通信设备有限公司 | 一种基于数字调度的通信设备 |
CN113347096A (zh) * | 2021-08-06 | 2021-09-03 | 湖南三湘银行股份有限公司 | 第三方支付数据的传输处理方法 |
CN113378141A (zh) * | 2021-08-12 | 2021-09-10 | 明品云(北京)数据科技有限公司 | 一种文本数据传输方法、系统、设备及介质 |
CN113672270A (zh) * | 2021-08-19 | 2021-11-19 | 讯牧信息科技(上海)有限公司 | 升级方法,计算机系统和远端升级设备 |
CN113449326A (zh) * | 2021-08-30 | 2021-09-28 | 北京博睿天扬科技有限公司 | 一种基于多源异构数据处理的工业大数据分析系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114146388B (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6725225B1 (en) | Data management apparatus and method for efficiently generating a blocked transposed file and converting that file using a stored compression method | |
CN102143039B (zh) | 数据压缩中数据分段方法及设备 | |
CN104038450B (zh) | 基于pcie总线的报文传输方法与装置 | |
CN100536587C (zh) | 重传语音编码数据的方法 | |
US10560123B2 (en) | Method for generating a sequence for a pola code and medium therefor and method and apparatus for transmitting data using thereof | |
CN114567681B (zh) | 一种区块链网络高效率数据传输方法 | |
CN112863526A (zh) | 基于自动选择语音解码播放格式的语音处理方法 | |
CN110515797A (zh) | 一种数据处理方法、装置、设备及计算机可读存储介质 | |
CN102891745A (zh) | 网络设备及其识别终端异常的方法 | |
CN114146388B (zh) | 一种基于大数据的数据处理系统及方法 | |
CN102811454B (zh) | 一种移动终端灵敏度的测试方法、装置及系统 | |
US20150242448A1 (en) | Secure and lossless data compression | |
CN104852785A (zh) | 一种数据传输方法及装置 | |
CN117033278A (zh) | 一种用于多类型接口的数据传输方法及系统 | |
CN115865099B (zh) | 基于霍夫曼编码的多类型数据分段压缩方法及系统 | |
US6456399B1 (en) | Buffer overflow and underflow control for facsimile transmission | |
CN110781340A (zh) | 一种推荐系统召回策略的离线评估方法、系统、装置及存储介质 | |
CN110401458B (zh) | 数据校验编码方法及系统 | |
CN111327905B (zh) | 基于fpga实现相似图像压缩的预处理方法及系统 | |
CN112565109A (zh) | 一种工业数据传输方法及系统 | |
US6734813B2 (en) | Data receiving device for receiving serial data according to over-sampling | |
EP1658742B1 (de) | VERFAHREN ZUR ÜBERTRAGUNG VON langen TEXTNACHRICHTEN IM TEXTMODE | |
CN117135073B (zh) | 一种基于5g路由器的cpe信号强度监测系统 | |
CN115314488A (zh) | 一种基于部分文件一致性确认的文件秒传方法及系统 | |
CN114422082B (zh) | 基于线性网络编码的传输控制方法、系统、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |