CN105005622B - 一种高速存储高真连帧查询数的方法和其图像输出方法 - Google Patents

一种高速存储高真连帧查询数的方法和其图像输出方法 Download PDF

Info

Publication number
CN105005622B
CN105005622B CN201510442109.5A CN201510442109A CN105005622B CN 105005622 B CN105005622 B CN 105005622B CN 201510442109 A CN201510442109 A CN 201510442109A CN 105005622 B CN105005622 B CN 105005622B
Authority
CN
China
Prior art keywords
data
free time
storage unit
array
time memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510442109.5A
Other languages
English (en)
Other versions
CN105005622A (zh
Inventor
肖华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510442109.5A priority Critical patent/CN105005622B/zh
Publication of CN105005622A publication Critical patent/CN105005622A/zh
Application granted granted Critical
Publication of CN105005622B publication Critical patent/CN105005622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高速存储高真连帧查询数的方法和其图像输出方法，包括以下步骤：通过获取数据服务器的闲空内存阵列信息；重组所述闲空内存阵列信息，写入数据服务器的闲空存储单元组中；利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组；重组所述目标存储单元组得到目标存储单元阵列；将所述目标存储单元阵列中的存储数据转发至网络存储器。本发明的优点：（1）可以提高存储系统性能，海量存储多种数据；（2）提高数据服务器的存储速度，提高效率；（3）对数据可进行高速查询与读取，满足了数据突发的实效性要求。

Description

一种高速存储高真连帧查询数的方法和其图像输出方法
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种高速存储高真连帧查询数的方法和其图像的输出方法。
背景技术
随着互联网、物联网、云计算等IT技术的迅猛发展，现今社会已进入大数据时代，海量数据的高速存储与查询成为诸多行业共同面对的技术难题。一般而言，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合，往往以数据流的方式突发涌现，具有很强的时效性。但是，由于数据类型、数据结构和数据内在模式的复杂性，造成大数据存储、分析、查询等多个环节的困难。
传统上处理的对象数据都是有结构的，能够存储在关系型数据库中。随着大数据时代数据生成方式的多样化，如社交网络、移动计算和传感器技术，非结构化数据成为大数据的主流形式。非结构化数据具有许多格式，包括文本、文档、图形、视频等等。非结构化数据中包含非常丰富的信息，但其异构性和可变性给数据存储和查询带来更大的挑战。
目前在高速存储查询的技术层面是通过大型数据服务器，例如刀片式架构服务器，改变数据运算的方式并进行数据结构的改造，通过服务器设备以及现有软件如刀片式服务器的软件等对数据进行二次处理。但由于耗时较长，不能满足大数据突发的时效性要求。
基于上述情况，亟需一种高速存储高真连帧查询数的方法和一种高速数据图像输出方法来对海量数据进行高速存储整理及查询。
发明内容
本发明的目的在于提供一种高速存储高真连帧查询数的方法和数据图像输出方法。
一种高速存储高真连帧查询数的方法，包括：重组所述闲空内存阵列信息，写入数据服务器的闲空存储单元组中；利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组；重组所述目标存储单元组得到目标存储单元阵列；所述的重组指在相同的格式中，在不改变数据原始性的情况下，利用现有算法及方式进行重新整合，当同样的文件进行重新整合时，类似的文件会生成标记点，当查询时，仅需查询到该标记点即可快速找到相对应的文件。将所述目标存储单元阵列中的存储数据转发至网络存储器。所述获取数据服务器的闲空内存阵列信息包括：数据引擎系统通过阵列点阵获得数据服务器的内存物理阵列，识别空闲的内存物理阵列信息。利用所述闲空存储单元改变存储数据的数据结构包括：利用堆栈原理将存储数据写入空闲存储单元组并释放，改变存储数据的数据结构。
一种高速存储高真连帧查询数的方法获取的高速数据图像输出方法，包括：在数据服务器中设置闲空存储单元组；利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组；将所述目标存储单元组中的存储数据转发至网络存储器；重组所述网络存储器中的存储阵列生成待输出存储阵列；将待输出存储阵列中的存储数据输出为图像。所述在数据服务器中设置闲空存储单元组包括：获取数据服务器的闲空内存阵列信息；重组所述闲空内存阵列信息，写入数据服务器的闲空存储单元组中。所述利用所述闲空存储单元组改变存储数据的数据结构包括：利用结构循环改变存储数据的数据结构。将所述目标存储单元组中的存储数据转发至网络存储器包括：数据服务器对所述目标存储单元组中的存储数据进行二维编码，获得二维编码数据；将所述二维编码数据转发至网络存储器。将待输出存储阵列中的存储数据输出为图像包括：通过处理引擎的双通道输出所述待输出存储阵列中的存储数据；在二维坐标平面上进行数据采集，输出为图像。
本发明的技术效果在于：通过智能化的分析并改变存储设备内存架构，可节省海量数据存储和查询的时间，减少设备的投入；特别是优化了目前CPU的架构性能，在线性和多放处理上有着突出技术效果；根据线性算法的思维方式确立了用点到面地迅速查新，以及智能轨迹感知技术；采用数据结构储存方式排列发生改变的方法，实现灵活的线性和多变深度压缩的方式；通过改变轨迹与内存寄存的方式衍生出多变的精准数据效果。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
附图中，
图1为本发明实施例应用的网络环境；
图2为本发明所述一种高速存储高真连帧查询数的方法的实施例一的步骤流程图；
图3为本发明所述一种高速存储高真连帧查询数的方法获取的高速数据图像输出方法的实施例二的步骤流程图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
图1所示为本发明实施例应用的网络环境，数据服务器101通过网络交换器102与网络存储器103、网络存储器104进行数据交换。优选的，数据服务器101可以为刀片式服务器，通过系统软件将多个刀片主板集合为一个服务器集群。图中仅示出两台网络存储器，但不限于此。网络存储器103和网络存储器104提供海量数据的存储功能。
实施例一
本实施例提供一种高速存储高真连帧查询数的方法，通过改进数据结构算法的基础上进行新的重新数据构图和采集，达到提高数据可读性或在大数据中提炼数据效果，实现缩短工时和智能采集。以下结合图2对本实施例的方法进行详细说明。
在查询之前，将文本数据和图像数据进行混合存储，通过给图像信息和文本分别赋予标签，可以实现存储单元物理空间的寻址。如果是文字文本，会先进行一次判断，如果是文字或者是纯粹的文本信息并不需要通过复杂的计算，关键在于图形图像方面，一般分为三个层次，（1）图像理解部分，视符号为一种操作对象（2）图像的分析（常规性的图形一般以具体模型进行依托，所以一般进去的基本是模型，在本专利中，可普遍把图形定义成模型）（3）简单处理（狭义的方式）。在上述观点概括为高、中、低、抽象程度，所有的过程必要包括，符号、目标、像素的特征，从而够判断操作对象了。
在步骤201中，获取数据服务器的闲空内存阵列信息。具体的，数据引擎系统通过阵列点阵获得数据服务器的内存物理阵列，识别空闲的内存物理阵列信息。（让原有的架构的闲空资源充分调度出通道引擎阵列）
在步骤202中，重组所述闲空内存阵列信息写入数据服务器的闲空存储单元组中。
在步骤203中，利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组。具体的，利用堆栈原理将存储数据写入空闲存储单元组并释放，改变存储数据的数据结构。
在步骤204中，重组所述目标存储单元组得到目标存储单元阵列。
在步骤205中，将所述目标存储单元阵列中的存储数据转发至网络存储器，由新的单元组组成新的阵列通过CPU与存储器的通信达到重新组合的目的。
因为所述的重组发生在相同的格式中，在不改变数据原始性的情况下，利用现有算法及方式进行重新整合，当同样的文件进行重新整合时，类似的文件会生成标记点，当需要查询时，仅需查询到该标记点即可快速找到相对应的文件信息。
实施例二
本实施例提供一种高速存储高真连帧查询数的方法获取的高速数据图像输出方法，通过入门的机器上进行数据的服务器数据提炼，通过渲染器开始采集，通过本发明设计的专用软件进行改造。
以下结合图3对本实施例的方法进行详细说明。
在步骤301中，在数据服务器中设置闲空存储单元组。具体的，获取数据服务器的闲空内存阵列信息；重组所述闲空内存阵列写入数据服务器的闲空存储单元组中。
在步骤302中，利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组。具体的，通过放入结构循环中改变数据结构，改变存储数据的数据结构。
在步骤303中，将所述目标存储单元组中的存储数据转发至网络存储器。具体的，数据服务器对所述目标存储单元组中的存储数据进行二维编码，获得二维编码数据；将所述二维编码数据转发至网络存储器。
在步骤304中，重组所述网络存储器中的存储阵列生成待输出存储阵列。
在步骤305中，将待输出存储阵列中的存储数据输出为图像。具体的，通过处理引擎的双通道输出所述待输出存储阵列中的存储数据；在二维坐标平面上进行数据采集，输出为图像，完成数据重合整体展示与输出。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种高速存储高真连帧查询数的方法，其特征在于，包括以下步骤：
步骤一、获取数据服务器的闲空内存阵列信息；
步骤二、重组所述闲空内存阵列信息后，将其写入数据服务器的闲空存储单元组中；
步骤三、利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组；
步骤四、重组所述目标存储单元组得到目标存储单元阵列；
步骤五、将所述目标存储单元阵列中的存储数据转发至网络存储器；
所述重组为在相同的格式中，在不改变数据原始性的情况下，利用现有算法及方式进行重新整合，当同样的文件进行重新整合时，生成标记点，当查询时，仅需查询到该标记点即可找到相对应的文件。
2.根据权利要求1所述的方法，其特征在于，步骤一、所述获取数据服务器的闲空内存阵列信息包括：数据引擎系统通过阵列点阵获得数据服务器的内存物理阵列，识别空闲的内存物理阵列信息。
3.根据权利要求1或2所述的方法，其特征在于，步骤三、利用所述闲空存储单元改变存储数据的数据结构包括：利用堆栈原理将存储数据写入空闲存储单元组并释放，改变存储数据的数据结构。
4.一种权利要求1所述方法获取的高速数据图像输出方法，其特征在于，包括以下步骤：
步骤一、在数据服务器中设置闲空存储单元组；
步骤二、利用所述闲空存储单元组改变存储数据的数据结构，将已改变数据结构的存储数据写入目标存储单元组；
步骤三、将所述目标存储单元组中的存储数据转发至网络存储器；
步骤四、重组所述网络存储器中的存储阵列生成待输出存储阵列；
步骤五、将待输出存储阵列中的存储数据输出为图像。
5.根据权利要求4所述的方法，其特征在于，步骤一在数据服务器中设置闲空存储单元组包括：
获取数据服务器的闲空内存阵列信息；
重组所述闲空内存阵列信息，写入数据服务器的闲空存储单元组中。
6.根据权利要求4所述的方法，其特征在于，步骤二所述利用所述闲空存储单元组改变存储数据的数据结构包括：
利用结构循环改变存储数据的数据结构。
7.根据权利要求4所述的方法，其特征在于，步骤三将所述目标存储单元组中的存储数据转发至网络存储器包括但：
数据服务器对所述目标存储单元组中的存储数据进行二维编码，获得二维编码数据；
将所述二维编码数据转发至网络存储器。
8.根据权利要求4所述的方法，其特征在于，将待输出存储阵列中的存储数据输出为图像包括：
通过处理引擎的双通道输出所述待输出存储阵列中的存储数据；
在二维坐标平面上进行数据采集，输出为图像。
CN201510442109.5A 2015-07-24 2015-07-24 一种高速存储高真连帧查询数的方法和其图像输出方法 Active CN105005622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510442109.5A CN105005622B (zh) 2015-07-24 2015-07-24 一种高速存储高真连帧查询数的方法和其图像输出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510442109.5A CN105005622B (zh) 2015-07-24 2015-07-24 一种高速存储高真连帧查询数的方法和其图像输出方法

Publications (2)

Publication Number Publication Date
CN105005622A CN105005622A (zh) 2015-10-28
CN105005622B true CN105005622B (zh) 2018-12-07

Family

ID=54378298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510442109.5A Active CN105005622B (zh) 2015-07-24 2015-07-24 一种高速存储高真连帧查询数的方法和其图像输出方法

Country Status (1)

Country Link
CN (1) CN105005622B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2330518A2 (en) * 2001-08-03 2011-06-08 Isilon Systems, Inc. Systems and methods providing metadata for tracking of information on a distributed file system of storage devices
CN103154911A (zh) * 2010-08-19 2013-06-12 桑迪士克以色列有限公司 用于管理在共享的高速缓存存储系统的文件的上传的系统和方法
CN104331421A (zh) * 2014-10-14 2015-02-04 安徽四创电子股份有限公司 一种大数据的高效处理方法及系统
CN104679898A (zh) * 2015-03-18 2015-06-03 成都汇智远景科技有限公司 一种大数据访问方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2330518A2 (en) * 2001-08-03 2011-06-08 Isilon Systems, Inc. Systems and methods providing metadata for tracking of information on a distributed file system of storage devices
CN103154911A (zh) * 2010-08-19 2013-06-12 桑迪士克以色列有限公司 用于管理在共享的高速缓存存储系统的文件的上传的系统和方法
CN104331421A (zh) * 2014-10-14 2015-02-04 安徽四创电子股份有限公司 一种大数据的高效处理方法及系统
CN104679898A (zh) * 2015-03-18 2015-06-03 成都汇智远景科技有限公司 一种大数据访问方法

Also Published As

Publication number Publication date
CN105005622A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
Zeydan et al. Big data caching for networking: Moving from cloud to edge
US9723045B2 (en) Communicating tuples in a message
CN102420814A (zh) 一种数据访问方法、装置及服务器
CN102904823B (zh) 一种基于存储器的多用户多业务的精确流量控制方法
CN104615765A (zh) 一种移动用户上网记录的数据处理方法及装置
CN106599190A (zh) 基于云计算的动态Skyline查询方法
CN107196848A (zh) 消息推送方法及装置
CN103067486B (zh) 基于PaaS平台的大数据处理方法
CN103326925B (zh) 一种消息推送方法及装置
CN106599189A (zh) 基于云计算的动态Skyline查询装置
CN102209019A (zh) 一种基于报文净荷的负载均衡方法和负载均衡设备
CN109600240A (zh) 群通信方法和装置
CN103746851A (zh) 一种实现独立用户数统计的方法及装置
CN104468855B (zh) 地址解析协议arp报文的处理方法和装置
CN104951442A (zh) 一种确定结果向量的方法和装置
CN107517266A (zh) 一种基于分布式缓存的即时通讯方法
CN105005622B (zh) 一种高速存储高真连帧查询数的方法和其图像输出方法
CN102737061A (zh) 分布式话单查询管理系统及方法
CN108319604B (zh) 一种hive中大小表关联的优化方法
CN205899536U (zh) 一种基于瓦片地图的地理信息服务系统
CN107943927B (zh) 一种分布式存储系统中多维数据的存储模式转换方法
CN103378989A (zh) 一种获取性能测试数据的方法和装置
CN215956427U (zh) 一种海洋工程装备标识解析系统及协议转换中间件
Dong et al. [Retracted] Design of IoT Gateway for Crop Growth Environmental Monitoring Based on Edge‐Computing Technology
CN101516086A (zh) 移动通讯的业务匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant