CN107797768A - 一种处理大数据的方法及系统 - Google Patents

一种处理大数据的方法及系统 Download PDF

Info

Publication number
CN107797768A
CN107797768A CN201710941179.4A CN201710941179A CN107797768A CN 107797768 A CN107797768 A CN 107797768A CN 201710941179 A CN201710941179 A CN 201710941179A CN 107797768 A CN107797768 A CN 107797768A
Authority
CN
China
Prior art keywords
data
video
real
acquisition module
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710941179.4A
Other languages
English (en)
Inventor
宋捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Dongfang Jinxin Marketing Data Services Ltd
Original Assignee
Nanjing Dongfang Jinxin Marketing Data Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Dongfang Jinxin Marketing Data Services Ltd filed Critical Nanjing Dongfang Jinxin Marketing Data Services Ltd
Priority to CN201710941179.4A priority Critical patent/CN107797768A/zh
Publication of CN107797768A publication Critical patent/CN107797768A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种处理大数据的方法及系统，包括以下步骤：步骤S101：通过实时数据采集模块采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；步骤S102：前端采集的图像数据，通过交换机统一接口，将图像数据传入到负责存储的图片服务器；步骤S103：前端采集的视频数据，通过交换机统一接口，将视频数据传入到负责存储的视频服务器；步骤S104：将图片服务器、视频服务器接收到的数据分别存入到对应的数据库中，客户端通过网络去访问数据库的信息，进行检索操作。本发明通过对不同类型的数据进行分类，把图片单独存储，解决服务器的IO瓶颈，减轻服务器写操作的压力。

Description

一种处理大数据的方法及系统
技术领域
本发明涉及数据处理技术领域，具体为一种处理大数据的方法及系统。
背景技术
大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据处理和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户电子商务类网站大数据商品推送给在线购买者，通过处理用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息。
大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计处理出人的行为、习惯等方式，最大程度帮助广告主找到精准潜在客户，从而提升广告效果和后续购买操作。
在交通监控系统中，由于图片是存储在数据库表中的，数据量过大，平均一天有20万左右的信息需要存储，峰值每秒达到了 15-20条左右的记录，图片压缩后为150KB左右的高清图，服务器为24*365天工作的，所以压力比较大，目前的问题是服务器的磁盘IO出现了瓶颈 ，服务器的连接通讯管道出现了拥堵，写入操作超时，这种情况偶尔会发生。
发明内容
本发明的目的在于提供一种处理大数据的方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种处理大数据的方法，包括以下步骤：
步骤S101：通过实时数据采集模块采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；
步骤S102：前端采集的图像数据，通过交换机统一接口，将图像数据传入到负责存储的图片服务器；
步骤S103：前端采集的视频数据，通过交换机统一接口，将视频数据传入到负责存储的视频服务器；
步骤S104：将图片服务器、视频服务器接收到的数据分别存入到对应的数据库中，客户端通过网络去访问数据库的信息，进行检索操作；
步骤S105：实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
本发明还提出一种处理大数据的系统，所述系统包括：
实时数据采集模块，所述实时数据采集模块采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；
编译器，用于将所述实时数据采集模块得到的交通的视频、图像信息的完整且不重复的数据转化为计算机语言；
图片服务器，所述图片服务器用于将前端采集的图像数据通过交换机统一接口传入进行存储，所述图片服务器包括至少一组用于对图像信息进行存储的图片磁盘阵列；所述磁盘阵列采用500G的硬盘；
视频服务器，所述视频服务器用于将采集的视频数据通过交换机统一接口传入进行存储，所述视频服务器包括至少一组用于对视频信息进行存储的视频磁盘阵列；所述磁盘阵列采用500G的硬盘；
客户端，所述客户端包括通过网络去访问数据库的信息进行检索操作并可以调用数据库中存储的数据信息的操作系统
优选的，所述操作系统winform系统。
优选的，所述实时数据采集模块包括至少一组用于采集交通视频、图像信息的摄像头。
优选的，所述图片服务器设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块的类型将该大数据分配给对应的处理设备处理，建立处理列表。
优选的，所述视频服务器设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块的类型将该大数据分配给对应的处理设备处理，建立处理列表。
优选的，所述图片服务器及视频服务器采用NET Framework3.5和SQL Server2008编写与存储。
与现有技术相比，本发明的有益效果是：本发明通过将改变传统的前端采集的图片数据，通过交换机统一接口，将数据传入到负责存储的中心服务软件进行统一存储导致服务器的磁盘IO出现了瓶颈的问题，通过对不同类型的数据进行分类，把图片单独存储，解决服务器的IO瓶颈，减轻服务器写操作的压力。
附图说明
图1为本发明一种处理大数据的方法的流程图；
图2为本发明一种处理大数据的系统系统的结构图。
图中：10-客户端；11-交换机；12-视频磁盘阵列；13-图片磁盘阵列；14-视频服务器；15-图片服务器；16-编译器；17-实时数据采集模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种处理大数据的方法，包括以下步骤：
步骤S101：通过实时数据采集模块17采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块17采集到的数据进行过滤，得到的完整且不重复的数据；
步骤S102：前端采集的图像数据，通过交换机11统一接口，将图像数据传入到负责存储的图片服务器15；
步骤S103：前端采集的视频数据，通过交换机11统一接口，将视频数据传入到负责存储的视频服务器14；
步骤S104：将图片服务器15、视频服务器14接收到的数据分别存入到对应的数据库中，客户端10通过网络去访问数据库的信息，进行检索操作；
步骤S105：实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
请参阅图2，本发明提供一种处理大数据的系统，所述系统包括：
实时数据采集模块17，所述实时数据采集模块17采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据，实时数据采集模块17通过摄像头进行采集视频、图像信息，并送入A/D转换器变成数字信号，然后将该信号送到FIFO中。当FIFO中存放的数据到了一定数目时，由ARM7从FIFO中读出，然后通过ARM7的以太网接口或者RS232送给上位机。考虑到要监控的设备可能会很多，所以设计了多路采集通道，他们经过模拟开关后再进入A/D转换器。CPLD是整个系统的控制核心，他控制采集通道的切换、A/D转换器的启/停、转换后的数据在FIFO中的存放地址发生器、产生中断请求以通知ARM7读取存放在FIFO中的数据等；
编译器16，用于将所述实时数据采集模块17得到的交通的视频、图像信息的完整且不重复的数据转化为计算机语言，编译是从源代码到能直接被计算机或虚拟机执行的目标代码的翻译过程；
图片服务器15，所述图片服务器15用于将前端采集的图像数据通过交换机11统一接口传入进行存储，所述图片服务器15包括至少一组用于对图像信息进行存储的图片磁盘阵列13；所述图片磁盘阵13列采用500G的硬盘，用于将视频数据进行分类；
视频服务器14，所述视频服务器14用于将采集的视频数据通过交换机11统一接口传入进行存储，所述视频服务器14包括至少一组用于对视频信息进行存储的视频磁盘阵列12；所述视频磁盘阵列12采用500G的硬盘，用于将图片数据进行分类；
客户端10，所述客户端10包括通过网络去访问数据库的信息进行检索操作并可以调用数据库中存储的数据信息的操作系统。
所述操作系统winform系统，用于调用数据库中存储的数据信息，使用方便。
所述实时数据采集模块17包括至少一组用于采集交通视频、图像信息的摄像头，多组摄像头用于获取不同地区的的交通信息，并将获取的视频、图像信息发送至服务器。
所述图片服务器15设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块17的类型将该大数据分配给对应的处理设备处理，建立处理列表，根据获取的图片、视频信息分类防止服务器的磁盘IO出现了瓶颈的问题。
所述视频服务器14设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块17的类型将该大数据分配给对应的处理设备处理，建立处理列表，根据获取的图片、视频信息分类防止服务器的磁盘IO出现了瓶颈的问题。
所述图片服务器15及视频服务器14采用NET Framework3.5和SQL Server2008编写与存储。
该发明通过将改变传统的前端采集的 图片数据，通过交换机统一接口，将数据传入到负责存储的中心服务软件进行统一存储导致服务器的磁盘IO出现了瓶颈的问题，通过对不同类型的数据进行分类，把图片单独存储，解决服务器的IO瓶颈，减轻服务器写操作的压力。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种处理大数据的方法，其特征在于，包括以下步骤：
步骤S101：通过实时数据采集模块（17）采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块（17）采集到的数据进行过滤，得到的完整且不重复的数据；
步骤S102：前端采集的图像数据，通过交换机（11）统一接口，将图像数据传入到负责存储的图片服务器（15）；
步骤S103：前端采集的视频数据，通过交换机（11）统一接口，将视频数据传入到负责存储的视频服务器（14）；
步骤S104：将图片服务器（15）、视频服务器（14）接收到的数据分别存入到对应的数据库中，客户端（10）通过网络去访问数据库的信息，进行检索操作；
步骤S105：实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
2.根据权利要求1所述的一种处理大数据的系统，其特征在于，所述系统包括：
实时数据采集模块（17），所述实时数据采集模块（17）采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；
编译器（16），用于将所述实时数据采集模块（17）得到的交通的视频、图像信息的完整且不重复的数据转化为计算机语言；
图片服务器（15），所述图片服务器（15）用于将前端采集的图像数据通过交换机（11）统一接口传入进行存储，所述图片服务器（15）包括至少一组用于对图像信息进行存储的图片磁盘阵列（13）；所述图片磁盘阵（13）列采用500G的硬盘；
视频服务器（14），所述视频服务器（14）用于将采集的视频数据通过交换机（11）统一接口传入进行存储，所述视频服务器（14）包括至少一组用于对视频信息进行存储的视频磁盘阵列（12）；所述视频磁盘阵列（12）采用500G的硬盘；
客户端（10），所述客户端（10）包括通过网络去访问数据库的信息进行检索操作并可以调用数据库中存储的数据信息的操作系统。
3.根据权利要求2所述的一种处理大数据的方法及系统，其特征在于：所述操作系统winform系统。
4.根据权利要求2所述的一种处理大数据的方法及系统，其特征在于：所述实时数据采集模块（17）包括至少一组用于采集交通视频、图像信息的摄像头。
5.根据权利要求2所述的一种处理大数据的方法及系统，其特征在于：所述图片服务器（15）设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块（17）的类型将该大数据分配给对应的处理设备处理，建立处理列表。
6.根据权利要求2所述的一种处理大数据的方法及系统，其特征在于：所述视频服务器（14）设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块（17）的类型将该大数据分配给对应的处理设备处理，建立处理列表。
7.根据权利要求2所述的一种处理大数据的方法及系统，其特征在于：所述图片服务器（15）及视频服务器（14）采用NET Framework3.5和SQL Server2008编写与存储。
CN201710941179.4A 2017-10-11 2017-10-11 一种处理大数据的方法及系统 Pending CN107797768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710941179.4A CN107797768A (zh) 2017-10-11 2017-10-11 一种处理大数据的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710941179.4A CN107797768A (zh) 2017-10-11 2017-10-11 一种处理大数据的方法及系统

Publications (1)

Publication Number Publication Date
CN107797768A true CN107797768A (zh) 2018-03-13

Family

ID=61532992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710941179.4A Pending CN107797768A (zh) 2017-10-11 2017-10-11 一种处理大数据的方法及系统

Country Status (1)

Country Link
CN (1) CN107797768A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240599A (zh) * 2018-07-13 2019-01-18 安徽信尔联信息科技有限公司 一种大数据储存系统集成
CN112003956A (zh) * 2020-10-27 2020-11-27 武汉中科通达高新技术股份有限公司 一种交管系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147711A (zh) * 2010-12-31 2011-08-10 成都市华为赛门铁克科技有限公司 一种基于数据内容识别的存储方法及装置
CN103677673A (zh) * 2013-12-23 2014-03-26 Tcl集团股份有限公司 一种文件分类批量上传的方法及系统
US20140149422A1 (en) * 2012-11-28 2014-05-29 Dell Products L.P. Automating Management of Social Media Data
CN104699857A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 基于知识工程的大数据存储方法
CN106648454A (zh) * 2016-09-09 2017-05-10 厦门啪啪圈科技有限公司 一种本地信息收集系统及信息分类收集方法
CN107153710A (zh) * 2017-05-19 2017-09-12 肇庆市智高电机有限公司 一种大数据处理方法及系统
CN107169110A (zh) * 2017-05-19 2017-09-15 肇庆市智高电机有限公司 一种基于云服务的大数据收集方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147711A (zh) * 2010-12-31 2011-08-10 成都市华为赛门铁克科技有限公司 一种基于数据内容识别的存储方法及装置
US20140149422A1 (en) * 2012-11-28 2014-05-29 Dell Products L.P. Automating Management of Social Media Data
CN103677673A (zh) * 2013-12-23 2014-03-26 Tcl集团股份有限公司 一种文件分类批量上传的方法及系统
CN104699857A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 基于知识工程的大数据存储方法
CN106648454A (zh) * 2016-09-09 2017-05-10 厦门啪啪圈科技有限公司 一种本地信息收集系统及信息分类收集方法
CN107153710A (zh) * 2017-05-19 2017-09-12 肇庆市智高电机有限公司 一种大数据处理方法及系统
CN107169110A (zh) * 2017-05-19 2017-09-15 肇庆市智高电机有限公司 一种基于云服务的大数据收集方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240599A (zh) * 2018-07-13 2019-01-18 安徽信尔联信息科技有限公司 一种大数据储存系统集成
CN112003956A (zh) * 2020-10-27 2020-11-27 武汉中科通达高新技术股份有限公司 一种交管系统
CN112003956B (zh) * 2020-10-27 2021-01-15 武汉中科通达高新技术股份有限公司 一种交管系统

Similar Documents

Publication Publication Date Title
CN108427711B (zh) 实时数据仓库、实时数据处理方法、电子设备及存储介质
CN104933112B (zh) 分布式互联网交易信息存储处理方法
CN101572629B (zh) 一种ip数据的处理方法及装置
CN105956888A (zh) 广告个性化展示方法
Tsuchiya et al. Big data processing in cloud environments
CN104394118A (zh) 一种用户身份识别方法及系统
CN103838867A (zh) 日志处理方法和装置
CN110647512B (zh) 一种数据存储和分析方法、装置、设备和可读介质
CN106227832A (zh) 互联网大数据技术架构在企业内业务分析中的应用方法
CN102929892A (zh) 基于社交网络的信息精准推广系统及方法
CN101454771A (zh) 基于使用多媒体调查特征匹配以划分和标记个体的系统和方法
CN106408329A (zh) 广告访客找回方法及广告投放系统
WO2018223672A1 (zh) 数据处理方法及装置
CN102404126A (zh) 一种云计算在应用过程中的收费方法
CN110472154A (zh) 一种资源推送方法、装置、电子设备及可读存储介质
CN106339891A (zh) 一种基于大数据采集的智能分析方法及系统
CN106534784A (zh) 一种用于视频分析数据结果集的采集分析存储统计系统
CN109977296A (zh) 一种信息推送方法、装置、设备及存储介质
CN102194015A (zh) 检索信息热度统计方法
CN107797768A (zh) 一种处理大数据的方法及系统
CN114663132A (zh) 一种基于实时用户画像的智能营销方法及装置
CN107153710A (zh) 一种大数据处理方法及系统
CN106844588A (zh) 一种基于网络爬虫的用户行为数据的分析方法及系统
CN109669975A (zh) 一种工业大数据处理系统及方法
CN106897313B (zh) 一种海量用户业务偏好评估方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313

RJ01 Rejection of invention patent application after publication