CN104853218A - 采用分布式大数据架构实现图像jpeg编码的方法 - Google Patents

Abstract

本发明公开一种采用分布式大数据架构实现图像JPEG编码的方法，涉及大数据领域，首先将海量图像数据传入分布式集群，然后对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中。通过本发明，避免了传统行式数据库中读写数据缓慢，同时可实现海量图像数据的压缩，解决了传统系统对海量图像数据编码遇到的问题，实现了数据的持久化。

Description

采用分布式大数据架构实现图像JPEG编码的方法

技术领域

本发明涉及大数据领域，具体的说是一种采用分布式大数据架构实现图像JPEG编码的方法。

背景技术

JPEG是联合图象专家组(Joint Picture Expert Group)的英文缩写，是国际标准化组织(ISO)和CCITT联合制定的静态图象的压缩编码标准。和相同图象质量的其它常用文件格式相比，JPEG是目前静态图象中压缩比最高的。正是由于JPEG的高压缩比，使得它广泛地应用于多媒体和网络程序中。JPEG有几种模式，其中最常用的是基于DCT变换的顺序型模式。

DCT压缩编码的主要步骤是：8×8的图象经过DCT变换后，其低频分量都集中在左上角，高频分量分布在右下角。由于该低频分量包含了图象的主要信息，而高频与之相比不那么重要，所以可以忽略高频分量，从而达到压缩的目的。量化步骤将高频分量去掉，量化操作，就是将某一个值除以量化表中对应的值。由于量化表左上角的值较小，右上角的值较大，这样就起到了保持低频分量，抑制高频分量的目的。最后对64个字块编码，为进一步实现压缩可用Huffman编码。

本发明主要用到的是分布式集群中的文件管理、任务管理和分布式存储技术。分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。分布式任务分配中，主要的部分是任务分配器。任务集由外输入，进入任务分配器中。任务分配器由多个队列组成，任务进入任务分配器中的某一个队列。多个队列的权值不同，权值高低表示任务分配的多少，从任务分配器中出来的任务进入结点中。分布式列式数据库是将同一个数据列的各个值存放在一起。插入某个数据行时，该行的各个数据列的值也会存放到不同的地方。

发明内容

针对现有技术存在的不足之处，本发明提供一种采用分布式大数据架构实现图像JPEG编码的方法。

本发明所述采用分布式大数据架构实现图像JPEG编码的方法，解决上述技术问题采用的技术方案如下：该方法首先将海量图像数据传入分布式集群，然后对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，实现数据的持久化。

优选的，每个DCT基压缩编码步骤可作为分布式集群的任务，提交给集群统一管理。

优选的，所述分布式集群采用Hadoop集群，所述Hadoop集群的HDFS文件系统为集群提供统一的文件命名系统，将传入的图像提供冗余备份。

优选的，对存入Hadoop集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，将DCT基压缩编码步骤中各个步骤作为mapreduce任务分配给Hadoop集群。

优选的，所述FDCT步骤，将图像作为map任务的输入，map任务中包括了FDCT的具体过程，最终将结果汇总到reduce中，为量化步骤整理数据。

优选的，将DCT基压缩编码步骤中各个步骤的数据存储到分布式列式数据库hbase，且将各个步骤的数据存到不同的列族中。

本发明的采用分布式大数据架构实现图像JPEG编码的方法与现有技术相比具有的有益效果是：该方法通过将海量图像数据传入分布式集群，对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，并将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，提升了读写性能，避免了传统行式数据库中读写数据缓慢，同时可实现海量图像数据的压缩，解决了传统系统对海量图像数据编码遇到的问题，实现了数据的持久化。

附图说明

附图1为采用分布式大数据架构实现图像JPEG编码的方法的流程图，；

附图2为所述列式数据库的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述采用分布式大数据架构实现图像JPEG编码的方法进一步详细说明。

本发明所述采用分布式大数据架构实现图像JPEG编码的方法，首先将海量图像数据传入分布式集群，然后，对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，实现数据的持久化。并且，该方法中的每个DCT基压缩编码步骤可作为分布式集群的任务，提交给集群统一管理，保证了任务执行的可靠性。通过本发明所述方法，可实现海量图像数据的压缩，解决了传统系统对海量图像数据编码遇到的问题。

实施例：

本实施例所述采用分布式大数据架构实现图像JPEG编码的方法，首先将海量图像数据传入分布式集群，所述分布式集群基于主从结构，具有统一管理数据功能，利用分布式集群的冗余备份、故障检测功能，可实现图像的可靠存储。

本实施例所述方法中，所述分布式集群采用Hadoop集群；所述Hadoop集群的HDFS文件系统为集群提供了统一的文件命名系统，文件可位于多台机器上，但对外体现为统一的系统；HDFS文件系统将传入的图像提供冗余备份，保证了图像数据的安全性。

该采用分布式大数据架构实现图像JPEG编码的方法，对存入Hadoop集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，将DCT基压缩编码步骤中各个步骤作为mapreduce任务分配给Hadoop集群；所述FDCT步骤，将图像作为map任务的输入，map任务中包括了FDCT的具体过程，最终将结果汇总到reduce中，为量化步骤整理数据。

本实施例所述方法中，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，本实施例采用分布式列式数据库hbase，可将各个步骤的数据存到不同的列族中，提升了读写性能，避免了传统行式数据库中读写数据缓慢的现象。

附图1为本实施例采用分布式大数据架构实现图像JPEG编码的方法的流程图，如附图1所示，首先收集海量图像，将图像传入分布式集群Hadoop集群，Hadoop集群的HDFS文件系统为集群提供统一的文件命名系统，然后建立mapreduce任务，执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据（任务），最后将DCT基压缩编码步骤中各个步骤的数据存储到分布式列式数据库中。

附图2为所述列式数据库的示意图，如附图2所示，以8*8图像数据为例，其中设计列族FDCT、Q、Code、Zip、O，其中FDCT作为FDCT（变换）的数据存储列，Q作为量化步骤的数据存储列，Code作为熵编码的数据存储列，Zip为压缩图像数据的数据存储列，O为其他数据存储列。

实现本实施例所述采用分布式大数据架构实现图像JPEG编码的方法，其具体实施过程如下：第一、搭建分布式集群hadoop集群，设置好相应参数，文件块的大小应大于图像的大小，避免因为图像大小大于设置的参数引起图像分割，导致计算结果失真；第二、将DCT基压缩编码步骤中各个步骤作为mapreduce任务发布到分布式集群上；第三、将DCT基压缩编码步骤中各个步骤产生的数据存储到分布式列式数据库中，实现数据持久化。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (6)

1.采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 该方法首先将海量图像数据传入分布式集群，然后对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，实现数据的持久化。

2.根据权利要求1所述采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 每个DCT基压缩编码步骤可作为分布式集群的任务，提交给集群统一管理。

3.根据权利要求2所述采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 所述分布式集群采用Hadoop集群，所述Hadoop集群的HDFS文件系统为集群提供统一的文件命名系统，将传入的图像提供冗余备份。

4.根据权利要求3所述采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 对存入Hadoop集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，将DCT基压缩编码步骤中各个步骤作为mapreduce任务分配给Hadoop集群。

5.根据权利要求4所述采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 所述FDCT步骤，将图像作为map任务的输入，map任务中包括了FDCT的具体过程，最终将结果汇总到reduce中，为量化步骤整理数据。

6.根据权利要求5所述采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 将DCT基压缩编码步骤中各个步骤的数据存储到分布式列式数据库hbase，且将各个步骤的数据存到不同的列族中。