CN107071858A - 一种Hadoop下的剖分遥感影像并行处理方法 - Google Patents

一种Hadoop下的剖分遥感影像并行处理方法 Download PDF

Info

Publication number
CN107071858A
CN107071858A CN201710157165.3A CN201710157165A CN107071858A CN 107071858 A CN107071858 A CN 107071858A CN 201710157165 A CN201710157165 A CN 201710157165A CN 107071858 A CN107071858 A CN 107071858A
Authority
CN
China
Prior art keywords
cluster
data
signal
buffer memory
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710157165.3A
Other languages
English (en)
Inventor
杜根远
姚丹丹
邱颖豫
卢涵宇
袁雅婧
胡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuchang University
Original Assignee
Xuchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuchang University filed Critical Xuchang University
Priority to CN201710157165.3A priority Critical patent/CN107071858A/zh
Publication of CN107071858A publication Critical patent/CN107071858A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/32—Connectivity information management, e.g. connectivity discovery or connectivity update for defining a routing cluster membership
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3066—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy involving algebraic varieties, e.g. elliptic or hyper-elliptic curves

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明属于影像处理技术领域，公开了一种Hadoop下的剖分遥感影像并行处理方法,包括：部署无线传感器，选择簇头，分簇，簇内节点构成简单图模型：通过S103得到簇内所有节点在簇内所处的位置，将每个节点当做图的一个顶点，每两个相邻节点间用边相连接；所述简单图模型为图像的显著性模型；簇内权值的计算；簇内权值的计算后进行网络数据认证；网络数据认证后进行数据库的缓存管理。本发明解决了传统的SVM分类方法的构造基于单机环境，受限于CPU的计算能力和内存的大小，只能串行处理遥感影像文件，仍然需要消耗很长的时间的问题；本发明图像数据处理效果清晰，准确率高。

Description

一种Hadoop下的剖分遥感影像并行处理方法
技术领域
本发明属于影像处理技术领域，尤其涉及一种Hadoop下的剖分遥感影像并行处理方法。
背景技术
随着遥感技术的飞速发展，遥感影像被广泛应用于农业、林业、地质、矿产、水文、海洋、环境监测等方面，而遥感影像分类作为遥感领域中的基础工作流程，也在不断地进步。近年来，遥感影像数据量呈爆炸性增长，形成GB级， TB级，PB级的发展趋势。这给遥感影像分类工作带来了巨大的压力，如何快速、准确的对遥感影像进行分类成为了遥感影像应用急需解决的课题。
在大量实际应用中，分类工作普遍还是采用人工提取分类模板的监督分类方法或自动选取样本的半监督分类方法，都需要根据先验知识创建分类模型之后，再对影像分类处理。例如，基于SVM(支持向量机，Support Vector Machine) 森林分类方法无需人工采集分类样本，实现了机器自动采样分类的过程。传统的基于SVM森林分类方法利用了数字高程模型(Digital Elevation Model)、 Modis传感器生产的250米分辨率影像，对Landsat卫星系列上搭载的TM、ETM+ 传感器产生的30米分辨率影像进行辅助分类，SVM森林分类方法通过多种数据的复杂运算选取出精确的分类样本，精确的分类样本陆续进入SVM分类器，对SVM分类器进行训练，直到SVM分类器达到足够的分类精度，最后使用训练所得的SVM分类器对影像分类。机器自动采样训练分类的特性减少了样本选取的时间，节省了人力物力。
综上所述，现有技术存在的问题是：传统的SVM分类方法的构造基于单机环境，受限于CPU的计算能力和内存的大小，只能串行处理遥感影像文件，仍然需要消耗很长的时间。而且在处理过程中容易因为机器故障，导致程序崩溃，甚至基础遥感影像数据也会受损，单机环境的分类效率已经难以满足海量遥感影像分类处理任务的需求，从而造成图像数据处理效果不清晰，准确率低。
发明内容
为解决现有技术存在的问题，本发明的目的在于提供一种Hadoop下的剖分遥感影像并行处理方法。
本发明是这样实现的，一种Hadoop下的剖分遥感影像并行处理方法，包括以下步骤：
步骤一、部署无线传感器：在面积为S＝W×L的检测区域内，将无线传感器部署在检测区域；
步骤二、选择簇头：将整个检测区域按网格进行均匀划分，使每个网格的大小形状相同，在每个网格中选择位置距离网格中心最近的传感器节点作为簇头；
步骤三、分簇：簇头选择完成后，簇头广播Cluster{ID，N，Hop}信息，其中，ID为节点的编号，N为Cluster信息转发的跳数，且N的初值为0，Hop为系统设定的跳数；处于簇头附近的邻居节点收到Cluster信息后N增加1再转发这一信息，直到N＝Hop就不再转发Cluster信息；簇头的邻居节点转发Cluster 信息后再向将Cluster信息转发给自己的邻居节点，然后发送一个反馈信息 Join{ID，N，Eir，dij，ki}给将Cluster信息转发给自己的节点，最终将Join信息转发给簇头表示自己加入该簇，其中，Eir表示该节点此时的剩余能量，dij表示两节点间的距离，ki表示该节点能够监测得到的数据包的大小；如果一个节点收到了多个Cluster信息，节点就选择N值小的加入该簇，若N相等节点就随便选择一个簇并加入到该簇；如果节点没有收到Cluster信息，则节点发送Help 信息，加入离自己最近的一个簇；
步骤四、簇内节点构成简单图模型：通过步骤三得到簇内所有节点在簇内所处的位置，将每个节点当做图的一个顶点，每两个相邻节点间用边相连接；
所述简单图模型为图像的显著性模型，建立图像的显著性模型中，利用预定过分割算法对所述图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的颜色值相同；
确定每个所述区域的颜色值和质心；
根据各个区域所对应的颜色值以及各个区域的质心，建立所述显著性模型；
所述显著性模型为：
其中，Si1为区域Ri中任一像素点的显著性值，w(Rj)为区域Rj中的像素点的个数，DS(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间空间位置差异的度量值，DC(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间颜色差异的度量值， N为对所述图像进行过分割后得到的区域的总个数，DS(Ri,Rj)为：Center(Ri)为所述区域Ri的质心， Center(Rj)为所述区域Rj的质心，当所述图像中各个像素点的坐标均归一化到 [0,1]时；
或按照各个像素点的颜色值，对所述图像中各个像素点进行归类，将相同颜色值的像素点归类为同一种颜色类型；
根据每种颜色类型的颜色值，建立所述显著性模型；
步骤五、簇内权值的计算：通过所述步骤三，簇头获取簇内成员节点的Eir、dij和ki，计算相邻两节点i，j之间的权值，权值的计算公式为：
Wij＝a1(Eir+Ejr)+a2dij+a3(ki+kj)；
其中，Ejr、kj分别表示节点j的剩余能量和节点j能够监测得的数据的大小，且a1+a2+a3＝1，这样系统就可以根据系统对Eir、dij或ki所要求的比重不同调整ai的值而得到满足不同需要的权值；
步骤六，簇内权值的计算后进行网络数据认证：所网络数据认证方法包括：
生成随机数rkeyid，利用椭圆曲线密码算法计算相应的公钥rPKid， rPKid＝rkeyid×G，G为椭圆曲线的基点，将rPKid和用户标识UID对外发送，网络数据认证模块的密钥生成系统生成随机数rkeyKMC，利用椭圆曲线密码算法计算其相应的公钥rPKKMC，其中，rPKKMC＝rkeyKMC×G，并记γid＝rPKid+rPKKMC；
利用用户标识UID及人脸识别数据库的数据计算标识私钥keyid和标识公钥 Rid，具体为：
生成私钥矩阵和公钥矩阵，私钥矩阵和公钥矩阵的大小均为m×h，m和h均为正整数；
利用用户标识UID及人脸识别数据库的数据使用散列算法计算用户标识 UID的散列值，将所述散列值分为m段，作为私钥矩阵和公钥矩阵的列映射值 map[i]，i＝0,1,2......m-1；
计算：
ri,map[i]为私钥矩阵中的一个元素；
Xi,map[i]为公钥矩阵中的一个元素；
n为椭圆曲线的阶；
步骤七，网络数据认证后进行数据库的缓存管理，数据库的缓存管理方法包括：
预先为数据库中的数据表建立记录缓存，所述记录缓存以数据行为单位进行数据读写；
当接收到客户端的数据查询请求时，在所述记录缓存中查找所请求的数据；
若查找失败，则在所述数据库的页缓存中查找所请求的数据，所述页缓存以页为基本单位进行数据读写；
将在所述记录缓存或所述页缓存中查找到的数据返回至客户端；
向所述记录缓存中添加数据，具体的，将在页缓存中查找到的数据添加至记录缓存中。
进一步，所述向所述记录缓存中添加数据的具体过程包括：
方式一：在记录缓存中，选择与待添加数据具有相同数量级的记录数据进行替换；或
方式二：在记录缓存中，选择与待添加数据具有不同数量级的记录缓存页，回收该缓存页所占用的空间，利用所回收的空间为所述待添加数据分配新的记录缓存页，将所述待添加数据写入该新的记录缓存页；
其中，根据以下方法选择所述方式一或方式二：
获得与所述待添加数据具有相同数量级的记录数据的访问频率Frec、以及与待添加数据具有不同数量级的记录缓存页的访问频率Fpage；
判断Frec＞replace_page_ratio*Fpage是否成立，如果是，则选择所述方式一，否则选择所述方式二；
其中replace_page_ratio为预设的替换控制参数，replace_page_ratio ∈(0,1]；
所述与待添加数据具有不同数量级的记录缓存页的访问频率Fpage的获得方法为：
Fpage＝(Fmin+Fmax)/2*N；
其中，Fmin为该记录缓存页中时间戳最早的数据的访问频率，Fmax为该记录缓存页中时间戳最晚的数据的访问频率，N为该记录缓存页的数据记录总量。
进一步，无线传感器的检测方法包括：通过无线传感器内置的感知设备在独立的采样周期内对目标信号x(t)进行采集，并用A/D方式对信号进行数字量化；然后，对量化后的信号x(i)进行降维；最后，对降维后的信号进行重构；其中t为采样时刻，i为量化后的信号排序。
进一步，对量化后的信号进行降维，具体是对量化后的信号通过有限脉冲响应滤波器的差分方程其中h(0),…,h(L-1)为滤波器系数，设计基于滤波的压缩感知信号采集框架，构造如下托普利兹测量矩阵：
则观测其中b1,…,bL看作滤波器系数；子矩阵ΦFT的奇异值是格拉姆矩阵G(ΦF,T)＝Φ′FTΦFT特征值的算术根，验证G(Φ F,T)的所有特征值λi∈(1-δK,1+δK),i＝1,…,T，则ΦF满足RIP，并通过求解最优化问题来重构原信号；即通过线性规划方法来重构原信号，亦即BP算法；对图像或语音压缩信号的采集，则修改ΦF为如下形式：
如果信号在变换基矩阵Ψ上具有稀疏性，则通过求解最优化问题，精确重构出原信号；其中Φ与Ψ不相关，Ξ称为CS矩阵。
进一步，无线传感器对接收信号x(t)进行采集，并用A/D方式对信号进行数字量化包括：对接收信号x(t)用A/D方式对信号进行数字量化为s(t)，s(t) 进行非线性变换，按如下公式进行：
其中A表示信号的幅度，a(m)表示信号的码元符号，p(t)表示成形函数，fc表示信号的载波频率，表示信号的相位，通过该非线性变换后可得到：
计算接受信号的广义循环累积量按如下公式进行：
与均为广义循环矩，定义为：
其中s(t)为信号，n为广义循环矩的阶数，共轭项为m项；
进行接收信号s(t)的特征参数M1的理论值计算，具体计算过程如下进行：
经计算可知，对于2FSK信号，该信号的为1，而对于MSK、BPSK， QPSK、8PSK、16QAM和64QAM信号的均为0，由此通过最小均方误差分类器将2FSK信号识别出来；表达形式为：
本发明智能化程度高、功能多样，解决了传统的SVM分类方法的构造基于单机环境，受限于CPU的计算能力和内存的大小，只能串行处理遥感影像文件，仍然需要消耗很长的时间的问题；而且解决了在处理过程中容易因为机器故障，导致程序崩溃，甚至基础遥感影像数据也会受损，单机环境的分类效率已经难以满足海量遥感影像分类处理任务的需求，从而造成图像数据处理效果不清晰，准确率低的问题；
本发明在同一个数据库服务器中，包括两种缓存，其中，记录缓存是以数据行为单位进行数据读写，当仅有少量热点数据发生变化时，可以只对记录缓存进行更新，从而提高数据库服务器缓存的利用率，降低对缓存的更新频率。此外，由于记录缓存和页缓存都位于相同的数据库服务器，因此客户端只发送一次查询请求就可以获得相应的数据，不仅具有较高的访问效率，也节约了网络资源。
本发明信号控制精度比现有技术提高了近5个百分点，极大的保证了使用的精确性，这是一关键点。本发明对接收的数据进行管理，对实时采集的数据进行不断更新管理，保证了数据处理的精确度，与现有技术相比，这一点突出了使用的有效性和灵敏性。本发明的数据处理方法，充分保证了各个传输数据不断的变化中，有准确处理后的数据，为智能化的控制起到关键作用。
附图说明
图1是本发明实施例提供的Hadoop下的剖分遥感影像并行处理方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细描述。
如图1所示，本发明实施例提供的Hadoop下的剖分遥感影像并行处理方法，包括以下步骤：
S101:部署无线传感器：在面积为S＝W×L的检测区域内，将无线传感器部署在检测区域；
S102:选择簇头：将整个检测区域按网格进行均匀划分，使每个网格的大小形状相同，在每个网格中选择位置距离网格中心最近的传感器节点作为簇头；
S103:分簇：簇头选择完成后，簇头广播Cluster{ID，N，Hop}信息；
S104:簇内节点构成简单图模型：通过S103得到簇内所有节点在簇内所处的位置，将每个节点当做图的一个顶点，每两个相邻节点间用边相连接；所述简单图模型为图像的显著性模型；
S105:簇内权值的计算；
S106:簇内权值的计算后进行网络数据认证；
S107:网络数据认证后进行数据库的缓存管理。
进一步，所述Hadoop下的剖分遥感影像并行处理方法，具体包括以下步骤：
步骤一、部署无线传感器：在面积为S＝W×L的检测区域内，将无线传感器部署在检测区域；
步骤二、选择簇头：将整个检测区域按网格进行均匀划分，使每个网格的大小形状相同，在每个网格中选择位置距离网格中心最近的传感器节点作为簇头；
步骤三、分簇：簇头选择完成后，簇头广播Cluster{ID，N，Hop}信息，其中，ID为节点的编号，N为Cluster信息转发的跳数，且N的初值为0，Hop为系统设定的跳数；处于簇头附近的邻居节点收到Cluster信息后N增加1再转发这一信息，直到N＝Hop就不再转发Cluster信息；簇头的邻居节点转发Cluster 信息后再向将Cluster信息转发给自己的邻居节点，然后发送一个反馈信息 Join{ID，N，Eir，dij，ki}给将Cluster信息转发给自己的节点，最终将Join信息转发给簇头表示自己加入该簇，其中，Eir表示该节点此时的剩余能量，dij表示两节点间的距离，ki表示该节点能够监测得到的数据包的大小；如果一个节点收到了多个Cluster信息，节点就选择N值小的加入该簇，若N相等节点就随便选择一个簇并加入到该簇；如果节点没有收到Cluster信息，则节点发送Help 信息，加入离自己最近的一个簇；
步骤四、簇内节点构成简单图模型：通过步骤三得到簇内所有节点在簇内所处的位置，将每个节点当做图的一个顶点，每两个相邻节点间用边相连接；
所述简单图模型为图像的显著性模型，建立图像的显著性模型中，利用预定过分割算法对所述图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的颜色值相同；
确定每个所述区域的颜色值和质心；
根据各个区域所对应的颜色值以及各个区域的质心，建立所述显著性模型；
所述显著性模型为：
其中，Si1为区域Ri中任一像素点的显著性值，w(Rj)为区域Rj中的像素点的个数，DS(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间空间位置差异的度量值，DC(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间颜色差异的度量值， N为对所述图像进行过分割后得到的区域的总个数，DS(Ri,Rj)为：Center(Ri)为所述区域Ri的质心， Center(Rj)为所述区域Rj的质心，当所述图像中各个像素点的坐标均归一化到 [0,1]时；
或按照各个像素点的颜色值，对所述图像中各个像素点进行归类，将相同颜色值的像素点归类为同一种颜色类型；
根据每种颜色类型的颜色值，建立所述显著性模型；
步骤五、簇内权值的计算：通过所述步骤三，簇头获取簇内成员节点的Eir、 dij和ki，计算相邻两节点i，j之间的权值，权值的计算公式为：
Wij＝a1(Eir+Ejr)+a2dij+a3(ki+kj)；
其中，Ejr、kj分别表示节点j的剩余能量和节点j能够监测得的数据的大小，且a1+a2+a3＝1，这样系统就可以根据系统对Eir、dij或ki所要求的比重不同调整ai的值而得到满足不同需要的权值；
步骤六，簇内权值的计算后进行网络数据认证：所网络数据认证方法包括：
生成随机数rkeyid，利用椭圆曲线密码算法计算相应的公钥rPKid， rPKid＝rkeyid×G，G为椭圆曲线的基点，将rPKid和用户标识UID对外发送，网络数据认证模块的密钥生成系统生成随机数rkeyKMC，利用椭圆曲线密码算法计算其相应的公钥rPKKMC，其中，rPKKMC＝rkeyKMC×G，并记γid＝rPKid+rPKKMC；
利用用户标识UID及人脸识别数据库的数据计算标识私钥keyid和标识公钥 Rid，具体为：
生成私钥矩阵和公钥矩阵，私钥矩阵和公钥矩阵的大小均为m×h，m和h均为正整数；
利用用户标识UID及人脸识别数据库的数据使用散列算法计算用户标识 UID的散列值，将所述散列值分为m段，作为私钥矩阵和公钥矩阵的列映射值 map[i]，i＝0,1,2......m-1；
计算：
ri,map[i]为私钥矩阵中的一个元素；
Xi,map[i]为公钥矩阵中的一个元素；
n为椭圆曲线的阶；
步骤七，网络数据认证后进行数据库的缓存管理，数据库的缓存管理方法包括：
预先为数据库中的数据表建立记录缓存，所述记录缓存以数据行为单位进行数据读写；
当接收到客户端的数据查询请求时，在所述记录缓存中查找所请求的数据；
若查找失败，则在所述数据库的页缓存中查找所请求的数据，所述页缓存以页为基本单位进行数据读写；
将在所述记录缓存或所述页缓存中查找到的数据返回至客户端；
向所述记录缓存中添加数据，具体的，将在页缓存中查找到的数据添加至记录缓存中。
所述向所述记录缓存中添加数据的具体过程包括：
方式一：在记录缓存中，选择与待添加数据具有相同数量级的记录数据进行替换；或
方式二：在记录缓存中，选择与待添加数据具有不同数量级的记录缓存页，回收该缓存页所占用的空间，利用所回收的空间为所述待添加数据分配新的记录缓存页，将所述待添加数据写入该新的记录缓存页；
其中，根据以下方法选择所述方式一或方式二：
获得与所述待添加数据具有相同数量级的记录数据的访问频率Frec、以及与待添加数据具有不同数量级的记录缓存页的访问频率Fpage；
判断Frec＞replace_page_ratio*Fpage是否成立，如果是，则选择所述方式一，否则选择所述方式二；
其中replace_page_ratio为预设的替换控制参数，replace_page_ratio ∈(0,1]；
所述与待添加数据具有不同数量级的记录缓存页的访问频率Fpage的获得方法为：
Fpage＝(Fmin+Fmax)/2*N；
其中，Fmin为该记录缓存页中时间戳最早的数据的访问频率，Fmax为该记录缓存页中时间戳最晚的数据的访问频率，N为该记录缓存页的数据记录总量。
无线传感器的检测方法包括：通过无线传感器内置的感知设备在独立的采样周期内对目标信号x(t)进行采集，并用A/D方式对信号进行数字量化；然后，对量化后的信号x(i)进行降维；最后，对降维后的信号进行重构；其中t 为采样时刻，i为量化后的信号排序。
对量化后的信号进行降维，具体是对量化后的信号通过有限脉冲响应滤波器的差分方程其中h(0),…,h(L-1)为滤波器系数，设计基于滤波的压缩感知信号采集框架，构造如下托普利兹测量矩阵：
则观测其中b1,…,bL看作滤波器系数；子矩阵ΦFT的奇异值是格拉姆矩阵G(ΦF,T)＝Φ′FTΦFT特征值的算术根，验证G(Φ F,T)的所有特征值λi∈(1-δK,1+δK),i＝1,…,T，则ΦF满足RIP，并通过求解最优化问题来重构原信号；即通过线性规划方法来重构原信号，亦即BP算法；对图像或语音压缩信号的采集，则修改ΦF为如下形式：
如果信号在变换基矩阵Ψ上具有稀疏性，则通过求解最优化问题，精确重构出原信号；其中Φ与Ψ不相关，Ξ称为CS矩阵。
无线传感器对接收信号x(t)进行采集，并用A/D方式对信号进行数字量化包括：对接收信号x(t)用A/D方式对信号进行数字量化为s(t)，s(t)进行非线性变换，按如下公式进行：
其中A表示信号的幅度，a(m)表示信号的码元符号，p(t)表示成形函数，fc表示信号的载波频率，表示信号的相位，通过该非线性变换后可得到：
计算接受信号的广义循环累积量按如下公式进行：
与均为广义循环矩，定义为：
其中s(t)为信号，n为广义循环矩的阶数，共轭项为m项；
进行接收信号s(t)的特征参数M1的理论值计算，具体计算过程如下进行：
经计算可知，对于2FSK信号，该信号的为1，而对于MSK、BPSK， QPSK、8PSK、16QAM和64QAM信号的均为0，由此通过最小均方误差分类器将2FSK信号识别出来；表达形式为：
本发明智能化程度高、功能多样，解决了传统的SVM分类方法的构造基于单机环境，受限于CPU的计算能力和内存的大小，只能串行处理遥感影像文件，仍然需要消耗很长的时间的问题；而且解决了在处理过程中容易因为机器故障，导致程序崩溃，甚至基础遥感影像数据也会受损，单机环境的分类效率已经难以满足海量遥感影像分类处理任务的需求，从而造成图像数据处理效果不清晰，准确率低的问题；
本发明在同一个数据库服务器中，包括两种缓存，其中，记录缓存是以数据行为单位进行数据读写，当仅有少量热点数据发生变化时，可以只对记录缓存进行更新，从而提高数据库服务器缓存的利用率，降低对缓存的更新频率。此外，由于记录缓存和页缓存都位于相同的数据库服务器，因此客户端只发送一次查询请求就可以获得相应的数据，不仅具有较高的访问效率，也节约了网络资源。
本发明信号控制精度比现有技术提高了近5个百分点，极大的保证了使用的精确性，这是一关键点。本发明对接收的数据进行管理，对实时采集的数据进行不断更新管理，保证了数据处理的精确度，与现有技术相比，这一点突出了使用的有效性和灵敏性。本发明的数据处理方法，充分保证了各个传输数据不断的变化中，有准确处理后的数据，为智能化的控制起到关键作用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种Hadoop下的剖分遥感影像并行处理方法，其特征在于，所述Hadoop下的剖分遥感影像并行处理方法包括以下步骤：
步骤一、部署无线传感器：在面积为S＝W×L的检测区域内，将无线传感器部署在检测区域；
步骤二、选择簇头：将整个检测区域按网格进行均匀划分，使每个网格的大小形状相同，在每个网格中选择位置距离网格中心最近的传感器节点作为簇头；
步骤三、分簇：簇头选择完成后，簇头广播Cluster{ID，N，Hop}信息，其中，ID为节点的编号，N为Cluster信息转发的跳数，且N的初值为0，Hop为系统设定的跳数；处于簇头附近的邻居节点收到Cluster信息后N增加1再转发这一信息，直到N＝Hop就不再转发Cluster信息；簇头的邻居节点转发Cluster信息后再向将Cluster信息转发给自己的邻居节点，然后发送一个反馈信息Join{ID，N，Eir，dij，ki}给将Cluster信息转发给自己的节点，最终将Join信息转发给簇头表示自己加入该簇，其中，Eir表示该节点此时的剩余能量，dij表示两节点间的距离，ki表示该节点能够监测得到的数据包的大小；如果一个节点收到了多个Cluster信息，节点就选择N值小的加入该簇，若N相等节点就随便选择一个簇并加入到该簇；如果节点没有收到Cluster信息，则节点发送Help信息，加入离自己最近的一个簇；
步骤四、簇内节点构成简单图模型：通过步骤三得到簇内所有节点在簇内所处的位置，将每个节点当做图的一个顶点，每两个相邻节点间用边相连接；
所述简单图模型为图像的显著性模型，建立图像的显著性模型中，利用预定过分割算法对所述图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的颜色值相同；
确定每个所述区域的颜色值和质心；
根据各个区域所对应的颜色值以及各个区域的质心，建立所述显著性模型；
所述显著性模型为：
其中，Si1为区域Ri中任一像素点的显著性值，w(Rj)为区域Rj中的像素点的个数，DS(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间空间位置差异的度量值，DC(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间颜色差异的度量值，N为对所述图像进行过分割后得到的区域的总个数，DS(Ri,Rj)为：Center(Ri)为所述区域Ri的质心，Center(Rj)为所述区域Rj的质心，当所述图像中各个像素点的坐标均归一化到[0,1]时；
或按照各个像素点的颜色值，对所述图像中各个像素点进行归类，将相同颜色值的像素点归类为同一种颜色类型；
根据每种颜色类型的颜色值，建立所述显著性模型；
步骤五、簇内权值的计算：通过所述步骤三，簇头获取簇内成员节点的Eir、dij和ki，计算相邻两节点i，j之间的权值，权值的计算公式为：
Wij＝a1(Eir+Ejr)+a2dij+a3(ki+kj)；
其中，Ejr、kj分别表示节点j的剩余能量和节点j能够监测得的数据的大小，且a1+a2+a3＝1，这样系统就可以根据系统对Eir、dij或ki所要求的比重不同调整ai的值而得到满足不同需要的权值；
步骤六，簇内权值的计算后进行网络数据认证：所网络数据认证方法包括：
生成随机数rkeyid，利用椭圆曲线密码算法计算相应的公钥rPKid，rPKid＝rkeyid×G，G为椭圆曲线的基点，将rPKid和用户标识UID对外发送，网络数据认证模块的密钥生成系统生成随机数rkeyKMC，利用椭圆曲线密码算法计算其相应的公钥rPKKMC，其中，rPKKMC＝rkeyKMC×G，并记γid＝rPKid+rPKKMC；
利用用户标识UID及人脸识别数据库的数据计算标识私钥keyid和标识公钥Rid，具体为：
生成私钥矩阵和公钥矩阵，私钥矩阵和公钥矩阵的大小均为m×h，m和h均为正整数；
利用用户标识UID及人脸识别数据库的数据使用散列算法计算用户标识UID的散列值，将所述散列值分为m段，作为私钥矩阵和公钥矩阵的列映射值map[i]，i＝0,1,2......m-1；
计算：
ri,map[i]为私钥矩阵中的一个元素；
Xi,map[i]为公钥矩阵中的一个元素；
n为椭圆曲线的阶；
步骤七，网络数据认证后进行数据库的缓存管理，数据库的缓存管理方法包括：
预先为数据库中的数据表建立记录缓存，所述记录缓存以数据行为单位进行数据读写；
当接收到客户端的数据查询请求时，在所述记录缓存中查找所请求的数据；
若查找失败，则在所述数据库的页缓存中查找所请求的数据，所述页缓存以页为基本单位进行数据读写；
将在所述记录缓存或所述页缓存中查找到的数据返回至客户端；
向所述记录缓存中添加数据，具体的，将在页缓存中查找到的数据添加至记录缓存中。
2.如权利要求1所述的Hadoop下的剖分遥感影像并行处理方法，其特征在于，所述向所述记录缓存中添加数据的具体过程包括：
方式一：在记录缓存中，选择与待添加数据具有相同数量级的记录数据进行替换；或
方式二：在记录缓存中，选择与待添加数据具有不同数量级的记录缓存页，回收该缓存页所占用的空间，利用所回收的空间为所述待添加数据分配新的记录缓存页，将所述待添加数据写入该新的记录缓存页；
其中，根据以下方法选择所述方式一或方式二：
获得与所述待添加数据具有相同数量级的记录数据的访问频率Frec、以及与待添加数据具有不同数量级的记录缓存页的访问频率Fpage；
判断Frec＞replace_page_ratio*Fpage是否成立，如果是，则选择所述方式一，否则选择所述方式二；
其中replace_page_ratio为预设的替换控制参数，replace_page_ratio∈(0,1]；
所述与待添加数据具有不同数量级的记录缓存页的访问频率Fpage的获得方法为：
Fpage＝(Fmin+Fmax)/2*N；
其中，Fmin为该记录缓存页中时间戳最早的数据的访问频率，Fmax为该记录缓存页中时间戳最晚的数据的访问频率，N为该记录缓存页的数据记录总量。
3.如权利要求1所述的Hadoop下的剖分遥感影像并行处理方法，其特征在于，无线传感器的检测方法包括：通过无线传感器内置的感知设备在独立的采样周期内对目标信号x(t)进行采集，并用A/D方式对信号进行数字量化；然后，对量化后的信号x(i)进行降维；最后，对降维后的信号进行重构；其中t为采样时刻，i为量化后的信号排序。
4.如权利要求3所述的Hadoop下的剖分遥感影像并行处理方法，其特征在于，对量化后的信号进行降维，具体是对量化后的信号通过有限脉冲响应滤波器的差分方程其中h(0),…,h(L-1)为滤波器系数，设计基于滤波的压缩感知信号采集框架，构造如下托普利兹测量矩阵：
则观测其中b1,…,bL看作滤波器系数；子矩阵ΦFT的奇异值是格拉姆矩阵G(ΦF,T)＝Φ′FTΦFT特征值的算术根，验证G(ΦF,T)的所有特征值λi∈(1-δK,1+δK),i＝1,…,T，则ΦF满足RIP，并通过求解最优化问题来重构原信号；即通过线性规划方法来重构原信号，亦即BP算法；对图像或语音压缩信号的采集，则修改ΦF为如下形式：
如果信号在变换基矩阵Ψ上具有稀疏性，则通过求解最优化问题，精确重构出原信号；其中Φ与Ψ不相关，Ξ称为CS矩阵。
5.如权利要求3所述的Hadoop下的剖分遥感影像并行处理方法，其特征在于，无线传感器对接收信号x(t)进行采集，并用A/D方式对信号进行数字量化包括：对接收信号x(t)用A/D方式对信号进行数字量化为s(t)，s(t)进行非线性变换，按如下公式进行：
其中A表示信号的幅度，a(m)表示信号的码元符号，p(t)表示成形函数，fc表示信号的载波频率，表示信号的相位，通过该非线性变换后可得到：
计算接受信号的广义循环累积量按如下公式进行：
与均为广义循环矩，定义为：
其中s(t)为信号，n为广义循环矩的阶数，共轭项为m项；
进行接收信号s(t)的特征参数M1的理论值计算，具体计算过程如下进行：
经计算可知，对于2FSK信号，该信号的为1，而对于MSK、BPSK，QPSK、8PSK、16QAM和64QAM信号的均为0，由此通过最小均方误差分类器将2FSK信号识别出来；表达形式为：
CN201710157165.3A 2017-03-16 2017-03-16 一种Hadoop下的剖分遥感影像并行处理方法 Pending CN107071858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710157165.3A CN107071858A (zh) 2017-03-16 2017-03-16 一种Hadoop下的剖分遥感影像并行处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710157165.3A CN107071858A (zh) 2017-03-16 2017-03-16 一种Hadoop下的剖分遥感影像并行处理方法

Publications (1)

Publication Number Publication Date
CN107071858A true CN107071858A (zh) 2017-08-18

Family

ID=59620873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710157165.3A Pending CN107071858A (zh) 2017-03-16 2017-03-16 一种Hadoop下的剖分遥感影像并行处理方法

Country Status (1)

Country Link
CN (1) CN107071858A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510484A (zh) * 2018-03-27 2018-09-07 佳木斯大学附属第医院 一种ect图像数据采集、图像重建及评估系统
CN108733777A (zh) * 2018-05-03 2018-11-02 湖南城市学院 一种基于概率统计的互联网舆情分析方法
CN110913388A (zh) * 2019-12-12 2020-03-24 深圳技术大学 一种基于无线传感器网络的安全成簇方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932850A (zh) * 2006-10-09 2007-03-21 武汉大学 一种遥感图像空间形状特征提取与分类方法
CN101976361A (zh) * 2010-11-23 2011-02-16 中国矿业大学 一种用于遥感影像的多核支持向量机分类方法
CN102880872A (zh) * 2012-08-28 2013-01-16 中国科学院东北地理与农业生态研究所 一种半监督svm遥感影像分类构建方法
US8447119B2 (en) * 2010-03-16 2013-05-21 Nec Laboratories America, Inc. Method and system for image classification
CN104780532A (zh) * 2015-05-08 2015-07-15 淮海工学院 一个可用于无线传感网络的簇密钥管理方法
US9443169B2 (en) * 2014-02-21 2016-09-13 Xerox Corporation Object classification with constrained multiple instance support vector machine
CN106096663A (zh) * 2016-06-24 2016-11-09 长春工程学院 一种基于稀疏异构分组的高光谱遥感影像的分类器构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932850A (zh) * 2006-10-09 2007-03-21 武汉大学 一种遥感图像空间形状特征提取与分类方法
US8447119B2 (en) * 2010-03-16 2013-05-21 Nec Laboratories America, Inc. Method and system for image classification
CN101976361A (zh) * 2010-11-23 2011-02-16 中国矿业大学 一种用于遥感影像的多核支持向量机分类方法
CN102880872A (zh) * 2012-08-28 2013-01-16 中国科学院东北地理与农业生态研究所 一种半监督svm遥感影像分类构建方法
US9443169B2 (en) * 2014-02-21 2016-09-13 Xerox Corporation Object classification with constrained multiple instance support vector machine
CN104780532A (zh) * 2015-05-08 2015-07-15 淮海工学院 一个可用于无线传感网络的簇密钥管理方法
CN106096663A (zh) * 2016-06-24 2016-11-09 长春工程学院 一种基于稀疏异构分组的高光谱遥感影像的分类器构建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510484A (zh) * 2018-03-27 2018-09-07 佳木斯大学附属第医院 一种ect图像数据采集、图像重建及评估系统
CN108510484B (zh) * 2018-03-27 2021-05-18 佳木斯大学附属第一医院 一种ect图像数据采集、图像重建及评估系统
CN108733777A (zh) * 2018-05-03 2018-11-02 湖南城市学院 一种基于概率统计的互联网舆情分析方法
CN110913388A (zh) * 2019-12-12 2020-03-24 深圳技术大学 一种基于无线传感器网络的安全成簇方法及装置
CN110913388B (zh) * 2019-12-12 2023-10-17 深圳技术大学 一种基于无线传感器网络的安全成簇方法及装置

Similar Documents

Publication Publication Date Title
US10637744B2 (en) Complementary workflows for identifying one-hop network behavior and multi-hop network dependencies
Xie et al. Recover corrupted data in sensor networks: A matrix completion solution
CN102915347B (zh) 一种分布式数据流聚类方法及系统
Xie et al. Active sparse mobile crowd sensing based on matrix completion
Ioannidis et al. Coupled graphs and tensor factorization for recommender systems and community detection
Hammoudeh et al. Map as a service: a framework for visualising and maximising information return from multi-modal wireless sensor networks
Xia et al. Quality-aware sparse data collection in MEC-enhanced mobile crowdsensing systems
CN107071858A (zh) 一种Hadoop下的剖分遥感影像并行处理方法
Tang et al. Reputation-aware data fusion and malicious participant detection in mobile crowdsensing
Fathy et al. A distributed in-network indexing mechanism for the Internet of Things
Zhou et al. A utility model for photo selection in mobile crowdsensing
Nikitha et al. High Resolution Image Reconstruction with Smart Camera Network
Wang et al. Anomaly detection in wireless sensor networks based on KNN
Jeong et al. Decentralized and coordinate-free computation of critical points and surface networks in a discretized scalar field
CN113065837A (zh) 确定用户所属群组的方法、装置、电子设备和存储介质
Sik et al. Toward cognitive data analysis with big data environment
Xu et al. Spatio-temporal hierarchical data aggregation using compressive sensing (ST-HDACS)
Liu et al. Complex network analysis of climate change in the Tarim River Basin, Northwest China
Heine Outlier detection in data streams using OLAP cubes
Rashmi et al. A review on overlapping community detection methodologies
Deng et al. Fmgnn: Fused manifold graph neural network
Li et al. Multi-view matrix factorization for sparse mobile crowdsensing
Dhivya et al. Cluster based approximate data collection for wireless sensor networks
Zhang et al. Data reconstruction with spatial and temporal correlation in wireless sensor networks
CN113315757B (zh) 一种面向边缘计算的数据免解码传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20200922