CN103310460A - 图像特征提取的方法及系统 - Google Patents

图像特征提取的方法及系统 Download PDF

Info

Publication number
CN103310460A
CN103310460A CN2013102532906A CN201310253290A CN103310460A CN 103310460 A CN103310460 A CN 103310460A CN 2013102532906 A CN2013102532906 A CN 2013102532906A CN 201310253290 A CN201310253290 A CN 201310253290A CN 103310460 A CN103310460 A CN 103310460A
Authority
CN
China
Prior art keywords
task
child node
image
failure
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013102532906A
Other languages
English (en)
Inventor
雷桥兵
吴金勇
秦兴德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Security and Surveillance Technology PRC Inc
Original Assignee
China Security and Surveillance Technology PRC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Security and Surveillance Technology PRC Inc filed Critical China Security and Surveillance Technology PRC Inc
Priority to CN2013102532906A priority Critical patent/CN103310460A/zh
Publication of CN103310460A publication Critical patent/CN103310460A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明适用于数据领域,提供了一种图像特征提取的方法及系统,所述方法包括步骤:S1、主节点将待特征提取的图像数据分布于至少二个子节点;S2、当主节点收到图像特征提取的任务时,将所述任务及对应的特征提取算法分发至所述子节点;S3、所述子节点根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值;S4、所述主节点将所述子节点的图像特征值进行归并。本发明实施例的方法及系统可提交图像处理的效率。

Description

图像特征提取的方法及系统
技术领域
本发明属于数据处理领域,尤其涉及一种图像特征提取的方法及系统。
背景技术
多媒体数据挖掘技术是数据挖掘技术和多媒体技术结合的产物,是数据挖掘、人工智能、机器学习、数据库技术、多媒体技术等学科的交叉领域,包括图像挖掘、视频挖掘、音频挖掘、文本挖掘等专业领域内的知识挖掘及综合性挖掘。多媒体数据挖掘在行为分析、个性化推荐、舆情监测、视频检索、图片过滤、欺诈检测等领域有着广泛的应用。
图像特征提取是跨媒体数据预处理的重要组成部分,也是图像识别和图像挖掘基础环节,图像原始的数据空间难以表达具体的图像特征,通过特征提取算法将图像描述为具体的底层特征,比如边缘特征、纹理特征等。传统的图像特征提取技术采用串行计算的方法,特征提取装置运行在单台机子上,其处理能力低下尤其是需要对海量图像数据进行特征提取时难以满足用户需求。
发明内容
本发明实施例的目的在于提供一种图像特征提取的方法及系统,旨在解决现有的使用串行算法进行图像特征提取导致效率低下的问题。
本发明实施例是这样实现的,一种图像特征提取的方法,所述方法包括步骤:
S1、主节点将待特征提取的图像数据分布于至少二个子节点;
S2、当主节点收到图像特征提取的任务时,将所述任务及对应的特征提取算法分发至所述子节点;
S3、所述子节点根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值;
S4、所述主节点将所述子节点的图像特征值进行归并。
进一步地,在执行步骤S3之后,还包括:
所述主节点根据各子节点输出的图像特征值数量动态调整所述各子节点的任务,并返回步骤S3,直到所有子节点的任务结束。
进一步地,所述步骤S3具体包括:
所述子节点将收到的图像数据转换为灰度图像数据;
将所述灰度图像数据进行直方均衡化。
进一步地,还包括:
当某一子节点的任务失败时,该子节点重新启动任务直到预设的次数或启动备份子节点执行所述失败的任务。
进一步地,所述当某一子节点的任务失败时,该子节点启动备份子节点执行所述失败的任务具体包括:
所述任务失败的子节点向备份子节点发出执行请求,启动所述备份子节点执行所述失败的任务;
当超过预设数量的备份子节点执行所述失败的任务不成功时,结束所述失败的任务。
本发明还提出一种图像特征提取的系统,所述系统包括主节点和至少二个子节点,其中,
所述主节点包括:
建立数据库模块,用于将待特征提取的图像数据分布于所述子节点;
任务分发模块,用于当收到图像特征提取的任务时,将所述任务及对应的特征提取算法分发至所述子节点;
归并模块,用于将所述子节点的图像特征值进行归并;
所述子节点包括:
特征提取模块,用于根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值。
进一步地,所述主节点还包括:
动态均衡模块,用于根据各子节点输出的图像特征值数量动态调整所述各子节点的任务,并返回由所述子节点继续根据收到的任务及特征提取算法对本地的图像数据进行特征提取,直到所有子节点的任务结束。
进一步地,所述特征提取模块包括:
数据转换单元,用于将收到的图像数据转换为灰度图像数据;
直方均衡单元,用于将所述灰度图像数据进行直方均衡化。
进一步地,所述子节点还包括:
故障处理模块,当任务失败时,重新启动任务直到预设的次数或启动备份子节点执行所述失败的任务。
进一步地,所述故障处理模块包括:
请求单元,用于向备份子节点发出执行请求,启动所述备份子节点执行所述失败的任务;
结束任务单元,用于当超过预设数量的备份子节点执行所述失败的任务不成功时,结束所述失败的任务。
本发明实施例在图像特征提取过程中采用并行计算方式,能够提高图像处理的效率,降低图像特征提取的时间复杂度,有着优秀的海量数据处理性能。进一步地,本发明实施例采用Hadoop系统的Map/Reduce框架,可以根据输入图像数据分布等信息自动创建多个并行子任务,有效地按照集群中各个节点的负载情况动态地接受特征提取任务,将子任务调度到合适的集群节点上并行执行,有效的利用了Hadoop系统的并行计算功能和大规模数据存储功能。
附图说明
图1是本发明实施例一提供的图像特征提取的方法的流程图;
图2是本发明实施例一提供的图像特征提取的方法中步骤S2的流程图;
图3是本发明实施例一提供的图像特征提取的方法中步骤S3的流程图;
图4是本发明实施例一提供的图像特征提取的方法中步骤S4的流程图;
图5是本发明实施例一提供的图像特征提取的方法的另一流程图;
图6是本发明实施例二提供的图像特征提取的系统的结构图;
图7是本发明实施例二提供的图像特征提取的系统中主节点的结构图;
图8是本发明实施例二提供的图像特征提取的系统中子节点的结构图;
图9是本发明实施例二提供的图像特征提取的系统中特征提取模块的结构图;
图10是本发明实施例二提供的图像特征提取的系统中故障处理模块的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一
本发明实施例一提供一种图像特征提取的方法。如图1所示,本发明实施例一的方法包括如下步骤:
S1、主节点将待特征提取的图像数据分布于至少二个子节点,建立图像数据库。本发明实施例一的方法预先建立了集群,集群中包括一主节点和至少两个子节点,实际应用中,可根据需要特征提取的图像数据的数量拓展该集群主节点下子节点的数量。集群上每个子节点均是一台普通的计算机。
S2、当主节点收到图像特征提取的任务时,将任务及对应的特征提取算法分发至子节点。
该步骤中,主节点将任务分发到各个子节点的TaskTracker中,每个TaskTracker将运行任务,调用本地的图像数据进行处理。同时主节点还将各子节点对应的特征提取算法分发到对应的子节点。上述任务包括各子节点需要处理的图像数据以及需要提取的图像特征。
如图2所示,该步骤中,任务分配具体为:
步骤S201、由Map/Reduce程序定义输入文件格式、Map操作和Reduce操作,指定HDFS输入/输出文件的位置,启动作业。
步骤S202、复制作业。客户端根据配置大小将输入的图像数据集切割成若干个Split,将Split信息、打包的作业程序以及相关的配置信息复制到共享存储如HDFS后给Job Tracker,随后用户程序进入等待状态。
步骤S203、Job Tracker初始化作业,根据客户端提交到HDFS上的Split分块信息和配置文构建映射任务。
步骤S204、子节点的Task Tracker通过一个简单循环周期性地向Job Tracker发送心跳,请求一个新映射任务或合并任务,并从共享存储获取任务相关的资源如数据和程序,启动本机子进程创建任务。
步骤S205、Job Tracker将构成该作业的所有映射任务和合并任务加入任务队列。
S3、子节点根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值。
收到任务时,各子节点采用Hadoop系统的Map/Reduce开源框架的集群图像处理方式,通过图像解码器将图像数据读入进行预处理。预处理的过程包括将子节点本地的图像数据转换为灰度图像数据(如256级灰度级的图像数据),然后灰度图像数据将进行直方图均衡化,经过直方图均衡化后,可以提高图像数据的对比度,减少后续特征提取的运算量。
需要注意的是,本步骤中的预处理过程也可以在步骤S1之后,步骤S2之前进行,即各子节点在收到分布的图像数据后进行预处理,并存储在本端。
上述Hadoop系统是一个开源的云计算框架,它是一个适合处理海量数据的并行编程系统,可以根据输入数据分布等信息自动创建多个并行子任务,并将子任务高度至合适的集群节点上并行执行。Map/Reduce是Hadoop系统的一个核心模块,它使得开发人员不必关心节点失败、任务失效及任务之间的数据等问题,而只需按照MapReduce编程规范定义好map函数、reduce函数以及一些数据格式信息,即可完成分布式数据处理。
该步骤中,如果其中一个子节点特征提取失败,重启特征提取任务,当在该子节点的失败超过预设的次数时,报告任务失败。或者,主节点此时可重新在拥有备份的另一个子节点(失败子节点的备份子节点)上执行特征提取的任务,或由失败的子节点向备份子节点发出执行请求,使得备份子节点执行上述失败的任务,如果超过预设数量的备份子节点的特征提取都失败(如超过3个备份的特征提取失败,备份的数量可根据需要进行预设),则表示此子节点的任务失败,结束该失败的任务。
步骤S3可采用计算效率高、特征表达能力强的SIFT、U-LBP、HOG、Tamura和GLCM等特征提取方法提取图像特征值。
上述基于共生矩阵的(GLCM)特征提取方法,首先灰度直方图均衡化技术把灰度级降为16,然后计算能量(energy)、对比度(contrast)、相关性(correlation)、熵(entropy)、逆差矩(Homogeneity)、差异性(Dissimilarity)六种特征的0、45、90、135度四个方向上的灰度共生矩阵特征值。Tamura纹理特征的提取方法,提取粗糙度(coarseness)、对比度(contrast)、方向度(directionality)三个特征值。U-LBP(Uniform local binary pattern)算子的纹理特征提取方法,首先通过U-LBP算子计算灰度图的纹理图像,然后提取其直方图。HOG特征提取方法,提取归一化后的图像每一个细胞单元的梯度方向直方图,把这些直方图组合起来构成HOG特征描述器。
步骤S3中,各子节点并行处理图像数据过程是在Mapper类的map()函数完成的。map()函数的工作流程如图3所示,包括:
步骤S301、图像数据或者图像数据分片存储在HDFS上,需要将图像数据的文件从HDFS上下载到本地,map()函数读取键值对<PicFileName,FileSplit>。
步骤S302、解析出图像数据的文件在HDFS上的存储位置。
步骤S303、将图像数据或者图像数据的分片下载到本地。
步骤S304、在本地完成特征提取的工作。map()函数调用子节点内相应的特征提取算法完成特征提取工作。
步骤S305、将提取的图像特征值写入键值对,其输出的键值对是<图片文件名,特征值>。
S4、主节点将所述子节点的图像特征值进行归并。
该步骤中,通过Reducer将各个子节点提取的图像特征值归并到统一特征库中进行存储。主节点的归并处理工作是由Reducer的reduce()函数完成的,reduce()函数的工作流程如图4所示,包括:
步骤S401、reduce()函数读取map()函数输出的键值对。
步骤S402、解析map()函数传递过来的图片特征值的位置信息。
步骤S403、调用图像特征值合并方法对图片特征值进行合并。
步骤S404、将合并结果存储到统一特征库中,reduce函数不输出键值对。
如图5所示,本发明实施例一中,在执行步骤S3之后,还可进一步包括:
步骤S5:判断各个子节点的任务是否完成,是则结束本流程,否则进入步骤S6。
步骤S6:主节点根据各子节点输出的图像特征值数量动态调整各子节点的任务。主节点的Job Tracker通过动态均衡器执行各子节点任务的均匀分配,并返回步骤S3。
步骤S6中,动态均衡器的运行由负责根据每一个子节点TaskTracker反馈的分桶情况和完成比例产生一个自适应当前任务数据的静态哈希函数,并采用该静态哈希函数用于数据划分。将各子节点输出的数据采用动态哈希函数划分方法进行分桶保存,其中各子节点的Map输出的数据中,同一key对应的记录保存在同一桶内;当一桶包含不同key时,其记录个数或占用的存储空间不得超过预先设定的该子节点的阈值。动态均衡器根据Job Tracker中提供的当前任务下的所有子节点的Map输出数据的桶的分布情况(<桶号,记录大小>集合),产生一个静态的哈希函数和特定的Reduce设置的个数,并且把这个哈希函数发送给所有映射端。该静态的哈希函数为针对各子节点所有数据的分布特点的一种静态的划分方法,划分方法将尽可能保证所有数据经过Map操作之后能够自适应地均匀把数据分配给各个Reduce中,也就是分区中的均匀程度不得低于一定的阈值。而且划分成的集合的个数等于所需要Reduce的个数。
本发明实施例一的方法将图像特征提取的任务分布在各个子节点,将大规模的图像数据处理移植到Hadoop系统,在Map/Reduce并行计算框架下实现图像特征的快速提取,满足了海量图像数据特征提取的高效率。此外,本发明实施例一采用Map/Reduce模型下负载均衡策略,通过一个动态均衡器可以有效地按照集群中各个子节点的负载情况动态地调整各子节点的特征提取任务,避免子节点负载过重或过轻的情况。本发明实施例一支持动态扩容,随着需求的不断增加,当现有处理能力无法满足处理总量时,只需要增加子节点,无需停止服务,即可动态地增加处理性能,具有良好的可扩充性,能满足未来业务量和应用需求的增加,在增加新特征提取算法、新模块时进行平滑升级,不影响现有特征提取方法和功能模块的正常使用。
实施例二
本发明实施例二提出一种图像特征提取的系统。如图6所示,本发明实施例二的系统包括主节点10和至少二个子节点20。实际应用中,可根据需要特征提取的图像数据的数量拓展该主节点10下子节点20的数量。每个子节点20均是一台普通的计算机。
如图7所示,主节点10可包括:
建立数据库模块11,用于将待特征提取的图像数据分布于子节点20;
任务分发模块12,用于当收到图像特征提取的任务时,将任务及对应的特征提取算法分发至子节点20;
动态均衡模块13,用于根据各子节点20输出的图像特征值数量动态调整各子节点20的任务,并返回由子节点20继续根据收到的任务及特征提取算法对本地的图像数据进行特征提取,直到所有子节点20的任务结束。
归并模块14,用于将子节点20的图像特征值进行归并。
如图8所示,子节点20可包括:
特征提取模块21,用于根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值;
故障处理模块22,当任务失败时,重新启动任务直到预设的次数或启动备份子节点执行该失败的任务。
如图9所示,特征提取模块21包括:
数据转换单元211,用于将收到的图像数据转换为灰度图像数据;
直方均衡单元212,用于将灰度图像数据进行直方均衡化。
如图10所示,故障处理模块22包括:
请求单元221,用于向备份子节点发出执行请求,启动备份子节点执行失败的任务;
结束任务单元222,用于当超过预设数量的备份子节点执行失败的任务不成功时,结束该失败的任务。
本发明实施例二的系统工作过程如下:
首先,主节点10的建立数据库模块11将待特征提取的图像数据分布存储在集群的各个子节点20中,建立图像数据库。
其次,当主节点10接收到客户端提交的任务后,任务分发模块12将任务分发到各个子节点20的TaskTracker中,每个TaskTracker将运行任务,调用本地的图像数据进行处理。同时任务分发模块12还将各子节点20对应的特征提取算法分发到对应的子节点20。上述任务包括各子节点20需要处理的图像数据以及需要提取的图像特征。
上述任务分发模块12任务分配具体过程为:由Map/Reduce程序定义输入文件格式、Map操作和Reduce操作,指定HDFS输入/输出文件的位置,启动作业。客户端根据配置大小将输入的图像数据集切割成若干个Split,将Split信息、打包的作业程序以及相关的配置信息复制到共享存储如HDFS后给JobTracker,随后用户程序进入等待状态。Job Tracker初始化作业,根据客户端提交到HDFS上的Split分块信息和配置文构建映射任务。子节点20的Task Tracker通过一个简单循环周期性地向Job Tracker发送心跳,请求一个新映射任务或合并任务,并从共享存储获取任务相关的资源如数据和程序,启动本机子进程创建任务。Job Tracker将构成该作业的所有映射任务和合并任务加入任务队列。
各子节点20的特征提取模块21根据分发到的特征提取算法并行执行各自被分配的任务,得到图像特征值。
子节点20接收到任务时,特征提取模块21采用Hadoop系统的Map/Reduce开源框架的集群图像处理方式,通过图像解码器将图像数据读入进行预处理。预处理的过程包括将数据转换单元211本地的图像数据转换为灰度图像数据(如256级灰度级的图像数据),然后直方均衡单元212将灰度图像数据进行直方图均衡化,经过直方图均衡化后,可以提高图像数据的对比度,减少后续特征提取的运算量。
上述Hadoop系统是一个开源的云计算框架,它是一个适合处理海量数据的并行编程系统,可以根据输入数据分布等信息自动创建多个并行子任务,并将子任务高度至合适的集群节点上并行执行。Map/Reduce是Hadoop系统的一个核心模块,它使得开发人员不必关心节点失败、任务失效及任务之间的数据等问题,而只需按照MapReduce编程规范定义好map函数、reduce函数以及一些数据格式信息,即可完成分布式数据处理。
需要注意的是,上述预处理过程也可以在子节点20收到图像数据后立即进行,即各子节点20在收到分布的图像数据后进行预处理,并存储在本端。
随后,特征提取模块21采用计算效率高、特征表达能力强的SIFT、U-LBP、HOG、Tamura和GLCM等特征提取方法提取图像特征值。上述基于共生矩阵的(GLCM)特征提取方法,首先灰度直方图均衡化技术把灰度级降为16,然后计算能量(energy)、对比度(contrast)、相关性(correlation)、熵(entropy)、逆差矩(Homogeneity)、差异性(Dissimilarity)六种特征的0、45、90、135度四个方向上的灰度共生矩阵特征值。Tamura纹理特征的提取方法,提取粗糙度(coarseness)、对比度(contrast)、方向度(directionality)三个特征值。U-LBP(Uniform local binary pattern)算子的纹理特征提取方法,首先通过U-LBP算子计算灰度图的纹理图像,然后提取其直方图。HOG特征提取方法,提取归一化后的图像每一个细胞单元的梯度方向直方图,把这些直方图组合起来构成HOG特征描述器。
各子节点20并行处理图像数据过程是在Mapper类的map()函数完成的。map()函数的工作流程如图3所示。图像数据或者图像数据分片存储在HDFS上,需要将图像数据的文件从HDFS上下载到本地,map()函数接收键值对<PicFileName,FileSplit>,从中解析出图像数据的文件在HDFS上的存储位置后将图像数据或者图像数据的分片下载到本地,在本地完成特征提取的工作。map()函数调用子节点20内相应的特征提取算法完成特征提取工作,其输出的键值对是<图片文件名,特征值>。
如果其中一个子节点20特征提取失败,则该子节点20的故障处理模块22重启特征提取任务,当在该子节点20的失败超过预设的次数时,报告任务失败。或者,主节点10此时可重新在拥有备份的另一个子节点20(失败子节点20的备份子节点)上执行特征提取的任务,或由故障处理模块22的请求单元221向备份子节点发出执行请求,使得备份子节点执行上述失败的任务,如果超过预设数量的备份子节点的特征提取都失败(如超过3个备份的特征提取失败,备份的数量可根据需要进行预设),则表示此子节点的任务失败,结束任务单元222结束该失败的任务。
在子节点20处理图像数据过程中,主节点10实时通过动态均衡模块13调整各子节点20任务的分发,直到所有子节点20的任务结束,各子节点20得到提取后的图像特征值。
动态均衡模块13的运行由负责根据每一个子节点20TaskTracker反馈的分桶情况和完成比例产生一个自适应当前任务数据的静态哈希函数,并采用该静态哈希函数用于数据划分。
动态均衡模块13将各子节点20输出的数据采用动态哈希函数划分方法进行分桶保存,其中各子节点20的Map输出的数据中,同一key对应的记录保存在同一桶内;当一桶包含不同key时,其记录个数或占用的存储空间不得超过预先设定的该子节点20的阈值。
动态均衡模块13根据Job Tracker中提供的当前任务下的所有子节点20的Map输出数据的桶的分布情况(<桶号,记录大小>集合),产生一个静态的哈希函数和特定的Reduce设置的个数,并且把这个哈希函数发送给所有映射端。该静态的哈希函数为针对各子节点20所有数据的分布特点的一种静态的划分方法,划分方法将尽可能保证所有数据经过Map操作之后能够自适应地均匀把数据分配给各个Reduce中,也就是分区中的均匀程度不得低于一定的阈值。而且划分成的集合的个数等于所需要Reduce的个数。
最后,归并模块14通过Reducer将各个子节点20提取的图像特征值归并到统一特征库中进行存储。归并模块14的归并处理工作是由Reducer的reduce()函数完成的。reduce()函数接收map()函数传递过来的图片特征值的位置信息,调用图像特征值合并方法对图片特征值进行合并,并将结果存储到特征库中,reduce函数不输出键值对。
本发明实施例二的系统将图像特征提取的任务分布在各个子节点20,将大规模的图像数据处理移植到Hadoop系统,在Map/Reduce并行计算框架下实现图像特征的快速提取,满足了海量图像数据特征提取的高效率。此外,本发明实施例二采用Map/Reduce模型下负载均衡策略,通过一个动态均衡器可以有效地按照集群中各个子节点20的负载情况动态地调整各子节点20的特征提取任务,避免子节点20负载过重或过轻的情况。本发明实施例二支持动态扩容,随着需求的不断增加,当现有处理能力无法满足处理总量时,只需要增加子节点20,无需停止服务,即可动态地增加处理性能,具有良好的可扩充性,能满足未来业务量和应用需求的增加,在增加新特征提取算法、新模块时进行平滑升级,不影响现有特征提取方法和功能模块的正常使用。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像特征提取的方法,其特征在于,所述方法包括步骤:
S1、主节点将待特征提取的图像数据分布于至少二个子节点;
S2、当主节点收到图像特征提取的任务时,将所述任务及对应的特征提取算法分发至所述子节点;
S3、所述子节点根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值;
S4、所述主节点将所述子节点的图像特征值进行归并。
2.如权利要求1所述的方法,其特征在于,在执行步骤S3之后,还包括:
所述主节点根据各子节点输出的图像特征值数量动态调整所述各子节点的任务,并返回步骤S3,直到所有子节点的任务结束。
3.如权利要求1或2所述的方法,其特征在于,所述步骤S3具体包括:
所述子节点将收到的图像数据转换为灰度图像数据;
将所述灰度图像数据进行直方均衡化。
4.如权利要求1或2所述的方法,其特征在于,还包括:
当某一子节点的任务失败时,该子节点重新启动任务直到预设的次数或启动备份子节点执行所述失败的任务。
5.如权利要求4所述的方法,其特征在于,所述当某一子节点的任务失败时,该子节点启动备份子节点执行所述失败的任务具体包括:
所述任务失败的子节点向备份子节点发出执行请求,启动所述备份子节点执行所述失败的任务;
当超过预设数量的备份子节点执行所述失败的任务不成功时,结束所述失败的任务。
6.一种图像特征提取的系统,其特征在于,所述系统包括主节点和至少二个子节点,其中,
所述主节点包括:
建立数据库模块,用于将待特征提取的图像数据分布于所述子节点;
任务分发模块,用于当收到图像特征提取的任务时,将所述任务及对应的特征提取算法分发至所述子节点;
归并模块,用于将所述子节点的图像特征值进行归并;
所述子节点包括:
特征提取模块,用于根据收到的任务及特征提取算法对本地的图像数据进行特征提取,得到图像特征值。
7.如权利要求6所述的系统,其特征在于,所述主节点还包括:
动态均衡模块,用于根据各子节点输出的图像特征值数量动态调整所述各子节点的任务,并返回由所述子节点继续根据收到的任务及特征提取算法对本地的图像数据进行特征提取,直到所有子节点的任务结束。
8.如权利要求6或7所述的系统,其特征在于,所述特征提取模块包括:
数据转换单元,用于将收到的图像数据转换为灰度图像数据;
直方均衡单元,用于将所述灰度图像数据进行直方均衡化。
9.如权利要求6或7所述的系统,其特征在于,所述子节点还包括:
故障处理模块,当任务失败时,重新启动任务直到预设的次数或启动备份子节点执行所述失败的任务。
10.如权利要求9所述的系统,其特征在于,所述故障处理模块包括:
请求单元,用于向备份子节点发出执行请求,启动所述备份子节点执行所述失败的任务;
结束任务单元,用于当超过预设数量的备份子节点执行所述失败的任务不成功时,结束所述失败的任务。
CN2013102532906A 2013-06-24 2013-06-24 图像特征提取的方法及系统 Pending CN103310460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013102532906A CN103310460A (zh) 2013-06-24 2013-06-24 图像特征提取的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013102532906A CN103310460A (zh) 2013-06-24 2013-06-24 图像特征提取的方法及系统

Publications (1)

Publication Number Publication Date
CN103310460A true CN103310460A (zh) 2013-09-18

Family

ID=49135637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013102532906A Pending CN103310460A (zh) 2013-06-24 2013-06-24 图像特征提取的方法及系统

Country Status (1)

Country Link
CN (1) CN103310460A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645939A (zh) * 2013-11-29 2014-03-19 北京奇虎科技有限公司 一种图片抓取的方法和系统
CN104063881A (zh) * 2014-06-24 2014-09-24 张家港江苏科技大学产业技术研究院 一种基于编程模型的快速运动目标检测方法
CN104378239A (zh) * 2014-11-26 2015-02-25 国家电网公司 基于集群框架的快速可靠性指标统计系统及方法
CN105721933A (zh) * 2016-03-23 2016-06-29 Tcl集团股份有限公司 广告视频信息库的创建方法、广告视频识别方法及装置
CN106549949A (zh) * 2016-10-31 2017-03-29 广西东方道迩科技有限公司 一种图像数据处理系统及其图像数据处理方法
CN108228709A (zh) * 2017-11-29 2018-06-29 北京市商汤科技开发有限公司 数据存储方法和系统、电子设备、程序和介质
CN108491543A (zh) * 2018-03-30 2018-09-04 广州汇智通信技术有限公司 图像检索方法、图像存储方法及图像检索系统
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109241824A (zh) * 2018-07-17 2019-01-18 东南大学 基于码本和平滑转换自回归模型的黑烟车智能监控方法
CN109655466A (zh) * 2019-01-08 2019-04-19 中国矿业大学 一种基于机器视觉的矸石带煤率在线检测方法及装置
WO2020087922A1 (zh) * 2018-10-30 2020-05-07 平安科技(深圳)有限公司 人脸属性识别方法、装置、计算机装置及存储介质
CN112860553A (zh) * 2021-02-05 2021-05-28 北京迈格威科技有限公司 模型测试方法、装置、分布式集群、电子设备及存储介质
CN116991562A (zh) * 2023-09-28 2023-11-03 宁波银行股份有限公司 一种数据处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441579A (zh) * 2008-12-02 2009-05-27 南京大学 一种基于集群计算系统的三维模型库特征提取方法
CN102831425A (zh) * 2012-08-29 2012-12-19 东南大学 一种人脸图像快速特征提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441579A (zh) * 2008-12-02 2009-05-27 南京大学 一种基于集群计算系统的三维模型库特征提取方法
CN102831425A (zh) * 2012-08-29 2012-12-19 东南大学 一种人脸图像快速特征提取方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645939A (zh) * 2013-11-29 2014-03-19 北京奇虎科技有限公司 一种图片抓取的方法和系统
CN104063881A (zh) * 2014-06-24 2014-09-24 张家港江苏科技大学产业技术研究院 一种基于编程模型的快速运动目标检测方法
CN104378239A (zh) * 2014-11-26 2015-02-25 国家电网公司 基于集群框架的快速可靠性指标统计系统及方法
CN105721933A (zh) * 2016-03-23 2016-06-29 Tcl集团股份有限公司 广告视频信息库的创建方法、广告视频识别方法及装置
CN106549949A (zh) * 2016-10-31 2017-03-29 广西东方道迩科技有限公司 一种图像数据处理系统及其图像数据处理方法
CN108228709A (zh) * 2017-11-29 2018-06-29 北京市商汤科技开发有限公司 数据存储方法和系统、电子设备、程序和介质
CN108228709B (zh) * 2017-11-29 2020-10-09 北京市商汤科技开发有限公司 数据存储方法和系统、电子设备、程序和介质
CN108491543A (zh) * 2018-03-30 2018-09-04 广州汇智通信技术有限公司 图像检索方法、图像存储方法及图像检索系统
CN109241824A (zh) * 2018-07-17 2019-01-18 东南大学 基于码本和平滑转换自回归模型的黑烟车智能监控方法
CN109241824B (zh) * 2018-07-17 2021-12-17 东南大学 基于码本和平滑转换自回归模型的黑烟车智能监控方法
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
WO2020087922A1 (zh) * 2018-10-30 2020-05-07 平安科技(深圳)有限公司 人脸属性识别方法、装置、计算机装置及存储介质
CN109655466A (zh) * 2019-01-08 2019-04-19 中国矿业大学 一种基于机器视觉的矸石带煤率在线检测方法及装置
CN112860553A (zh) * 2021-02-05 2021-05-28 北京迈格威科技有限公司 模型测试方法、装置、分布式集群、电子设备及存储介质
CN116991562A (zh) * 2023-09-28 2023-11-03 宁波银行股份有限公司 一种数据处理方法、装置、电子设备及存储介质
CN116991562B (zh) * 2023-09-28 2023-12-26 宁波银行股份有限公司 一种数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN103310460A (zh) 图像特征提取的方法及系统
US10990288B2 (en) Systems and/or methods for leveraging in-memory storage in connection with the shuffle phase of MapReduce
CN104537076B (zh) 一种文件读写方法及装置
CN107832406B (zh) 海量日志数据的去重入库方法、装置、设备及存储介质
CN107621973B (zh) 一种跨集群的任务调度方法及装置
US9996593B1 (en) Parallel processing framework
US9361343B2 (en) Method for parallel mining of temporal relations in large event file
CN107153643B (zh) 数据表连接方法及装置
CN109918184A (zh) 图片处理系统、方法及相关装置和设备
CN106815254A (zh) 一种数据处理方法和装置
CN102521712A (zh) 一种流程实例数据处理方法和装置
CN103023805A (zh) 一种MapReduce系统
CN112463290A (zh) 动态调整计算容器的数量的方法、系统、装置和存储介质
CN105049524B (zh) 一种基于hdfs的大规模数据集装载的方法
US10789087B2 (en) Insight usage across computing nodes running containerized analytics
CN113051102B (zh) 文件备份方法、装置、系统、存储介质和计算机设备
CN115665284A (zh) 基于分布式配置中心的报文处理方法、装置及计算机设备
CN114691953A (zh) 结合大数据的沉浸式交互偏好挖掘方法及系统
CN113051049B (zh) 任务调度系统、方法、电子设备及可读存储介质
Dai et al. Research and implementation of big data preprocessing system based on Hadoop
CN110688223B (zh) 数据处理方法及相关产品
CN116471186A (zh) 一种大规模图像处理场景下的云计算网络优化方法
CN113873025B (zh) 数据处理方法及装置、存储介质及电子设备
CN115238006A (zh) 检索数据同步方法、装置、设备及计算机存储介质
CN108241671B (zh) 业务处理方法和系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130918