CN106407463A - 一种基于Hadoop的图像处理方法及系统 - Google Patents
一种基于Hadoop的图像处理方法及系统 Download PDFInfo
- Publication number
- CN106407463A CN106407463A CN201610885800.5A CN201610885800A CN106407463A CN 106407463 A CN106407463 A CN 106407463A CN 201610885800 A CN201610885800 A CN 201610885800A CN 106407463 A CN106407463 A CN 106407463A
- Authority
- CN
- China
- Prior art keywords
- uploaded
- data
- attribute information
- hdfs
- view data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于Hadoop的图像处理方法及系统，包括：若检测到本地缓存区中存在未上传至分布式文件系统HDFS的图像数据，则调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；通过并行计算框架MapReduce确定未上传的图像数据的属性信息，将属性信息存入数据库Hbase，并将未上传的图像数据存入硬件层；可见，在本实施例中，通过采用Hadoop云计算平台作为存储以及检索用的平台，将其部署在PC或服务器集群中，实现海量视频数据的存储、检索、备份和恢复等统一管理，具有易管理、扩展性高及可靠性高等优点，同时采用MapReduce算法实现视频数据的检索过程，大大提高系统的检索性能。
Description
技术领域
本发明涉及分布式存储技术领域，更具体地说，涉及一种基于Hadoop的图像处理方法及系统。
背景技术
随着技术的发展，在视频监控领域所产生的图像越来越多，海量数据的产生对存储及检索造成了挑战。目前，海量图像的处理是通过传统的集中存储系统，虽然集中型系统便于管理和易于操作，但其可扩展性差、可靠性和安全性较低，且存储速率低。因此，如何实现对大数据的处理，提高存储速率是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种基于Hadoop的图像处理方法及系统，以实现对大数据的处理，提高存储速率。
为实现上述目的，本发明实施例提供了如下技术方案：
一种基于Hadoop的图像处理方法，包括：
若检测到本地缓存区中存在未上传至分布式文件系统HDFS的图像数据，则调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；
通过并行计算框架MapReduce确定所述未上传的图像数据的属性信息，将所述属性信息存入数据库Hbase，并将所述未上传的图像数据存入硬件层。
其中，所述调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS之后，还包括：
所述HDFS调用文件删除函数，删除本地缓存区中已上传的图像数据。
其中，本方案还包括：
通过所述MapReduce确定用户触发的检索指令中携带的检索特征信息，并将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果进行显示。
其中，将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果进行显示，包括：
将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果进行显示。
一种基于Hadoop的图像处理系统，包括：
分布式文件系统HDFS，用于检测到本地缓存区中存在未上传至HDFS的图像数据时，调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；
并行计算框架MapReduce，用于确定所述未上传的图像数据的属性信息；
数据库Hbase，用于存储所述属性信息；
硬件层，用于存储所述未上传的图像数据。
其中，所述HDFS还包括：
删除模块，用于将未上传的图像数据以数据流的形式上传至HDFS之后，调用文件删除函数，删除本地缓存区中已上传的图像数据。
其中，本方案还包括：
业务逻辑层，用于提取图像数据的类型信息，并将所述类型信息添加至属性信息，所述类型信息包括视频类型信息或者图片类型信息。
其中，本方案还包括：
用户接口层，用于接收用户触发的查询指令；
所述MapReduce还包括：
检索模块，用于确定用户触发的检索指令中携带的检索特征信息，并将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果通过所述用户接口层进行显示。
其中，所述检索模块将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果通过所述用户接口层进行显示。
通过以上方案可知，本发明实施例提供的一种基于Hadoop的图像处理方法及系统，包括：若检测到本地缓存区中存在未上传至分布式文件系统HDFS的图像数据，则调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；通过并行计算框架MapReduce确定所述未上传的图像数据的属性信息，将所述属性信息存入数据库Hbase，并将所述未上传的图像数据存入硬件层；可见，在本实施例中，通过采用Hadoop云计算平台作为存储以及检索用的平台，将其部署在PC或服务器集群中，实现海量视频数据的存储、检索、备份和恢复等统一管理，具有易管理、扩展性高及可靠性高等优点，同时采用MapReduce算法实现视频数据的检索过程，大大提高系统的检索性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于Hadoop的图像处理方法流程示意图；
图2为本发明实施例公开的视频处理流程示意图；
图3为本发明实施例公开的一种基于Hadoop的图像处理系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于Hadoop的图像处理方法及系统，以实现对大数据的处理，提高存储速率。
需要说明的是，Hadoop为分布式系统基础架构，将一个大型的计算任务分割成若干个子任务，每个子任务由框架并行统一调度和管理。其包含多个组件：分布式文件系统HDFS，分布式的并行计算框架MapReduce，面向列的数据库Hbase，以及Hive、ZooKeeper等组件。HDFS将数据按块的形式储存在集群的节点中，提供了存储空间而且有很大的存储容量和吞吐量。Map/Reduce和HDFS它能够处理PB级的数据。开发者可以充分利用其强大的功能来实现高速的存储和运算。
分布式存储系统不同于传统的集中存储系统，它是由多个分布在不同物理位置上且互相连接的设备共同组成的计算系统，多个节点在整个系统的控制下协同地运行和计算。而集中型系统虽然便于管理和易于操作，但其可扩展性差、可靠性和安全性较低，而分布式系统一方面可以将计算工作分摊到多个不同的从属节点上，从而降低单节点的负载压力，同时具有高扩展性和灵活性，另一方面将数据分散存储在多台独立的设备上，提高了数据的安全性。
参见图1，本发明实施例提供的一种基于Hadoop的图像处理方法，包括：
S101、若检测到本地缓存区中存在未上传至分布式文件系统HDFS的图像数据，则调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；
具体的，在本实施例中，本方案可以应用于监控设备，这样监控设备所产生的视频数据及图片数据均可以通过本方案所提供的图像处理系统进行存储及检索。需要说明的是，本方案中的图像数据包括视频数据及图片数据。现以监控设备产生视频数据为例对本方案进行说明：
监控设备产生视频数据后，将视频数据不断地存储到本地缓存区，这里的本地缓存区可以为一个本地文件夹中，这个动态变化的文件夹可以当作一个文件“缓冲区”，这个缓冲区中的文件以流的形式与HDFS进行数据的交互；然后调用HDFS中数据流写入函数以流的方式将“缓冲区”中的数据文件上传到HDFS中，不断地循环这一过程，直到“缓冲区”的所有文件都上传到HDFS中。
S102、通过并行计算框架MapReduce确定所述未上传的图像数据的属性信息，将所述属性信息存入数据库Hbase，并将所述未上传的图像数据存入硬件层。
具体的，参见图2，本实施例提供的视频处理流程示意图；将监控视频设备产生的数据以数据流的形式写入HDFS中后，需要将与图像数据相关的属性信息写入到数据库HBase的视频表中，这里的属性信息包括数据特征标识信息、数据产生时间信息、数据存储位置信息、数据大小信息等。
其中，所述调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS之后，还包括：
所述HDFS调用文件删除函数，删除本地缓存区中已上传的图像数据。
需要说明的是，可以设置每次将图像数据上传至本地缓存区中后，立刻将已上传的数据删除；也可以设置为待所有数据均上传完成后，将本地缓冲区中的数据清空。
基于上述技术方案，本方案还包括：
通过所述MapReduce确定用户触发的检索指令中携带的检索特征信息，并将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果进行显示。
在本实施例中，若用户需要对存储的数据进行检索，则通过客户端发送检索指令，检索指令中携带检索条件，即检索特征信息，可以包括时间及检索特征等，然后根据检索条件与数据库Hbase中存储的属性信息中数据特征标识信息、数据产生时间信息进行匹配，并将匹配结果显示给用户，实现了对图像数据的检索。
其中，将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果进行显示，包括：
将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果进行显示。
具体的，对图像数据进行检索时，根据用户提供的检索条件与数据库Hbase的属性信息进行匹配，会得出每个属性信息的匹配度，也可以说是相似度，根据匹配度的大小对属性信息进行降序排列，再向用户发送匹配结果时，可以仅发送匹配度最高的属性信息所对应的图像数据，也可以选取匹配度较高的预定数量个属性信息所对应的图像数据，例如：显示匹配度为前三的属性信息所对应的图像数据。
下面对本发明实施例提供的图像处理系统行介绍，下文描述的图像处理系统与上文描述的图像处理方法可以相互参照。
参见图3，本发明实施例提供的一种基于Hadoop的图像处理系统，包括：
分布式文件系统HDFS100，用于检测到本地缓存区中存在未上传至HDFS的图像数据时，调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；
其中，所述HDFS100还包括：
删除模块，用于将未上传的图像数据以数据流的形式上传至HDFS之后，调用文件删除函数，删除本地缓存区中已上传的图像数据。
并行计算框架MapReduce200，用于确定所述未上传的图像数据的属性信息；
数据库Hbase300，用于存储所述属性信息；
硬件层400，用于存储所述未上传的图像数据。
基于上述技术方案，本方案还包括：
用户接口层500，用于接收用户触发的查询指令；
业务逻辑层600，用于提取图像数据的类型信息，并将所述类型信息添加至属性信息，所述类型信息包括视频类型信息或者图片类型信息。
所述MapReduce还包括：
检索模块，用于确定用户触发的检索指令中携带的检索特征信息，并将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果通过所述用户接口层进行显示。
其中，所述检索模块将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果通过所述用户接口层进行显示。
具体的，本实施例提供的分布式存储和检索系统框架主要包括6个层次：
HDFS层，即本方案中的分布式文件系统HDFS100，为上层应用提供分布式存储与读取功能；
分布式计算层，即本方案中的并行计算框架MapReduce200，主要解决海量视频检索中特征提取和检索的分布式计算问题；
HBase数据库层，即本方案中的数据库Hbase300，用来存储海量视频检索系统中需要进行实时访问的视频属性信息等海量的小文件，为海量数据提供实时地、快速地访问机制；
硬件层400主要提供了基于Hadoop的海量视频的分布式存储与检索系统的底层服务器硬件以及操作系统等基础环境的支持；
用户接口层500的主要作用是提供用户对数据库中的数据进行查询及检索的操作请求信息，以及接受查询的结果数据；
业务逻辑层600的主要作用是实现系统中各个业务逻辑运行，包括视频的预处理、特征提取与视频检索等相关的操作，并实现与底层数据库的读写操作。
综上可见，本方案提供的基于Hadoop的海量视频的分布式存储与检索系统可以有效地存储和管理海量的图像数据，并具有以下优点：
1)可扩展性，具有存储和计算的可扩展性；
2)安全可靠性，HDFS的备份恢复机制以及Map/Reduce的任务监控机制保证了分布式处理的可靠性；
3)高效性，分布式文件系统可以进行高效的数据交互和本地存储、计算的处理模式，为高效的处理海量视频数据做了基础准备；
4)经济性，其可以运行在便宜得计算机上，不需要使用昂贵的服务器。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于Hadoop的图像处理方法，其特征在于，包括：
若检测到本地缓存区中存在未上传至分布式文件系统HDFS的图像数据，则调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；
通过并行计算框架MapReduce确定所述未上传的图像数据的属性信息，将所述属性信息存入数据库Hbase，并将所述未上传的图像数据存入硬件层。
2.根据权利要求1所述的图像处理方法，其特征在于，所述调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS之后，还包括：
所述HDFS调用文件删除函数，删除本地缓存区中已上传的图像数据。
3.根据权利要求1或2所述的图像处理方法，其特征在于，还包括：
通过所述MapReduce确定用户触发的检索指令中携带的检索特征信息，并将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果进行显示。
4.根据权利要求3所述的图像处理方法，其特征在于，将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果进行显示，包括：
将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果进行显示。
5.一种基于Hadoop的图像处理系统，其特征在于，包括：
分布式文件系统HDFS，用于检测到本地缓存区中存在未上传至HDFS的图像数据时，调用数据流写入函数将未上传的图像数据以数据流的形式上传至HDFS；
并行计算框架MapReduce，用于确定所述未上传的图像数据的属性信息；
数据库Hbase，用于存储所述属性信息；
硬件层，用于存储所述未上传的图像数据。
6.根据权利要求5所述的图像处理系统，其特征在于，所述HDFS还包括：
删除模块，用于将未上传的图像数据以数据流的形式上传至HDFS之后，调用文件删除函数，删除本地缓存区中已上传的图像数据。
7.根据权利要求6所述的图像处理系统，其特征在于，还包括：
业务逻辑层，用于提取图像数据的类型信息，并将所述类型信息添加至属性信息，所述类型信息包括视频类型信息或者图片类型信息。
8.根据权利要求5-7中任意一项所述的图像处理系统，其特征在于，还包括：
用户接口层，用于接收用户触发的查询指令；
所述MapReduce还包括：
检索模块，用于确定用户触发的检索指令中携带的检索特征信息，并将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，并将匹配结果通过所述用户接口层进行显示。
9.根据权利要求8所述的图像处理系统，其特征在于，
所述检索模块将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果通过所述用户接口层进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610885800.5A CN106407463A (zh) | 2016-10-11 | 2016-10-11 | 一种基于Hadoop的图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610885800.5A CN106407463A (zh) | 2016-10-11 | 2016-10-11 | 一种基于Hadoop的图像处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106407463A true CN106407463A (zh) | 2017-02-15 |
Family
ID=59228543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610885800.5A Pending CN106407463A (zh) | 2016-10-11 | 2016-10-11 | 一种基于Hadoop的图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106407463A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277470A (zh) * | 2017-08-10 | 2017-10-20 | 四川天翼网络服务有限公司 | 一种网络联动管理方法及数字化警务联动管理方法 |
| CN107273435A (zh) * | 2017-05-23 | 2017-10-20 | 北京环境特性研究所 | 基于MapReduce的视频人员模糊检索并行化方法 |
| CN107566785A (zh) * | 2017-08-02 | 2018-01-09 | 深圳微品时代网络技术有限公司 | 一种面向大数据的视频监控系统及方法 |
| CN109726307A (zh) * | 2018-12-26 | 2019-05-07 | 合肥凯捷技术有限公司 | 一种跨网互联音频大数据存储检索方法 |
| CN109753584A (zh) * | 2018-12-06 | 2019-05-14 | 国电南瑞南京控制系统有限公司 | 一种风电设备的视频分布式存储与检索方法 |
| CN109918519A (zh) * | 2019-02-26 | 2019-06-21 | 重庆善功科技有限公司 | 一种面向海量延时摄影胚胎图像存储与查询的方法及系统 |
| CN110019870A (zh) * | 2017-12-29 | 2019-07-16 | 浙江宇视科技有限公司 | 基于内存图像集群的图像检索方法及系统 |
| CN110716898A (zh) * | 2019-10-15 | 2020-01-21 | 中国地质调查局发展研究中心 | 一种野外地质调查数据实时汇聚方法及系统 |
| CN111046228A (zh) * | 2019-12-10 | 2020-04-21 | 美林数据技术股份有限公司 | 一种基于流计算的视频处理方法 |
| CN113434594A (zh) * | 2021-06-16 | 2021-09-24 | 济南驰昊电力科技有限公司 | 一种分布式图片存储转为视频并转码展示方法 |
| CN114152191A (zh) * | 2021-12-01 | 2022-03-08 | 上海上实龙创智能科技股份有限公司 | 一种基于MapReduce的图像测量装置 |
| CN114661936A (zh) * | 2022-05-19 | 2022-06-24 | 中山大学深圳研究院 | 一种应用于工业视觉中的图像检索的方法及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103207889A (zh) * | 2013-01-31 | 2013-07-17 | 重庆大学 | 一种基于Hadoop的海量人脸图像的检索方法 |
| CN104216899A (zh) * | 2013-05-31 | 2014-12-17 | 济南观澜数据技术有限公司 | 面向带有描述信息的海量非结构化数据分布式处理架构 |
| CN104853061A (zh) * | 2015-05-05 | 2015-08-19 | 中国人民解放军国防科学技术大学 | 一种基于Hadoop的视频处理方法及系统 |
| CN105336017A (zh) * | 2015-09-29 | 2016-02-17 | 爱培科科技开发（深圳）有限公司 | 一种基于Storm技术的行车记录信息处理方法及系统 |
-
2016
- 2016-10-11 CN CN201610885800.5A patent/CN106407463A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103207889A (zh) * | 2013-01-31 | 2013-07-17 | 重庆大学 | 一种基于Hadoop的海量人脸图像的检索方法 |
| CN104216899A (zh) * | 2013-05-31 | 2014-12-17 | 济南观澜数据技术有限公司 | 面向带有描述信息的海量非结构化数据分布式处理架构 |
| CN104853061A (zh) * | 2015-05-05 | 2015-08-19 | 中国人民解放军国防科学技术大学 | 一种基于Hadoop的视频处理方法及系统 |
| CN105336017A (zh) * | 2015-09-29 | 2016-02-17 | 爱培科科技开发（深圳）有限公司 | 一种基于Storm技术的行车记录信息处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李洁: ""基于Hadoop的海量视频的分布式存储与检索系统"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273435A (zh) * | 2017-05-23 | 2017-10-20 | 北京环境特性研究所 | 基于MapReduce的视频人员模糊检索并行化方法 |
| CN107566785A (zh) * | 2017-08-02 | 2018-01-09 | 深圳微品时代网络技术有限公司 | 一种面向大数据的视频监控系统及方法 |
| CN107277470A (zh) * | 2017-08-10 | 2017-10-20 | 四川天翼网络服务有限公司 | 一种网络联动管理方法及数字化警务联动管理方法 |
| CN110019870A (zh) * | 2017-12-29 | 2019-07-16 | 浙江宇视科技有限公司 | 基于内存图像集群的图像检索方法及系统 |
| CN109753584A (zh) * | 2018-12-06 | 2019-05-14 | 国电南瑞南京控制系统有限公司 | 一种风电设备的视频分布式存储与检索方法 |
| CN109726307A (zh) * | 2018-12-26 | 2019-05-07 | 合肥凯捷技术有限公司 | 一种跨网互联音频大数据存储检索方法 |
| CN109918519A (zh) * | 2019-02-26 | 2019-06-21 | 重庆善功科技有限公司 | 一种面向海量延时摄影胚胎图像存储与查询的方法及系统 |
| CN110716898A (zh) * | 2019-10-15 | 2020-01-21 | 中国地质调查局发展研究中心 | 一种野外地质调查数据实时汇聚方法及系统 |
| CN111046228A (zh) * | 2019-12-10 | 2020-04-21 | 美林数据技术股份有限公司 | 一种基于流计算的视频处理方法 |
| CN111046228B (zh) * | 2019-12-10 | 2023-04-11 | 美林数据技术股份有限公司 | 一种基于流计算的视频处理方法 |
| CN113434594A (zh) * | 2021-06-16 | 2021-09-24 | 济南驰昊电力科技有限公司 | 一种分布式图片存储转为视频并转码展示方法 |
| CN114152191A (zh) * | 2021-12-01 | 2022-03-08 | 上海上实龙创智能科技股份有限公司 | 一种基于MapReduce的图像测量装置 |
| CN114661936A (zh) * | 2022-05-19 | 2022-06-24 | 中山大学深圳研究院 | 一种应用于工业视觉中的图像检索的方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106407463A (zh) | 一种基于Hadoop的图像处理方法及系统 | |
| CN107169083B (zh) | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 | |
| US10990288B2 (en) | Systems and/or methods for leveraging in-memory storage in connection with the shuffle phase of MapReduce | |
| US20160350385A1 (en) | System and method for transparent context aware filtering of data requests | |
| US20210019063A1 (en) | Utilizing data views to optimize secure data access in a storage system | |
| US10394611B2 (en) | Scaling computing clusters in a distributed computing system | |
| US11727004B2 (en) | Context dependent execution time prediction for redirecting queries | |
| Zhang et al. | A video cloud platform combing online and offline cloud computing technologies | |
| CN108885582A (zh) | 存储器池结构的多租户存储器服务 | |
| CN105243155A (zh) | 一种大数据抽取和交换系统 | |
| CN104881466B (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
| US20210055885A1 (en) | Enhanced data access using composite data views | |
| CN103310460A (zh) | 图像特征提取的方法及系统 | |
| CN105468296B (zh) | 基于虚拟化平台的无共享存储管理方法 | |
| CN104660633A (zh) | 一种新媒体公共服务平台 | |
| CN109643310A (zh) | 用于数据库中数据重分布的系统和方法 | |
| US20230195726A1 (en) | Selecting between hydration-based scanning and stateless scale-out scanning to improve query performance | |
| US20180219737A1 (en) | Management of cloud-based shared content using predictive cost modeling | |
| Noor et al. | ibuck: Reliable and secured image processing middleware for openstack swift | |
| US11500931B1 (en) | Using a graph representation of join history to distribute database data | |
| Chang et al. | PAGroup: Privacy-aware grouping framework for high-performance federated learning | |
| CN117395250A (zh) | 一种云边端工业智能适配系统 | |
| CN108023957A (zh) | 一种用于信息快速采集处理的互助式计算机网络管理系统 | |
| CN111401482A (zh) | 特征点匹配方法及装置、设备、存储介质 | |
| Pan et al. | A remote sensing image cloud processing system based on Hadoop |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170215 |