CN106649528A - 图片写入和读取方法、装置 - Google Patents

图片写入和读取方法、装置 Download PDF

Info

Publication number
CN106649528A
CN106649528A CN201610917513.8A CN201610917513A CN106649528A CN 106649528 A CN106649528 A CN 106649528A CN 201610917513 A CN201610917513 A CN 201610917513A CN 106649528 A CN106649528 A CN 106649528A
Authority
CN
China
Prior art keywords
picture
resource
memory node
url
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610917513.8A
Other languages
English (en)
Inventor
朱世峰
吕志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201610917513.8A priority Critical patent/CN106649528A/zh
Publication of CN106649528A publication Critical patent/CN106649528A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种图片写入和读取方法、装置，其中图片读取方法包括：从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；从卡口管理服务器获取待读取图片的URL；根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。将图片存储位置与URL唯一对应，大大缩短图片访问路径的长度，提高图片读取性能。

Description

图片写入和读取方法、装置
技术领域
本申请涉及视频监控领域，尤其涉及图片写入和读取方法、装置。
背景技术
随着道路监控在安防领域的广泛应用，卡口相机图片的存储量也越来越大，存储的方式也从原来的集中式存储转向时下流行的分布式存储(即云存储)。相对于集中式存储，分布式存储使用的分布式文件系统的后端组织结构相当复杂，文件读取路径会变长，导致文件读取性能大大降低。一般分布式文件系统为了提高文件频繁访问的性能，会在后端缓存该文件，避免读取同一文件多次访问磁盘。但在监控领域，多次访问同一张图片的可能性不大，因此缓存的方式并不能从根本上提高图片的读取性能。
ceph为一种通用的分布式文件系统，包括元数据管理节点和存储节点，并提供cephfs文件系统来存储图片。通过ceph访问某一张图片文件时，根据文件名通过一定的算法确定该图片文件的存储节点，接着在存储节点上通过索引信息找到该图片文件的存储位置，从而读取该图片数据。
读取图片文件时，需要通过ceph文件系统，利用文件名算出对应的存储节点，再向对应的存储节点上的文件系统发送读取请求，如此会加大了图片文件访问的路径长度，降低图片文件的读取性能。而大部分图片远小于视频文件的大小，因此在ceph的文件名称索引区中存储的映射关系远远超过视频，数量甚至达到亿级。需要在如此庞大的量级数据中查找对应的映射关系以确认图片的具体存储位置，进而读取到图片数据，对图片文件的读取性能也产生了极大的影响。另外，这种方式无法绕开文件系统本身，在性能上存在瓶颈。
发明内容
有鉴于此，本申请提供一种图片写入和读取方法、装置，以解决现有技术中图片读取性能较差的问题。
具体地，本申请是通过如下技术方案实现的：
根据本申请的第一方面，提供一种图片写入方法，应用于卡口客户端，所述图片写入方法包括：
发送节点选择请求至元数据服务器；
接收所述元数据服务器针对所述节点选择请求返回的节点编码；
向所述节点编码所对应的存储节点请求可用的资源；
通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；
记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；
根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。
可选地，所述图片写入方法还包括：
发送所述URL至卡口管理服务器。
可选地，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。
可选地，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。
根据本申请的第二方面，提供一种图片读取方法，应用于图片显示客户端，所述图片读取方法包括：
从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；
从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；
根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；
根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。
根据本申请的第三方面，提供一种图片写入装置，应用于卡口客户端，所述图片写入装置包括：
节点请求发送模块，发送节点选择请求至元数据服务器；
信息接收模块，接收所述元数据服务器针对所述节点选择请求返回的节点编码；
资源请求模块，向所述节点编码所对应的存储节点请求可用的资源；
图片写入模块，通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；
写入位置记录模块，记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；
URL生成模块，根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。
可选地，所述图片写入装置还包括：
图片信息发送模块，发送所述URL至卡口管理服务器。
可选地，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。
可选地，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。
根据本申请的第四方面，提供一种图片读取装置，应用于图片显示客户端，所述图片读取装置包括：
节点信息获取模块，从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；
URL读取模块，从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；
IP获取模块，根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；
图片文件读取模块，根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。
本申请的有益效果：将图片存储在相应存储节点中的具体位置与该图片的URL唯一对应，需要读取图片时，直接从URL中解析出具体存储节点的具体资源上的图片存储具体位置，即可直接读取该图片，无需通过元数据服务器和文件系统索引确定图片的存储位置，大大缩短了图片访问路径的长度，达到直接快速读取图片的目的，提高图片读取性能，进而提高后续智能分析等业务的处理性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请的图片云存储的组网结构示意图；
图2是图1的局部结构示意图，其揭示了图片云存储写入的组网；
图3是图1的另一局部结构示意图，其揭示了图片云存储读取的组网；
图4是本申请提供的一种图片写入方法的流程图；
图5是本申请提供的标准san资源上的数据存储格式示意图；
图6是本申请提供的存储节点进行资源管理的结构示意图；
图7是本申请提供的一种图片读取方法的流程图；
图8是本申请提供的一种图片写入装置的结构示意图；
图9是本申请提供的一种图片读取装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请的监控图片云存储的组网示意图，图2是图1的局部结构示意图，其揭示了图片云存储写入的组网，图3是图1的另一局部结构示意图，其揭示了图片云存储读取的组网。
如图1所示，该监控图片云存储组网设有云存储系统、若干部署有云存储客户端的卡口、卡口管理服务器、部署有云存储客户端的UI(User Interface，用户界面)。其中，每个卡口中可设有若干与该卡口中部署的云存储客户端通信连接的卡口相机。云存储系统包括元数据管理服务器(CDM，Cloud Data Management，简称元数据服务器)和若干存储节点(CDV，Cloud Data Storage Virtual Service Software，存储节点虚拟化服务软件，部署有CDV的服务器称为存储节点管理服务器)。
本申请中，云存储客户端部署在卡口中称作卡口客户端，云存储客户端部署在UI中则称作图片显示客户端。其中，UI可为手机APP(Application，即应用程序)、或计算机上的应用软件等。其中，元数据服务器负责管理各存储节点，调度各个存储节点间的存储负载均衡。具体地，各存储节点将各自的能力(例如激活状态、存储容量等)上报至元数据服务器，元数据服务器根据各存储节点上报的能力数据，调度各存储节点间的存储负载均衡。
存储节点负责管理其所属的存储设备，并进行资源的分配以及调度各个资源间的存储负载均衡。其中，若干存储节点的节点编码以CDV1、CDV2、……、CDVn的方式命名。
卡口相机实时采集卡口处的图片，并通过iscsi(Internet Small ComputerSystem Interface，小型计算机系统接口)协议将图片直接写入存储节点(磁盘)，并在写入成功后将图片的URL(Uniform Resource Locator，统一资源定位符)发送至卡口管理服务器。
卡口管理服务器则保存各图片的URL至数据库中，以便后续的调用。
图片显示客户端从存储节点中读取图片数据。
以下实施例均以图1所示的图片云存储组网结构为例进行说明。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图4示出了本申请第一实施例提供的一种图片写入方法，应用于卡口客户端。该图片写入方法可以包括：
步骤S101：发送节点选择请求至元数据服务器。
具体地，卡口相机拍摄到图片后，卡口客户端首先会通过本地配置文件获取到元数据服务器的信息，然后调用云存储接口向云数据服务器发送节点选择请求。
其中，卡口相机拍摄到的图片的参数可根据需要预先设定的，例如，卡口相机拍摄的图片为512KB大小，图片格式为pic.jpg。
步骤S102：接收所述元数据服务器针对所述节点选择请求返回的存储节点的节点编码。
元数据服务器接收到节点选择请求后，根据负载均衡策略选择可用的存储节点，并将该可用的存储节点的节点编码(例如CDV1)返回给卡口客户端。
其中，负载均衡策略可选择各存储节点的能力数据，例如存储容量大小，作为可用存储节点的存储优先级设定因素。
本实施例中，元数据服务器实时获取各存储节点的存储容量大小，按照各存储节点的存储容量从大到小，依次将存储优先级从大到小设定，并发送优先级最高的存储节点的节点编码至卡口客户端。
步骤S103：向所述节点编码所对应的存储节点请求可用的资源。
本实施例的资源为标准的san资源，如图5所示，为标准san资源上的数据存储格式示意图。参见图5，标准的san资源包括索引区和slice数据区。
索引区包括索引描述区、slice位图区和目录索引区。其中，索引描述区用于描述位图区、目录索引区、slice数据区(即一个固定大小的数据片段)的大小以及具体的位置，slice位图区用于标识当前slice数据区中每个slice块(分别称作slice1、slice2、……sliceN)的占用情况，目录索引区用于描述用户目录信息以及当前用户目录占用的slice块集。
slice数据区包括若干slice块，其中，slice块大个数由资源总量决定。本实施例中，slice数据区由若干大小为64M的slice块组成。
卡口客户端在获得节点编码后，则向该节点编码所属的存储节点请求一个可用的标准san资源信息。
其中，所述标准san资源信息包括target和资源ID(identification，身份标识号)等。
步骤S104：通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源。
其中，所述预设存储格式为步骤S103中资源上的数据存储格式。具体地，所述预设存储格式为标准san资源上的数据存储格式。
参见图6，各存储节点上均部署有用于管理存储节点的节点管理模块，该节点管理模块可将其所属存储节点上的存储资源均匀的分成N(N为自然数)个标准san资源，每个资源都有一个设备级的资源ID，例如san资源1、san资源2、……、san资源N，通过该资源ID可查找到对应的target等信息。
每个资源被节点管理模块格式化为索引区和slice数据区，索引区和slice数据区的内部结构请参见图5，不再赘述。
步骤S105：记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小。
卡口客户端与存储节点进行iscsi挂载及写入图片过程中，会获得节点编码、资源ID、slice数据块ID、偏移量和图片大小等信息并保存。
步骤S106：根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL(Uniform Resource Locator，统一资源定位符)。
通过图片的存储位置信息(节点编码、资源ID、slice数据块ID、偏移量和图片大小等)来构造URL，使得图片与URL一一对应，通过URL即可直接且准确地定位至图片的存储位置，无需通过元数据服务器和文件系统索引确定图片的存储位置，大大缩短了图片访问路径的长度，从而缩短图片的读取时间。
其中，所述URL的字段排列可根据实际需要来设定。
在一具体实施例中，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列，形成相应图片的URL。本实施例的URL是按照可直接定位至图片存储位置所需的最少存储位置信息所形成，可减少后期读取图片时所需识别的路径，从而能够快速定位至图片存储位置。
在另一具体实施例中，所述URL还包括元数据服务器编码、图片存储的目录路径、图片文件名称等信息，所述URL由所述元数据服务器编码、图片存储的目录路径、图片文件名称等信息、节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列所形成。
一可行的实现方式中，图片被写入存储节点前，图片信息包括图片存储的目录路径(dir_path)和图片文件名称(file_name)，图片被存储前的URL格式为：dir_path/file_name。
图片被写入存储节点后，为更加精确定位图片，除节点编码、资源ID、slice数据块ID、偏移量和图片大小外，所述URL还包括元数据服务器编码、图片存储的目录路径、图片文件名称等信息，所述URL的字段格式为：
cdm_code/dir_path/file_name-cdv_code-res_id-slice_id-seek_pos-file_size，
其中，字符‘-’：各字段的分隔符；
cdm_code：元数据服务器编码；
dir_path：图片存储的目录路径；
file_name：图片文件名称；
cdv_code：该图片文件存储的存储节点编码；
res_id：资源ID，其中该资源ID在同一个存储节点上唯一对应一个标准san资源，通过该ID号可以直接定位到图片文件所在的标准san资源；
slice_id：slice数据块ID，即图片文件的存储起始位置地址；
seek_pos：该字段表示从编号为slice_id起始地址偏移的大小；
file_size：该图片文件的大小，其中本实施例中图片文件大小的单位是字节，以16进制表示。
例如，URL字段格式为：
cdmserver01/ipc01/2016/09/12/11/pic.jpg-CDV1-res2015-slice05-512-80000，
这表示图片存储在元数据服务器编码为cdmserver01下的节点编号为CDV1的存储节点中的res2015资源上，其中，图片从res2015资源上起始存储地址为slice05处，偏移512大小，图片文件的大小为512KB，图片存储的目录路径为ipc01，图片文件名称为2016/09/12/11/pic.jpg。可见，通过URL，可唯一定位至相应的图片文件，从而获取文件。
本实施例中，在卡口客户端接收到该URL后，发送所述URL至卡口管理服务器，再由卡口管理服务器存储至本地数据库中，便于统一管理图片的位置信息。
在本实施例中，通过上述实施方式，可将图片存储在相应存储节点中的具体位置与该图片的URL唯一对应，需要读取图片时，直接从URL中解析出具体存储节点的具体资源上的图片存储具体位置，即可直接读取该图片，无需通过元数据服务器和文件系统索引确定图片的存储位置，大大缩短了图片访问路径的长度，达到直接快速读取图片的目的，提高图片读取性能，进而提高后续智能分析等业务的处理性能。
图7示出本申请第二实施例提供的一种图片读取方法，应用于图片显示客户端，该方法可以包括：
步骤S201：从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP(Internet Protocol，网络之间互连的协议)、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID。
本实施例中，部署有云存储客户端的图片显示客户端在服务启动时，即向元数据服务器获取该元数据服务器所管理的各存储节点的配置信息。
所述资源列表信息还包括target、lun(logical unit number，即逻辑单元号)等信息。
其中，target对应了iscsi存储设备(即各存储节点)上的一个服务端，initiator(即发起程序)对应了访问iscsi存储设备的客户端(即图片显示客户端)。
一个target下可以管理多个资源，一个lun id对应了一个资源。因此在客户端访问iscsi存储设备中的资源时，target、initiator以及lun id就唯一对应了某台iscsi存储设备上的一个资源。ip地址用来确定iscsi存储设备。
其中，资源为标准的san资源，所述标准san资源的存储格式请参见第一实施例，不再赘述。
步骤S202：从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小。
其中，所述URL中的节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列的，所述URL与图片是一一对应的，从而在获得待读取图片的URL后，可快速确定出该待读取图片的存储位置。
本实施例中，URL的设置与第一实施例相同，不再赘述。
步骤S203：根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号。
在该步骤中，图片显示客户端获得待读取图片所在的存储节点的节点编码和资源ID后，结合步骤S201中的配置信息，匹配到相应的存储节点的IP，即可直接访问图片所在存储节点，无需通过元数据服务器和文件系统索引区定位图片的存储位置，实现了直接从URL中解析出存储节点的具体资源上的图片开始存储的具体位置，提高图片定位的速度。
步骤S204：根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取所述图片。
图片显示客户端根据步骤S203获得的存储节点的IP和端口号，直接定位到相应的存储节点，接着在该相应的存储节点中定位到所述对应资源ID所对应的资源，从所述资源的slice数据块ID地址位置开始，偏移所述偏移量大小后，读取所述图片大小量的数据，即获得待读取的图片。
在本实施例中，通过上述实施方式，将图片存储在相应存储节点中的具体位置与该图片的URL唯一对应，需要读取图片时，直接从URL中解析出具体存储节点的具体资源上的图片存储具体位置，即可直接读取该图片，无需通过元数据服务器和文件系统索引确定图片的存储位置，大大缩短了图片访问路径的长度，达到直接快速读取图片的目的，提高图片读取性能，进而提高后续智能分析等业务的处理性能。
如图8所示，为本申请第三实施例提供的图片写入装置的结构示意图，与上述图片写入方法相对应，可参照上述图片写入方法的实施例来理解或解释该图片写入装置的内容。
参见图8，一种图片写入装置，应用于卡口客户端，包括节点请求发送模块101、信息接收模块102、资源请求模块103、图片写入模块104、写入位置记录模块105和URL生成模块106。
其中，节点请求发送模块101用以发送节点选择请求至元数据服务器。
具体地，卡口相机拍摄到图片后，卡口客户端首先会通过本地配置文件获取到元数据服务器的信息，然后调用云存储接口，由节点请求发送模块101向云数据服务器发送节点选择请求。
信息接收模块102用以接收所述元数据服务器针对所述节点选择请求返回的节点编码。
其中，元数据服务器是根据负载均衡策略(例如，按照各存储节点的存储容量大小设定存储优先级)选择可用的存储节点的，并将该可用的存储节点的节点编码返回给信息接收模块102。
资源请求模块103用以向所述节点编码所对应的存储节点请求可用的资源。
参见图5，所述资源为为标准的san资源，标准的san资源上的数据存储格式包括索引区和slice数据区。所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。
图片写入模块104通过动态iscsi技术挂载所述资源，并在挂载成功后将预图片按预设存储格式写入所述资源。
其中，所述预设存储格式即为标准san资源上的数据存储格式。
写入位置记录模块105用以记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小。
URL生成模块106用以根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。
所述信息接收模块102接收所述存储节点根据其获取的节点编码、资源ID、slice数据块ID、偏移量和图片大小所生成的该图片的URL。
其中，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列，形成相应图片的URL，即图片与URL是一一对应的，从而更好地对图片位置进行标识。
为便于统一管理图片的位置信息，该图片写入装置还包括：
图片信息发送模块，发送所述URL至卡口管理服务器。
如图9所示，为本申请第四实施例提供的图片读取装置的结构示意图，与上述图片读取方法相对应，可参照上述图片读取方法的实施例来理解或解释该图片读取装置的内容。
参见图9，一种图片读取装置，应用于图片显示客户端，包括节点信息获取模块201、URL读取模块202、IP获取模块203和图片文件读取模块204。
其中，节点信息获取模块201用以从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID。
所述资源列表信息还包括target、lun等信息。
其中，资源为标准的san资源，所述标准san资源的存储格式请参见第一实施例，不再赘述。
URL读取模块202用以从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小。
其中，所述URL中的节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列的，所述URL与图片是一一对应的，从而在获得待读取图片的URL后，可快速确定出该待读取图片的存储位置。
IP获取模块203用以根据所述待读取图片所对应的节点编码、资源ID以及配置信息，获取相应的存储节点IP和存储节点端口号。
图片文件读取模块204用以根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。
综上所述，本申请通过图片存储在相应存储节点中的具体位置与该图片的URL唯一对应，需要读取图片时，直接从URL中解析出具体存储节点的具体资源上的图片存储具体位置，即可直接读取该图片，无需通过元数据服务器和文件系统索引确定图片的存储位置，大大缩短了图片访问路径的长度，达到直接快速读取图片的目的，提高图片读取性能，进而提高后续智能分析等业务的处理性能。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种图片写入方法，应用于卡口客户端，其特征在于，所述图片写入方法包括：
发送节点选择请求至元数据服务器；
接收所述元数据服务器针对所述节点选择请求返回的节点编码；
向所述节点编码所对应的存储节点请求可用的资源；
通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；
记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；
根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。
2.如权利要求1所述的图片写入方法，其特征在于，所述图片写入方法还包括：
发送所述URL至卡口管理服务器。
3.如权利要求1所述的图片写入方法，其特征在于，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。
4.如权利要求1所述的图片写入方法，其特征在于，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。
5.一种图片读取方法，应用于图片显示客户端，其特征在于，所述图片读取方法包括：
从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；
从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；
根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；
根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。
6.一种图片写入装置，应用于卡口客户端，其特征在于，所述图片写入装置包括：
节点请求发送模块(101)，发送节点选择请求至元数据服务器；
信息接收模块(102)，接收所述元数据服务器针对所述节点选择请求返回的节点编码；
资源请求模块(103)，向所述节点编码所对应的存储节点请求可用的资源；
图片写入模块(104)，通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；
写入位置记录模块(105)，记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；
URL生成模块(106)，根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。
7.如权利要求6所述的图片写入装置，其特征在于，所述图片写入装置还包括：
图片信息发送模块，发送所述URL至卡口管理服务器。
8.如权利要求6所述的图片写入装置，其特征在于，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。
9.如权利要求6所述的图片写入装置，其特征在于，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。
10.一种图片读取装置，应用于图片显示客户端，其特征在于，所述图片读取装置包括：
节点信息获取模块(201)，从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；
URL读取模块(202)，从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；
IP获取模块(203)，根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；
图片文件读取模块(204)，根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。
CN201610917513.8A 2016-10-20 2016-10-20 图片写入和读取方法、装置 Pending CN106649528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610917513.8A CN106649528A (zh) 2016-10-20 2016-10-20 图片写入和读取方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610917513.8A CN106649528A (zh) 2016-10-20 2016-10-20 图片写入和读取方法、装置

Publications (1)

Publication Number Publication Date
CN106649528A true CN106649528A (zh) 2017-05-10

Family

ID=58856131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610917513.8A Pending CN106649528A (zh) 2016-10-20 2016-10-20 图片写入和读取方法、装置

Country Status (1)

Country Link
CN (1) CN106649528A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189958A (zh) * 2018-08-16 2019-01-11 深圳市华讯方舟太赫兹科技有限公司 存储方法、存储系统、服务器以及计算机存储介质
CN109922117A (zh) * 2017-12-13 2019-06-21 浙江宇视科技有限公司 图片读取方法、装置及计算机可读存储介质
CN113792021A (zh) * 2021-09-27 2021-12-14 北京臻观数智科技有限公司 一种降低图片存储空间的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049445A (zh) * 2011-10-12 2013-04-17 腾讯科技（深圳）有限公司 一种查询图片信息的方法、系统和图片状态服务器
CN103152337A (zh) * 2013-02-25 2013-06-12 汪凯 一种安全动态传输二维码信息的方法
CN103473121A (zh) * 2013-08-20 2013-12-25 西安电子科技大学 一种基于云计算平台的海量图片并行处理方法
CN103544149A (zh) * 2012-07-09 2014-01-29 百度在线网络技术（北京）有限公司 一种访问图片的方法、系统和图片服务器
CN103678293A (zh) * 2012-08-29 2014-03-26 百度在线网络技术（北京）有限公司 一种数据存储方法及装置
CN104965877A (zh) * 2015-06-12 2015-10-07 郑州悉知信息技术有限公司 网页图片获取方法、图片缓存服务器、协调服务器及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049445A (zh) * 2011-10-12 2013-04-17 腾讯科技（深圳）有限公司 一种查询图片信息的方法、系统和图片状态服务器
CN103544149A (zh) * 2012-07-09 2014-01-29 百度在线网络技术（北京）有限公司 一种访问图片的方法、系统和图片服务器
CN103678293A (zh) * 2012-08-29 2014-03-26 百度在线网络技术（北京）有限公司 一种数据存储方法及装置
CN103152337A (zh) * 2013-02-25 2013-06-12 汪凯 一种安全动态传输二维码信息的方法
CN103473121A (zh) * 2013-08-20 2013-12-25 西安电子科技大学 一种基于云计算平台的海量图片并行处理方法
CN104965877A (zh) * 2015-06-12 2015-10-07 郑州悉知信息技术有限公司 网页图片获取方法、图片缓存服务器、协调服务器及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922117A (zh) * 2017-12-13 2019-06-21 浙江宇视科技有限公司 图片读取方法、装置及计算机可读存储介质
CN109189958A (zh) * 2018-08-16 2019-01-11 深圳市华讯方舟太赫兹科技有限公司 存储方法、存储系统、服务器以及计算机存储介质
CN113792021A (zh) * 2021-09-27 2021-12-14 北京臻观数智科技有限公司 一种降低图片存储空间的方法

Similar Documents

Publication Publication Date Title
CN107872489B (zh) 一种文件切片上传方法、装置及云存储系统
CN108984560B (zh) 文件存储方法及装置
CN104731516B (zh) 一种存取文件的方法、装置及分布式存储系统
US8176061B2 (en) Tracking digital assets on a distributed network
CN109391664A (zh) 用于多集群容器部署的系统和方法
US11687488B2 (en) Directory deletion method and apparatus, and storage server
CN101729442A (zh) 一种实现内容共享的方法和装置
CN102271165B (zh) 互联网搜索资源的分享管理装置及方法
CN106933548B (zh) 全局信息获取、处理及更新、方法、装置和系统
CN110476444B (zh) 用于网络服务的标识符分配和/或标识符映射的网络实体和方法
CN106357539B (zh) 一种数据获取方法和设备
US10579597B1 (en) Data-tiering service with multiple cold tier quality of service levels
CN107092686B (zh) 一种基于云存储平台的文件管理方法及装置
TW201405324A (zh) 雲端資料儲存系統及基於該系統的資料儲存與共用方法
CN110287201A (zh) 数据访问方法、装置、设备及存储介质
CN106649528A (zh) 图片写入和读取方法、装置
CN113395340A (zh) 一种信息更新方法、装置、设备、系统和可读存储介质
CN114038541A (zh) 数字病理图像的数据流的处理系统
WO2016101662A1 (zh) 一种数据处理方法及相关服务器
CN105978944A (zh) 对象存储方法和装置
CN109788050B (zh) 一种获取源站ip地址方法、系统、电子设备和介质
CN108200110A (zh) 一种数据处理方法、装置及系统
CN110347656B (zh) 文件存储系统中请求的管理方法和装置
CN110830492B (zh) 一种基于CoreDNS注册服务的边缘应用相互调度的方法及系统
CN112866406A (zh) 一种数据存储方法、系统、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication