CN105450709B - 一种视频云存储系统中的数据热替换方法和系统 - Google Patents

一种视频云存储系统中的数据热替换方法和系统 Download PDF

Info

Publication number
CN105450709B
CN105450709B CN201410439806.0A CN201410439806A CN105450709B CN 105450709 B CN105450709 B CN 105450709B CN 201410439806 A CN201410439806 A CN 201410439806A CN 105450709 B CN105450709 B CN 105450709B
Authority
CN
China
Prior art keywords
file
mapped
disk
replacement
physical memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410439806.0A
Other languages
English (en)
Other versions
CN105450709A (zh
Inventor
陈翟翟
王伟
林起芊
汪渭春
闫春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201410439806.0A priority Critical patent/CN105450709B/zh
Publication of CN105450709A publication Critical patent/CN105450709A/zh
Application granted granted Critical
Publication of CN105450709B publication Critical patent/CN105450709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种视频云存储系统中的数据热替换方法和系统：视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中；当需要进行数据热替换时，替换进程启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处；其中，文件A为由原始数据生成的文件，文件B为由替换数据生成的文件。应用本发明所述方案，能够提高替换速度和减少资源消耗等。

Description

一种视频云存储系统中的数据热替换方法和系统
技术领域
本发明涉及数据存储技术，特别涉及一种视频云存储系统中的数据热替换方法和系统。
背景技术
视频云存储系统，是指通过集群应用、网络技术和分布式文件系统等，将网络中大量的存储设备通过应用软件集合起来协同工作，共同对外提供视频数据存储和业务访问功能的系统。
目前，当需要对视频云存储系统中的数据进行替换时，通常采用数据热替换的方式，所谓数据热替换，即指进程不停机，进行内部数据的全量更新替换。
具体的，可采用以下方式来实现数据热替换。
方式一
数据通过socket传输到视频云存储系统的服务进程，数据的格式预先约定好，数据接收完成后，由服务进程按照预先约定好的方式进行数据替换。
这种方式的弊端在于：服务进程需要专门创建一个socket来进行数据接收，socket的创建需要消耗端口号，同时socket的接收服务开发和维护相对复杂，数据的接收速度也较慢；另外，数据必须全部接收完，由服务进程确定数据的完整性之后，才能进行数据替换，如果只接收到一半即出现异常网线断开，则需要重新传输之前已经传输过的数据；也就是说，这种方式的替换速度较慢，且会增加资源消耗。
方式二
数据通过第三方中转到服务进程，如数据预先存储到数据库中，然后通过信号或者socket发送协议的方式通知替换。
这种方式的弊端在于：数据需要在第三方进行中转，从而增加了资源消耗；而且，如果通知替换的接口为socket的话，也会存在方式一中所述的关于socket的弊端。
发明内容
有鉴于此，本发明提供了一种视频云存储系统中的数据热替换方法和系统，能够提高替换速度和减少资源消耗。
为了达到上述目的，本发明的技术方案是这样实现的：
一种视频云存储系统中的数据热替换方法，包括：
视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中；
当需要进行数据热替换时，替换进程启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处；
其中，文件A为由原始数据生成的文件，文件B为由替换数据生成的文件。
一种视频云存储系统中的数据热替换系统，包括：
服务进程，用于当自身启动后，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，文件A为由原始数据生成的文件；
替换进程，用于当需要进行数据热替换时启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，其中，文件B为由替换数据生成的文件。
可见，采用本发明所述方案，无需进行socket的创建或借助于第三方的中转，即可实现数据热替换，从而克服了现有技术中存在的问题，进而提高了替换速度和减少了资源消耗；而且，本发明所述方案实现起来简单方便，从而便于进行普及和推广。
附图说明
图1为本发明视频云存储系统中的数据热替换方法实施例的流程图。
图2为本发明服务进程和替换进程的工作方式示意图。
具体实施方式
针对现有技术中存在的问题，本发明中提出一种视频云存储系统中的数据热替换方案，能够提高替换速度和减少资源消耗等。
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。
图1为本发明视频云存储系统中的数据热替换方法实施例的流程图。如图1所示，包括以下步骤11～12。
步骤11：视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，文件A为由原始数据生成的文件。
服务进程是视频云存储系统对外提供功能服务的进程，是整个视频云存储系统的主体进程。
具体地，当服务进程启动之后，可通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件A映射到物理内存中，内存磁盘映射方式的具体实现为现有技术。
如前所述，文件A为由原始数据(即替换之前的旧数据)生成的文件，文件A的具体格式不作限制，可根据实际需要而定，另外，文件A可预先手动或自动生成，具体生成方式同样不作限制。
服务进程在将文件A映射到物理内存中之后，可直接对所映射的文件A进行操作，如进行增删查改等操作。
另外，为了防止与其它进程发生冲突，在每次进行操作之前，服务进程通常还需要针对文件A在物理内存中的映射区域加进程间锁(LOCK)，用于锁定所述映射区域，之后即可进行相应操作，并在操作完成时，解所述进程间锁，以释放对所述映射区域的占用，如何加所述进程间锁和解所述进程间锁均为现有技术。
步骤12：当需要进行数据热替换时，替换进程启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，其中，文件B为由替换数据生成的文件。
当需要进行数据热替换时，可手动或自动启动替换进程，如何进行启动不作限制，之后，替换进程可通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处。
如前所述，文件B为由替换数据(即替换之后的新数据)生成的文件，文件B的具体格式同样不作限制，可根据实际需要而定，另外，文件B可预先手动或自动生成，具体生成方式同样不作限制，在磁盘上，文件A和文件B分开存放，即是两个不同的文件。
另外，与服务进程类似，替换进程在将文件B映射到文件A在物理内存中的映射区域处之前，还需要针对所述映射区域加进程间锁，之后即可将文件B映射到所述映射区域处，并在映射完成后，解所述进程间锁。
通过上述操作，即可替换文件A映射到物理内存中的内容，同时，由于采用了内存磁盘映射的方式，因此磁盘上的文件A的内容也会被文件B的内容所替换，相应地，为了节省磁盘的存储空间，替换进程可将文件B从磁盘上删除，并退出进程。
后续，当服务进程对文件A进行操作时，即是对内容进行了替换后的文件A进行操作。
基于上述介绍，图2为本发明服务进程和替换进程的工作方式示意图。
如图2所示，其中服务进程的工作方式为：
服务进程启动；
服务进程通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件A映射到物理内存中；
服务进程需要对映射到物理内存中的文件A进行操作，针对文件A在物理内存中的映射区域加进程间锁；
服务进程进行相应的操作；
操作完成，服务进程解进程间锁；
当满足退出条件时，服务进程退出，如人为关闭服务进程。
如图2所示，替换进程的工作方式为：
需要进行数据热替换，替换进程启动；
替换进程针对文件A在物理内存中的映射区域加进程间锁；
替换进程通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处；
映射完成，替换进程解进程间锁；
替换进程将文件B从磁盘上删除，并退出进程。
本发明同时公开了一种视频云存储系统中的数据热替换系统，包括：服务进程和替换进程。
其中，服务进程，用于当自身启动后，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，文件A为由原始数据生成的文件；
替换进程，用于当需要进行数据热替换时启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，其中，文件B为由替换数据生成的文件。
具体地，
服务进程可通过内存磁盘映射的方式，将文件A映射到物理内存中；
同样，替换进程可通过内存磁盘映射的方式，将文件B映射到文件A在物理内存中的映射区域处。
另外，
服务进程还可进一步用于，在将文件A映射到物理内存中之后，当需要对映射到物理内存中的文件A进行操作时，针对所述映射区域加进程间锁，当操作完成时，解进程间锁。
再有，
替换进程还可进一步用于，在将文件B映射到文件A在物理内存中的映射区域处之前，针对所述映射区域加进程间锁，在将文件B映射到文件A在物理内存中的映射区域处之后，解进程间锁。
再有，
替换进程还可进一步用于，在将文件B映射到文件A在物理内存中的映射区域处之后，将文件B从磁盘上删除，并退出进程。
上述系统实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。
总之，采用本发明所述方案，无需进行socket的创建或借助于第三方的中转，即可实现数据热替换，从而克服了现有技术中存在的问题，进而提高了替换速度和减少了资源消耗；而且，本发明所述方案实现起来简单方便，从而便于进行普及和推广。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频云存储系统中的数据热替换方法，其特征在于，包括：
视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，服务进程是视频云存储系统的主体进程；其中，所述将预先生成的、存储在磁盘上的文件A映射到物理内存中之后，进一步包括：当需要对映射到物理内存中的文件A进行操作时，所述服务进程针对所述文件A在物理内存中的映射区域加进程间锁，当操作完成时，解所述进程间锁；
当需要进行数据热替换时，替换进程启动，所述替换进程针对所述映射区域加进程间锁，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，所述替换进程解所述进程间锁；
其中，文件A为由原始数据生成的文件，文件B为由替换数据生成的文件。
2.根据权利要求1所述的方法，其特征在于，
所述将预先生成的、存储在磁盘上的文件A映射到物理内存中包括：通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件A映射到物理内存中；
所述将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处包括：通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处。
3.根据权利要求2所述的方法，其特征在于，
所述将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处之后，进一步包括：所述替换进程将文件B从磁盘上删除，并退出进程。
4.一种视频云存储系统中的数据热替换系统，其特征在于，包括：
服务进程，用于当自身启动后，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，服务进程是视频云存储系统的主体进程；其中，文件A为由原始数据生成的文件，所述服务进程进一步用于，在将文件A映射到物理内存中之后，当需要对映射到物理内存中的文件A进行操作时，针对所述文件A在物理内存中的映射区域加进程间锁，当操作完成时，解所述进程间锁；
替换进程，用于当需要进行数据热替换时启动，所述替换进程针对所述映射区域加进程间锁，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，所述替换进程解所述进程间锁；其中，文件A为由原始数据生成的文件，文件B为由替换数据生成的文件。
5.根据权利要求4所述的系统，其特征在于，
所述服务进程通过内存磁盘映射的方式，将文件A映射到物理内存中；
所述替换进程通过内存磁盘映射的方式，将文件B映射到文件A在物理内存中的映射区域处。
6.根据权利要求5所述的系统，其特征在于，
所述替换进程进一步用于，在将文件B映射到文件A在物理内存中的映射区域处之后，将文件B从磁盘上删除，并退出进程。
CN201410439806.0A 2014-09-01 2014-09-01 一种视频云存储系统中的数据热替换方法和系统 Active CN105450709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410439806.0A CN105450709B (zh) 2014-09-01 2014-09-01 一种视频云存储系统中的数据热替换方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410439806.0A CN105450709B (zh) 2014-09-01 2014-09-01 一种视频云存储系统中的数据热替换方法和系统

Publications (2)

Publication Number Publication Date
CN105450709A CN105450709A (zh) 2016-03-30
CN105450709B true CN105450709B (zh) 2019-07-19

Family

ID=55560479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410439806.0A Active CN105450709B (zh) 2014-09-01 2014-09-01 一种视频云存储系统中的数据热替换方法和系统

Country Status (1)

Country Link
CN (1) CN105450709B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296157A (zh) * 2007-04-26 2008-10-29 北京师范大学珠海分校 多网卡协同通信方法
CN101448018A (zh) * 2008-12-26 2009-06-03 中兴通讯股份有限公司 进程间通信方法和装置
CN102968423A (zh) * 2012-03-27 2013-03-13 广州市国迈科技有限公司 一种基于数据容器的高性能私有云存储节点文件系统设计

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296157A (zh) * 2007-04-26 2008-10-29 北京师范大学珠海分校 多网卡协同通信方法
CN101448018A (zh) * 2008-12-26 2009-06-03 中兴通讯股份有限公司 进程间通信方法和装置
CN102968423A (zh) * 2012-03-27 2013-03-13 广州市国迈科技有限公司 一种基于数据容器的高性能私有云存储节点文件系统设计

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VC中使用内存映射文件处理大文件;万个函数千个类;《CSDN博客》;20130208;第1页到第6页

Also Published As

Publication number Publication date
CN105450709A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN108564471B (zh) 基于区块链技术的能源互联网安全智能交易系统及其方法
PH12019500860A1 (en) System and method for information protection
WO2019072276A3 (en) System and method for information protection
PH12019500848A1 (en) System and method for information protection
CN108599934B (zh) 一种用于量子密钥分发的可验安全保密增强方法
US8874951B1 (en) Private peer-to-peer network platform for secure collaborative production and management of digital assets
CN102263825A (zh) 一种基于云位置的混合云存储系统数据传输方法
CN103685532A (zh) 一种基于云服务的企业间数据传输时安全保障系统及方法
CN109525391A (zh) 一种服务器与锁具信息安全同步的方法
CN105991717A (zh) 文件分享方法及系统
CN103425933A (zh) 一种多数据源的数据同态加密转存方法
CN106055988B (zh) 针对控件的权限控制方法及装置
CN102611574A (zh) Vpn自动配置系统及配置方法
CN103973790A (zh) 一种网络中存储的Web应用数据自动销毁的方法
WO2008024900A3 (en) Methods and apparatus for information management systems
CN107948208A (zh) 一种网络应用层透明加密的方法及装置
CN105450709B (zh) 一种视频云存储系统中的数据热替换方法和系统
CN106027419B (zh) 一种数据结构的管理方法和装置
CN106161654A (zh) 一种云教育系统
CN113256470A (zh) 一种基于区块链的武器装备管理系统及方法
CN107241422A (zh) 一种实时将外部用户及用户组信息同步进Apache Ranger的方法
CN103297329B (zh) 一种异构系统间消息的准实时双向同步方法
GB2456471B (en) Network management system free of messaging,commands and data format conversions
CN104866742A (zh) 一种权限管理方法及装置
CN104507107A (zh) 一种信令数据的预处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant