CN106598973B - 一种基于云存储管理的智能检索的方法及系统 - Google Patents

一种基于云存储管理的智能检索的方法及系统 Download PDF

Info

Publication number
CN106598973B
CN106598973B CN201510664708.1A CN201510664708A CN106598973B CN 106598973 B CN106598973 B CN 106598973B CN 201510664708 A CN201510664708 A CN 201510664708A CN 106598973 B CN106598973 B CN 106598973B
Authority
CN
China
Prior art keywords
video
data
intelligent
cloud storage
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510664708.1A
Other languages
English (en)
Other versions
CN106598973A (zh
Inventor
汪渭春
周佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510664708.1A priority Critical patent/CN106598973B/zh
Publication of CN106598973A publication Critical patent/CN106598973A/zh
Application granted granted Critical
Publication of CN106598973B publication Critical patent/CN106598973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于云存储管理的智能检索的方法及系统，所述方法应用于云存储系统，云存储系统包括视频云存储管理节点和多个视频云存储节点，视频云存储节点中设置有智能分析模块，所述方法包括：接收用户对目标视频的检索条件；根据检索条件确定与目标视频相关的至少一个数据块的数据块信息；根据数据块信息向数据块所在的视频云存储节点下发智能检索任务；根据检索任务对存储的智能数据进行分析，得到目标视频时间段信息；将目标视频时间段信息返回给所述用户。本发明支持并发查询，使得负载得到均衡，极大程度提高了检索效率，以及将智能分析集成到云存储内部，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源。

Description

一种基于云存储管理的智能检索的方法及系统
技术领域
本发明涉及视频存储及检索技术领域，特别涉及一种基于云存储管理的智能检索的方法及系统。
背景技术
现有技术中的视频监控往往只单方面侧重视频检索或者视频智能分析，而缺乏对二者的整合。
一方面，现有技术中的视频检索方案，通常将检索工作集中到一台服务器上，从而导致该检索服务器的压力较大。并且这种单台服务器检索的方式也无法充分体现出云存储的强大性能，不支持并发检索。
另一方面，现有技术中的智能检索方案，通常将智能检索过长放在云存储外部执行。图1显示了现有技术的视频云存储中智能检索的框架图。
参考图1，现有技术中视频检索的智能分析设备4'设置是在云存储设备3'之外。云存储设备3'在接收到来自前端设备1'的视频数据和智能数据后，将智能数据发送给客户端2'。智能分析设备4'需要先将客户端2'的智能数据下载到本地，再调用智能分析算法分析出视频时间段信息，然后将视频时间段信息发送给客户端2'。这种将云存储设备3'和智能分析设备4'分开设置的方式，会导致智能分析的效率和准确度均不高。
发明内容
本发明的目的是提供一种基于云存储管理的智能检索的方法及系统，可以支持并发查询，使得负载得到均衡，极大程度提高了检索效率，以及将智能分析集成到云存储节点的内部，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源。
为实现上述目的，本发明一方面提供一种基于云存储管理的智能检索的方法，应用于云存储系统，所述云存储系统包括视频云存储管理节点和多个视频云存储节点，所述视频云存储节点中设置有智能分析模块，所述方法包括：
接收用户对目标视频的检索条件；
根据所述检索条件确定与目标视频相关的至少一个数据块的数据块信息；
根据所述数据块信息向数据块所在的各个视频云存储节点下发智能检索任务，以使所述视频云存储节点的智能分析模块根据所述检索任务对存储的智能数据进行分析，得到目标视频时间段信息；
将所述目标视频时间段信息返回给所述用户。
其中，所述目标视频的检索条件包括：编码器ID、时间段信息和检索规则。
其中，所述数据块信息包括：数据块ID及数据块所在的视频云存储节点ID。
其中，所述目标视频时间段信息是所述视频云存储节点根据所述数据块信息和检索条件，定位出符合所述时间段信息的数据块，再根据所述检索规则对所述数据块进行合并生成的。
其中，在将所述目标视频时间段信息返回给所述用户之后，还包括：
接收用户发送来的基于所述目标视频时间段信息的录像片段请求；
根据所述录像片段请求将相应的录像片段发送给用户。
在接收用户对目标视频的检索条件之前，还包括：
接收前端设备写入的视频数据和智能数据；
将与所述视频数据和智能数据存储相关的数据块的数据块信息上报视频云存储管理节点；
其中，所述智能数据为前端设备对所述视频数据经过智能分析得到的数据。
在接收到所述视频数据和智能数据之后，还包括如下步骤：
将所述视频数据和智能数据分别存储在不同的视频云存储节点中，彼此之间通过编码器ID进行关联。
其中，存储所述视频数据和智能数据在所述视频云存储节点中的数据存储地址，并将所述数据存储地址上报所述视频云存储管理节点。
其中，所述数据存储地址包括：所述视频数据或智能数据所属数据块索引，其中，所属数据块索引为所述视频数据或智能数据所属数据块在视频云存储节点中编号。
本发明实施方式提供的基于云存储管理的智能检索的方法，将智能分析集成到云存储系统内部，将检索压力分散到每台视频云存储节点上，用户只需要像普通检索一样，输入检索条件，云存储内部查询到录像之后直接调用CVS设备内置的智能分析算法进行二次智能分析，筛选出关键的视频片段信息返回给用户，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源，用户可以直接找视频云存储节点检索数据，支持并发查询，使得负载得到均衡，极大程度提高了检索效率。
根据本发明的另一方面，提供一种云存储系统，包括视频云存储管理节点、多个视频云存储节点，所述视频云存储节点中设置有智能分析模块；
所述视频云存储管理节点，用于接收用户对目标视频的检索条件，并根据所述检索条件确定与目标视频相关的至少一个数据块的数据块信息；还用于根据所述数据块信息向数据块所在的各个视频云存储节点下发智能检索任务；
所述视频云存储节点，用于调用智能分析模块根据所述检索任务对存储的智能数据进行分析，得到目标视频时间段信息，并将所述目标视频时间段信息返回给用户。
其中，所述目标视频的检索条件包括：编码器ID、时间段信息和检索规则。
其中，所述数据块信息包括：数据块ID及数据块所在的视频云存储节点ID。
其中，所述目标视频时间段信息是所述视频云存储节点根据所述数据块信息和检索条件，定位出符合所述时间段信息的数据块，再根据所述检索规则对所述数据块进行合并生成的。
其中，所述视频云存储管理节点，还用于接收用户发送的基于所述目标视频时间段信息的录像片段请求，并根据所述录像片段请求将相应的录像片段发送给用户。
其中，所述视频云存储节点还包括：
存储模块，用于存储前端设备写入的视频数据和智能数据；
上报模块，用于将与所述视频数据和智能数据存储相关的数据块的数据块信息上报视频云存储管理节点；
其中，所述智能数据为前端设备对所述视频数据经过智能分析得到的数据。
其中，所述存储模块将所述视频数据和智能数据分别存储在不同的视频云存储节点中，彼此之间通过编码器ID进行关联。
其中，所述存储模块，还用于存储所述视频数据和智能数据在所述视频云存储节点中的数据存储地址，
所述上报模块，还用于将所述数据存储地址上报所述视频云存储管理节点。
其中，所述数据存储地址包括：所述视频数据或智能数据所属数据块索引，其中，所属数据块索引为所述视频数据或智能数据所属数据块在视频云存储节点中编号。
本发明实施方式提供的视频云存储系统，将检索压力分散到每台视频云存储节点上，客户端可以直接找视频云存储节点检索数据，支持并发查询，使得负载得到均衡，极大程度提高了检索效率。并且，本发明采用二级索引存储方案，将块内索引保存在所在的CVS设备中，将数据块索引保存在CVM设备中，从而可以提高查询效率，能快速定位到云存储中的数据。此外，本发明将智能分析集成到云存储系统内部，用户只需要像普通检索一样，输入检索条件，云存储系统内部查询到录像之后直接调用CVS设备内置的智能分析模块进行二次智能分析，筛选出关键的视频片段信息返回给用户，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源。
附图说明
图1显示了现有技术的视频云存储中智能检索的框架图；
图2显示了根据本发明相对于现有技术所作出的改进；
图3是根据本发明优选实施方式的基于云存储管理的智能检索的方法的流程图；
图4是根据本发明另一实施方式的基于云存储管理的智能检索的方法的流程图；
图5是本发明的方法中将视频数据和智能数据存入视频云存储节点的方法的流程图；
图6是根据本发明优选实施方式的云存储系统的结构示意图；
图7显示了根据本发明的视频数据和智能数据存储的示意图；
图8显示了本发明视频的交互示意图；
图9显示了根据本发明优选实施方式的API模块的处理流程；
图10显示了根据本发明实施方式的CVS设备的处理流程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明为解决现有技术中的问题，提供一种基于云存储管理的智能检索的方法和系统。
图2显示了根据本发明相对于现有技术所作出的改进。
如图2所示，本发明中云存储系统1000接收来自前端设备2000的视频数据和智能数据后，将所述视频数据和智能数据存储于内部。云存储系统1000内部设置用于视频检索的智能分析模块。当云存储系统1000接收到客户端所发送的检索条件后，调用智能分析模块分析出视频时间段信息，然后将视频时间段信息发送给客户端3000。
由此可知，与现有技术图1相比，本发明可以实现将云数据检索和智能数据检索结合在一起，即将视频检索压力分散到多个云视频云存储节点上，以及在云存储上实现智能分析，从而提高智能分析的效率和准确度。
图3是根据本发明优选实施方式的基于云存储管理的智能检索的方法的流程图。需要说明的是，本方法应用于云存储系统，所述云存储系统包括视频云存储管理节点和多个视频云存储节点，所述视频云存储节点中设置有智能分析模块。其中，步骤S11至步骤S13的执行主体为视频云存储管理节点(Cloud Video Manage，CVM)，步骤S14的执行主体为视频云存储节点(Cloud Video Storage，CVS)。
基于云存储管理的智能检索的方法包括以下步骤：
步骤S11，接收用户对目标视频的检索条件。
用户通过操作客户端，根据编码器ID、开始时间和结束时间回放录像。用户在发现回放过程中发生异常的某段视频时，暂停录像回放，在对应的回放画面上输入设置对目标视频的检索条件，以期从云存储系统中检索到目标视频时间段，即类似的录像时间片段。其中，对目标视频的检索条件包括编码器ID、时间段信息和检索规则。进一步，时间段信息包括：目标视频的开始时间和结束时间。
步骤S12，根据检索条件确定与目标视频相关的至少一个数据块的数据块信息。
视频云存储管理节点在接收到检索条件后，根据该检索条件中的检索规则调用检索视频的接口。然后，查询所有视频云存储节点中可写入数据的数据块和可正常工作的视频云存储节点，并生成数据块信息。其中，数据块信息包括：数据块ID及数据块所在的视频云存储节点ID。
步骤S13，根据数据块信息向数据块所在的视频云存储节点下发智能检索任务，以使所述视频云存储节点的智能分析模块根据所述检索任务对存储的智能数据进行分析，得到目标视频时间段信息。
具体的为，视频云存储管理节点根据数据块信息中的视频云存储节点ID向对应的视频下发智能检索任务。
在详细描述视频云存储管理节点执行智能检索任务之前，首先对视频云存储节点存储视频数据进行说明。具体地，视频云存储节点(Cloud Video Storage，CVS)接收由前端设备采集的视频数据和智能数据，其中，智能数据为前端设备对视频数据经过智能分析得到的数据。例如，前端设备可以为带有智能识别技术的摄像头、DVR、编码器等设备。
视频云存储节点接收视频云存储管理节点所下发的智能检索任务，并调用内部的智能分析模块，以使智能分析模块根据所述检索任务对存储于视频云存储节点中的智能数据进行分析，得到目标视频时间段信息。
视频云存储节点执行智能检索任务，包括：视频云存储节点根据数据块信息和检索条件，定位出符合时间段信息的数据块，取出数据块中的智能索引表。然后，根据检索条件中的检索规则调用相应的算法进行智能检索，得出相对时间。其中，相对时间可以是正值或负值。视频云存储节点根据预设规则进行合并计算，包括：如果相邻的2个相对时间的差值的绝对值小于或等于预设值，则对应的视频片段可以进行合并。视频云存储节点将智能索引表的时间戳加上上述相对时间，生成绝对时间，并根据设置的预设规则前后推一段时间，转换为时间片段返回，插入到结果队列中，从而生成目标视频时间段信息。
步骤S14，将目标视频时间段信息返回给用户。
视频云存储节点将目标视频时间段信息首先返回给视频云存储管理节点中的API模块，由API模块将目标视频时间段信息返回给用户。
图4是根据本发明另一实施方式的基于云存储管理的智能检索的方法的流程图。
如图4所示，在上述步骤S14之后，还包括以下步骤：
步骤S15，接收用户发送来的基于所述目标视频时间段信息的录像片段请求。
步骤S16，根据所述录像片段请求将相应的录像片段发送给用户。
视频云存储管理节点将目标视频时间段信息发送给用户的客户端，用户可以根据该目标视频信息时间段信息通过客户端向视频云存储管理节点发起视频回放或视频下载请求，其中，用户可以通过视频回放进一步定位得到关键视频。用户接收视频云存储管理节点返回的视频信息，对该视频信息进行浓缩播放。
本发明实施方式提供的基于云存储管理的智能检索的方法，将智能分析集成到云存储系统内部，用户只需要像普通检索一样，输入检索条件，云存储系统内部查询到录像之后直接调用视频云存储节点内置的智能分析模块进行二次智能分析，筛选出关键的视频片段信息返回给用户，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源。
图5是本发明的方法中将视频数据和智能数据存入视频云存储节点的方法的流程图。需要说明的是，本方法的执行主体为视频云存储节点，即由视频云存储节点完成以下步骤S01、步骤S02、步骤S03以及步骤S04。
步骤S01，接收前端设备写入的视频数据和智能数据。其中，智能数据为前端设备对视频数据经过智能分析得到的数据。
前端设备实时采集视频数据，在检测到视频数据中出现符合预定检测规则的异常情况时，对符合预定检测规则的一段视频进行一次智能分析，形成智能数据。其中，预定检测规则可以由用户设置。例如：视频数据中出现移动物体等情况。前端设备将采集到的视频数据和一次智能分析得到的智能数据存入视频云存储节点中。
步骤S02，将接受的视频数据和智能数据存储在不同的视频云存储节点中，视频数据和智能数据彼此之间在云存储系统内部采用编码器ID(Camera ID)进行关联。
具体来说，云存储中设计的数据具有分散特性，数据的写入会在多台视频云存储节点中的多个数据块中分散。上述数据包括视频数据和智能数据。云存储在接收到前端设备的视频数据和智能数据后，查询可用于存储数据的云视频云存储节点的编号。然后将视频数据和智能数据分散存储在云存储中的多台视频云存储节点中。由于前端设备是将视频数据和只能数据一起发送给云存储。云存储在收到上述数据后，在PS流上进行分析出视频流和智能流，并写入视频云存储节点中。
步骤S03，视频数据和智能数据在写入视频云存储节点之后，保存写入数据的存储地址等关键信息，同时该数据的存储索引，即所属的数据块索引，并上报给视频云存储管理节点设备。
步骤S04，将与视频数据和智能数据存储相关的数据块的数据块信息上报视频云存储管理节点。
其中，与视频数据和智能数据存储相关的数据块的数据块信息包括：视频数据和智能数据所属的数据块的数据存储地址，将上述数据存储地址上报视频云存储管理节点。其中，数据存储地址包括：视频数据或智能数据所属数据块索引。其中，所属数据块索引为视频数据或智能数据所属数据块在视频存储节点中编号。
需要说明的是，上述依次执行步骤S01、步骤S02、步骤S03以及步骤S04的实施例为本发明方法的优选实施例，但本发明并不仅限于该实施例。在本发明的另一个实施例中，可以只执行步骤S01和步骤S04，在本发明的又一个实施例中，可以只执行步骤S01、步骤S02和步骤S04。
在本发明的实施方式中，视频云存储节点接收视频数据和智能数据的过程与步骤S11可以同时进行。
图6是根据本发明优选实施方式的云存储系统的结构示意图。
如图6所示，云存储系统包括视频云存储管理节点(Cloud Video Manage，CVM)和多个视频云存储节点(Cloud Video Storage，CVS)，所述视频云存储节点中设置有智能分析模块。
视频云存储管理节点，用于接收用户对目标视频的检索条件，并根据所述检索条件确定与目标视频相关的至少一个数据块的数据块信息。
用户通过操作客户端，根据编码器ID、开始时间和结束时间回放录像。用户在发现回放过程中发生异常的某段视频时，暂停录像回放，在对应的回放画面上输入设置对目标视频的检索条件，并将该检索条件发送给视频云存储管理节点，以期从云存储系统中检索到目标视频时间段，即类似的录像时间片段。其中，对目标视频的检索条件包括编码器ID、时间段信息和检索规则。进一步，时间段信息包括：目标视频的开始时间和结束时间。
具体的，视频云存储管理节点在接收到来自客户端的检索条件后，根据该检索条件中的检索规则调用检索视频的API接口。然后，查询所有视频云存储节点中可写入数据的数据块和可正常工作的视频云存储节点，并生成数据块信息。其中，数据块信息包括：数据块ID及数据块所在的视频云存储节点ID。
视频云存储管理节点，还用于根据所述数据块信息向数据块所在的各个视频云存储节点下发智能检索任务。具体地，视频云存储管理节点根据数据块信息中的视频云存储节点ID向对应的视频下发智能检索任务。
在详细描述视频云存储节点执行智能检索任务之前，首先对视频云存储节点存储视频数据进行说明。具体地，视频云存储节点包括存储模块和上报模块。所述存储模块，用于存储前端设备采集的视频数据和智能数据，其中，智能数据为前端设备对视频数据经过智能分析得到的数据。具体地，前端设备实时采集视频数据，在检测到视频数据中出现符合预定检测规则的异常情况时，对符合预定检测规则的一段视频进行一次智能分析，形成智能数据。其中，预定检测规则可以由用户设置。例如：视频数据中出现移动物体等情况。前端设备可以为带有智能识别技术的摄像头、DVR、编码器等设备。前端设备将上述采集到的视频数据和一次智能分析得到的智能数据分别存入云存储系统中。
具体来说，云存储系统中设计的数据具有分散特性，数据的写入会在多台视频云存储节点中的多个数据块中分散。上述数据包括视频数据和智能数据。
云存储系统在接收到前端设备的视频数据和智能数据后，查询可用于存储数据的云视频云存储节点的编号。然后将视频数据和智能数据分散存储在云存储中的多台视频云存储节点中。由于前端设备是将视频数据和智能数据一起发送给云存储。云存储在收到上述数据后，在PS流上进行分析出视频流和智能流，并写入视频云存储节点中。
上报模块，用于将与所述视频数据和智能数据存储相关的数据块的数据块信息上报视频云存储管理节点。
视频流和智能流在写入视频云存储节点之后，保存写入数据的存储地址等关键信息，同时该数据的存储索引，即所属的数据块索引，并上报给视频云存储管理节点设备。
需要说明的是，视频流与智能流是分开存储的，二者之间在云存储内部采用编码器ID(Camera ID)进行关联。
所述视频云存储节点，用于调用智能分析模块来执行智能检索任务。智能分析模块根据所述检索任务对存储的智能数据进行分析，得到目标视频时间段信息，并将所述目标视频时间段信息返回给用户。
具体的，视频云存储节点根据数据块信息和检索条件，定位出符合时间段信息的数据块，取出数据块中的智能索引表。然后，根据检索条件中的检索规则调用相应的算法进行智能检索，得出相对时间。其中，相对时间可以是正值或负值。视频云存储节点根据预设规则进行合并计算，包括：如果相邻的2个相对时间的差值的绝对值小于或等于预设值，则对应的视频片段可以进行合并。视频云存储节点将智能索引表的时间戳加上上述相对时间，生成绝对时间，并根据设置的预设规则前后推一段时间，转换为时间片段返回，插入到结果队列中，从而生成目标视频时间段信息。
用户可以根据该目标视频信息时间段信息通过客户端向视频云存储管理节点发起视频回放或视频下载请求，其中，用户可以通过视频回放进一步定位得到关键视频。用户接收视频云存储管理节点返回的视频信息，对该视频信息进行浓缩播放。
为充分利用云存储的计算和存储资源，将智能数据的二次检索功能下移到云存储内部，以达到充分提高检索效率的目的。即每台CVS设备上都有智能算法模块。由于云存储中包括多台CVS设备，因此云存储可以向上述多台CVS设备同时发起检索请求，充分体现出云存储的强大性能，并且支持并发检索。参考图6中，在CVS-1、CVS-2至CVS-n上分别内置有集成智能算法的智能分析模块，均可以实现对智能数据的二次智能分析。通过在云存储的CVS设备中内置了智能算法功能，进行了协处理运算，减少了智能信息集中提取并分析的过程，提升了整体性能，并利用云存储多台CVS设备参与提取、运算的优势，有效的提升了应用效果。
在本发明的实施方式中，视频云存储节点中存储模块存储视频数据和智能数据的过程与视频云存储管理节点接收用户的检索条件可以同时进行，也可以存储模块预先存储视频数据和智能数据，视频云存储管理节点再接收用户的检索条件。
本发明实施方式提供的云存储系统，将智能分析集成到云存储系统内部，用户只需要像普通检索一样，输入检索条件，云存储系统内部查询到录像之后直接调用视频云存储节点内置的智能分析模块进行二次智能分析，筛选出关键的视频片段信息返回给用户，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源。另外，本发明实施方式提供的云存储系统，将检索压力分散到每台视频云存储节点上，用户可以直接找视频云存储节点检索数据，支持并发查询，使得负载得到均衡，极大程度提高了检索效率。
图7显示了根据本发明的视频数据和智能数据存储的示意图；
上述的视频云存储管理节点包括API模块。其中，API模块包括多个API接口，所述API接口可以理解为云存储系统和客户端进行通信的接口，即云存储系统和用户进行沟通的接口。即，前端设备发送的视频数据和智能数据经过API接口分别写入到各个CVS设备，而CVS设备上报的数据存储索引也由API接口发送至CVM设备。
参考图7，云存储中包括三台CVS设备，分别为CVS-1、CVS-2和CVS-3。前端设备首先向云存储的CVM设备申请存储资源，包括视频数据和智能数据。CVM设备根据前端设备的请求分配可写的CVS设备和数据块号给前端设备。前端设备将视频数据和智能数据经过API接口分散存储在上述三台CVS设备，即CVS-1、CVS-2和CVS-3。每台CVS设备同时保存数据存储索引。其中，数据存储索引内容包含：Camera ID，数据存储地址等。其中数据存储地址包括所属数据块索引，即所属数据块在该CVS设备中的编号。然后，每台CVS设备将数据存储索引经过API接口上报给CVM设备，由CVM设备保存上报的CVS信息和数据块信息。
图8显示了本发明视频的交互示意图。
步骤S901，用户通过客户端回放录像。
其中，客户端可以通过编码器ID、开始时间和结束时间回放录像。
步骤S902，用户在回放过程中发现异常视频时，暂停回放。
步骤S903，用户通过客户端在暂停画面设置检索规则。
步骤S904，客户端将编码器ID、开始时间、结束时间和检索规则发送给云存储的API接口。
步骤S905，CVM设备接收API接口的附属块查询命令。
步骤S906，CVM设备向API接口返回附属块列表。
CVM设备向API接口返回和查询范围有交集的所有数据块，即附属块列表。其中，附属快列表中记载有可以写入数据的CVS设备端口号和块设备状态等信息。
步骤S907，API接口向每台CVS设备发送智能检索协议。
其中，API接口将附属块信息和智能检索规则一并下发给CVS设备进行智能检索。
步骤S908，每台CVS设备通过调用智能分析模块中的算法库，智能数据进行智能数据进行二次智能分析生成相对时间，根据二次智能分析结果从视频数据中获取目标视频时间段信息。然后，CVS设备向API接口返回视频时间片段集合。
步骤S909，API接口将上述视频时间片段集合发送给客户端。用户可以通过客户端进行浓缩回放。
具体地，API接口将视频时间片段集合返回给客户端，由客户端对视频时间片段集合进行排序。客户端根据智能检索结果回放。由于不同的行业有不同的应用方式：可以只播放检索时间片段，也可以根据检索结果浓缩播放。
在云存储中，主要是上述API接口、CVM设备和CVS设备的配合，来完成其快速检索的功能。主要集中在API接口，以及CVS设备中提取数据调用智能算法进行分析并返回分析结果。
在本发明中，API接口设计为通用接口，可以接收任何的检索规则结构体输入，并将检索规则直接提供给CVS设备进行运算。在API接口中实现中，设计将对应CVS设备的分析任务，一次性将所有需要分析的时间段都抛到CVS设备中，由存储节点根据自身的性能来进行分析任务。
图9显示了根据本发明优选实施方式的API模块的处理流程。
步骤S1001，API接口接收用户通过客户端发送的检索规则，即用户需要通过检索规则来检索需要的视频。
步骤S1002，API接口调用根据检索规则检索视频的接口。
步骤S1003，API接口向CVM设备发送附属块信息的查询请求。
步骤S1004，CVM设备向API接口返回查询到的附属快列表。
其中，附属快列表中记载有可以写入数据的CVS设备端口号和块设备状态等信息。
步骤S1005，API接口连接查询附属块所在设备正常的CVS设备。
步骤S1006，API接口向设备正常CVS设备发送智能检索条件。
其中，上述检索条件需要使用base64编码。
步骤S1007，每台CVS设备向API接口返回检索状态信息。
步骤S1008，每台CVS设备向API接口返回根据智能检索条件检索到的视频时间片段。
需要说明的是，如果检索到的符合要去的视频时间片段的数据较多，CVS设备可以将上述视频时间片段定时分段返回给API接口。
步骤S1009，API接口在接收到视频时间片段集合，并分析完成。
步骤S1010，API接口向CVS设备发出停止智能检索指令。
步骤S1011，CVS设备在接收到智能检索指令后，停止智能检索，并向API接口返回停止智能检索状态。
由上可知，由于云存储中包括有多台CVS设备，API接口可以一次性将所有的任务抛到有对应附属的所有CVS设备。各台CVS设备可以并行工作，并减少了API接口与CVS设备的网络交互，提升了整体性能。
在本发明中，每台CVS设备可以根据检索条件提取附属块信息中的智能索引表数据，其中，智能索引表数据为对智能数据建立的索引。CVS设备根据检索条件调用算法库，进行二次智能分析得到目标视频时间段信息。具体地，根据检索条件调用算法库进行智能检索，得到相对时间，根据预设规则对相对时间对应的视频片段进行合并计算，得到目标视频时间段信息。
图10显示了根据本发明实施方式的CVS设备的处理流程。
步骤S1101，API接口向CVS设备的CVS APP(APP层)发送CVS设备ID(device_id)、块ID(block_id)、开始时间(btime)、结束时间(entime)和检索式规则。
步骤S1102，CVS APP对接收到的参数进行检查判断。
步骤S1103，CVS APP在判断参数有误时，向API接口返回API错误代码。
步骤S1104，CVS APP开启线程，从CVS SDK(SDK层)获取对应数据块的智能索引表。
CVS APP可以根据API接口发送的智能信息块信息，生成智能检索的任务队列(放到内存中)：任务队列的维护不需要考虑删除块，对于未满的数据块，则需要添加到任务队列中。CVS设备在执行智能检索时，由CVS SDK返回该未满块是否属于本次检索范围。
如果属于，则CVS APP开启线程池，执行智能检索任务。其中，线程池的数量参考任务队列的长度。例如，3天查询范围附属块的范围在1.5～40块之间，鉴于机器硬件配置和磁盘的IO的影响，最多可以开启8个线程进行处理。如果任务队列的长度小于8，则线程数即为任务队列的长度。
步骤S1105，CVS SDK查询智能索引表。
步骤S1106，CVS SDK向CVS APP返回智能索引表。
CVS SDK根据智能检索任务队列中取到的任务定位到相应的智能信息块，取出块中的智能索引表。
步骤S1107，CVS APP调用智能分析模块中的算法库，得出相对时间。
CVS APP根据检索规则调用相应的算法库进行智能检索，得出相对时间。其中，相对时间可以是正值或负值。
如果CVS APP调用智能分析模块中的算法库对当前智能索引表分析失败，则继续对下一条智能索引表进行分析。
步骤S1108，CVS APP根据预设规则进行合并计算，最终生成视频时间片段。
CVS APP根据预设规则进行合并计算，包括：如果相邻的2个相对时间的差值的绝对值小于或等于预设值，则对应的视频片段可以进行合并。CVS APP将智能索引表的时间戳加上上述相对时间，生成绝对时间，并根据设置的预设规则前后推一段时间，转换为时间片段返回，插入到结果队列中，从而生成视频时间片段。
步骤S1109，CVS APP以单独线程，将视频时间片段发送给API接口。
步骤S1110,CVS APP与API接口进行交互，以向API接口返回满足检索条件的视频时间片段集合。
步骤S1111，CVS APP如果连续三次与API接口交互失败，则自动取消检索任务。
CVS APP单独设有一个线程负责上报检索的时间片段给API接口，每次发送50条，并告知任务状态。如果若间隔3s之后，当前无满足条件的分析结果且检索任务尚未完成，则仍发送结果协议以维持与API之间的连接，从而实时检测CVS设备与API接口的交互。
如果CVS APP连续三次与API接口交互失败，则自动取消检索任务。
CVS设备在整个智能检索任务结束后，告知API接口检索完成。
步骤S1112，API接口在对视频时间片段集合分析完成后，向CVS SDK发送停止智能检索指令。
步骤S1113，CVS SDK接收到智能检索指令后，停止智能检索，并向API接口返回停止智能检索状态。
本发明实施方式提供的视频云存储系统，将检索压力分散到每台视频云存储节点上，客户端可以直接找视频云存储节点检索数据，支持并发查询，使得负载得到均衡，极大程度提高了检索效率。并且，本发明采用二级索引存储方案，将块内索引保存在所在的CVS设备中，将数据块索引保存在CVM设备中，从而可以提高查询效率，能快速定位到云存储系统中的数据。此外，本发明将智能分析集成到云存储内部，用户只需要像普通检索一样，输入检索条件，云存储系统内部查询到录像之后直接调用CVS设备内置的智能分析模块进行二次智能分析，筛选出关键的视频片段信息返回给用户，在简化查询流程的同时，也充分利用了云存储的存储架构和强大的硬件资源。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (18)

1.一种基于云存储管理的智能检索的方法，应用于云存储系统，所述云存储系统包括视频云存储管理节点和多个视频云存储节点，所述视频云存储节点中设置有智能分析模块，其特征在于，所述方法包括：
接收用户对目标视频的检索条件；
根据所述检索条件确定与目标视频相关的至少一个数据块的数据块信息；
根据所述数据块信息向数据块所在的各个视频云存储节点下发智能检索任务，以使所述视频云存储节点的智能分析模块根据所述检索任务对存储的智能数据进行分析，得到目标视频时间段信息；
将所述目标视频时间段信息返回给所述用户。
2.如权利要求1所述的基于云存储管理的智能检索的方法，其中，所述目标视频的检索条件包括：编码器ID、时间段信息和检索规则。
3.如权利要求1所述的基于云存储管理的智能检索的方法，其中，所述数据块信息包括：数据块ID及数据块所在的视频云存储节点ID。
4.如权利要求2所述的基于云存储管理的智能检索的方法，其中，所述目标视频时间段信息是所述视频云存储节点根据所述数据块信息和检索条件，定位出符合所述时间段信息的数据块，再根据所述检索规则对所述数据块进行合并生成的。
5.如权利要求1所述的基于云存储管理的智能检索的方法，其特征在于，在将所述目标视频时间段信息返回给所述用户之后，还包括：
接收用户发送来的基于所述目标视频时间段信息的录像片段请求；
根据所述录像片段请求将相应的录像片段发送给用户。
6.如权利要求1所述的基于云存储管理的智能检索的方法，其特征在于，在接收用户对目标视频的检索条件之前，还包括：
接收前端设备写入的视频数据和智能数据；
将与所述视频数据和智能数据存储相关的数据块的数据块信息上报视频云存储管理节点；
其中，所述智能数据为前端设备对所述视频数据经过智能分析得到的数据。
7.如权利要求6所述的基于云存储管理的智能检索的方法，其特征在于，在接收到所述视频数据和智能数据之后，还包括如下步骤：
将所述视频数据和智能数据分别存储在不同的视频云存储节点中，彼此之间通过编码器ID进行关联。
8.如权利要求6或7所述的基于云存储管理的智能检索的方法，其特征在于，还包括：
存储所述视频数据和智能数据在所述视频云存储节点中的数据存储地址，并将所述数据存储地址上报所述视频云存储管理节点。
9.如权利要求8所述的基于云存储管理的智能检索的方法，其特征在于，所述数据存储地址包括：所述视频数据或智能数据所属数据块索引，其中，所属数据块索引为所述视频数据或智能数据所属数据块在视频云存储节点中编号。
10.一种云存储系统，其特征在于，包括视频云存储管理节点、多个视频云存储节点，所述视频云存储节点中设置有智能分析模块；
所述视频云存储管理节点，用于接收用户对目标视频的检索条件，并根据所述检索条件确定与目标视频相关的至少一个数据块的数据块信息；还用于根据所述数据块信息向数据块所在的各个视频云存储节点下发智能检索任务；
所述视频云存储节点，用于调用智能分析模块根据所述检索任务对存储的智能数据进行分析，得到目标视频时间段信息，并将所述目标视频时间段信息返回给用户。
11.如权利要求10所述的云存储系统，其中，所述目标视频的检索条件包括：编码器ID、时间段信息和检索规则。
12.如权利要求10所述的云存储系统，其中，所述数据块信息包括：数据块ID及数据块所在的视频云存储节点ID。
13.如权利要求10所述的云存储系统，其中，所述目标视频时间段信息是所述视频云存储节点根据所述数据块信息和检索条件，定位出符合所述时间段信息的数据块，再根据所述检索规则对所述数据块进行合并生成的。
14.如权利要求10所述的云存储系统，其中，所述视频云存储管理节点，还用于接收用户发送的基于所述目标视频时间段信息的录像片段请求，并根据所述录像片段请求将相应的录像片段发送给用户。
15.如权利要求10所述的云存储系统，所述视频云存储节点还包括：
存储模块，用于存储前端设备写入的视频数据和智能数据；
上报模块，用于将与所述视频数据和智能数据存储相关的数据块的数据块信息上报视频云存储管理节点；
其中，所述智能数据为前端设备对所述视频数据经过智能分析得到的数据。
16.如权利要求15所述的云存储系统，其中，所述存储模块将所述视频数据和智能数据分别存储在不同的视频云存储节点中，彼此之间通过编码器ID进行关联。
17.如权利要求15或16所述的云存储系统，
所述存储模块，还用于存储所述视频数据和智能数据在所述视频云存储节点中的数据存储地址，
所述上报模块，还用于将所述数据存储地址上报所述视频云存储管理节点。
18.如权利要求17所述的云存储系统，所述数据存储地址包括：所述视频数据或智能数据所属数据块索引，其中，所属数据块索引为所述视频数据或智能数据所属数据块在视频云存储节点中编号。
CN201510664708.1A 2015-10-14 2015-10-14 一种基于云存储管理的智能检索的方法及系统 Active CN106598973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510664708.1A CN106598973B (zh) 2015-10-14 2015-10-14 一种基于云存储管理的智能检索的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510664708.1A CN106598973B (zh) 2015-10-14 2015-10-14 一种基于云存储管理的智能检索的方法及系统

Publications (2)

Publication Number Publication Date
CN106598973A CN106598973A (zh) 2017-04-26
CN106598973B true CN106598973B (zh) 2019-07-09

Family

ID=58552229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510664708.1A Active CN106598973B (zh) 2015-10-14 2015-10-14 一种基于云存储管理的智能检索的方法及系统

Country Status (1)

Country Link
CN (1) CN106598973B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104447B (zh) * 2017-06-20 2021-07-20 杭州海康威视数字技术股份有限公司 一种车载数据读写方法及装置
CN109120885B (zh) * 2017-06-26 2021-01-05 杭州海康威视数字技术股份有限公司 视频数据获取方法及装置
CN110662027B (zh) * 2018-06-29 2021-05-28 杭州海康威视系统技术有限公司 存储完整性检测方法、装置和计算机设备
CN111597382A (zh) * 2018-07-13 2020-08-28 北京朋创天地科技有限公司 网络安全审计方法及系统
CN110442782B (zh) * 2019-06-28 2022-08-05 苏州浪潮智能科技有限公司 一种云资源检索方法与装置
CN111399756B (zh) * 2019-09-29 2024-01-02 杭州海康威视系统技术有限公司 一种数据存储方法、数据下载方法及装置
CN111050106B (zh) * 2019-12-23 2022-07-15 浙江大华技术股份有限公司 视频回放方法、设备及计算机存储介质
CN113225506B (zh) * 2020-01-21 2022-09-30 杭州海康威视数字技术股份有限公司 录像数据分析方法及装置
CN111813528B (zh) * 2020-07-17 2023-04-18 公安部第三研究所 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法
CN113407770A (zh) * 2021-06-24 2021-09-17 深圳智多豚物联技术有限公司 基于redis的云回放索引服务方法及系统
CN114189752A (zh) * 2021-11-25 2022-03-15 杭州视在数科信息技术有限公司 一种基于对象存储服务的视频存储方案

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130864B2 (en) * 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
CN103152423A (zh) * 2013-03-15 2013-06-12 安科智慧城市技术（中国）有限公司 一种云存储系统及其数据存取方法
CN104317669B (zh) * 2014-10-17 2017-03-15 南京邮电大学 一种云端异构存储系统及其数据副本管理方法
CN104462588A (zh) * 2014-12-29 2015-03-25 芜湖乐锐思信息咨询有限公司 一种基于云数据库的知识产权检索系统

Also Published As

Publication number Publication date
CN106598973A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106598973B (zh) 一种基于云存储管理的智能检索的方法及系统
US10255238B2 (en) CEP engine and method for processing CEP queries
CN106790718A (zh) 服务调用链路分析方法及系统
WO2016119528A1 (zh) 视频数据的智能处理方法及系统
CN109800129A (zh) 一种处理监控大数据的实时流计算监控系统及方法
CN104281651B (zh) 一种海量视频数据检索的方法及其系统
CN106980627A (zh) 日志内容的显示方法及装置
CN107018042A (zh) 用于在线服务系统的追踪方法及追踪系统
CN102143351B (zh) 监控录像的定位方法、图片抓拍方法，及装置和系统
CN109460339B (zh) 日志的流式计算系统
CN108369550B (zh) 实时更改来自不同源的数据
CN109062697A (zh) 一种提供空间分析服务的方法和装置
CN105354247A (zh) 一种支持存算联动的地理视频数据组织管理方法
JP4959592B2 (ja) ネットワーク映像モニタリングシステム及びモニタ装置
CN105450964B (zh) 对录像数据进行云存储的方法、系统及管理节点
CN103020236B (zh) 一种视频录像检索方法、系统及分布式数据库系统
CN101917288A (zh) 告警处理方法及网管系统
CN107635003A (zh) 系统日志的管理方法、装置及系统
CN106294345B (zh) 应用程序的日志内容的处理方法和装置
CN108228432A (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN112865311A (zh) 一种电力系统消息总线监视方法和装置
US20100191568A1 (en) Apparatus and method for managing task information of a plant
CN105871638A (zh) 一种网络安全控制方法及装置
CN112601052B (zh) 一种应用于内部共享平台的视频资源整合系统
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant