CN105828052A - 基于Storm技术的视频监控方法和监控系统 - Google Patents

基于Storm技术的视频监控方法和监控系统 Download PDF

Info

Publication number
CN105828052A
CN105828052A CN201610390793.1A CN201610390793A CN105828052A CN 105828052 A CN105828052 A CN 105828052A CN 201610390793 A CN201610390793 A CN 201610390793A CN 105828052 A CN105828052 A CN 105828052A
Authority
CN
China
Prior art keywords
video
data
video data
assembly bolt
source component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610390793.1A
Other languages
English (en)
Inventor
李铭轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201610390793.1A priority Critical patent/CN105828052A/zh
Publication of CN105828052A publication Critical patent/CN105828052A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于Storm技术的视频监控方法和监控系统，包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt，数据源组件Spout用于为视频数据配置标签以进行分布式存储，以及按照预设逻辑拓扑将视频数据分解为任务数据块，并分配至对应的处理组件Bolt；处理组件Bolt用于按照逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，并将解码后的视频内容输出至显示设备进行显示。本发明的技术方案实现了基于Storm框架的视频数据处理，可有效提升视频数据的处理速度，以满足视频监控领域中对实时性的要求；此外，该视频监控系统能支持大数据的存储和联动场景下视频数据的处理。

Description

基于Storm技术的视频监控方法和监控系统
技术领域
本发明涉及视频监控领域，特别涉及一种基于Storm技术的视频监控方法和监控系统。
背景技术
图1为现有的视频监控系统的结构示意图，如图1所示，现有的视频监控系统主要由若干个摄像头、交换机以及监控平台组成，其中，摄像头用于根据监控画面生成相应的视频数据流，交换机用于将视频数据流发送至监控平台，监控平日用于对接收到的各路视频数据流进行处理，得到相应的视频内容，并对视频内容进行存储或播放。
虽然现有的技术方案虽然解决了视频监控的数据采集和数据存储等能力，但是还是存在如下问题：
1、数据采集较为单一。部署在某一个区域的视频监控系统，采集到的数据只能针对该区域的视频数据，无法实现跨地区的数据监控能力，而现有的业务需求可能更多的是面向大范围、跨区域的视频监控系统。
2、数据分析和处理能力比较薄弱。现有的视频监控系统主要面向对应区域内视频数据流的处理，该监控平台的平台接入或者平台分析能力主要面向某一个特定区域的业务需求，在数据处理能力方面还没有做到跨地区的数据处理能力，而随着目前的业务需求的不断发展，现有的监控平台的数据分析和处理能力无法满足需求。
3、数据分析和处理联动能力比较薄弱。现有的视频监控系统在数据处理和分析方面主要面向单一区域的视频数据流的处理，视频分析和处理的联动机制缺乏，联动场景下的视频分析能力无法满足要求，这就造成了需要通过人工的方式或者后期数据处理的方式来实现对前期数据的整合和数据分析，效率比较低下。
发明内容
本发明提供一种基于Storm技术的视频监控方法和监控系统，旨在至少解决现有技术中存在的技术问题之一。
为实现上述目的，本发明提供了一种基于Storm技术的视频监控方法，包括：
数据源组件Spout为接收到的视频数据配置标签，并根据预设分布式存储规则获取到所述视频数据对应的存储节点的地址信息，且将所述频数据发送至对应的存储节点进行存储，所述标签与所述地址信息的对应关系记录于对应关系表中；
所述数据源组件Spout按照预设逻辑拓扑将所述视频数据分解为若干个任务数据块，并将各所述任务数据块发送至对应的处理组件Bolt；
各所述处理组件Bolt按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对所述视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
可选地，所述处理组件Bolt按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理的步骤之前，还包括：
所述处理组件Bolt将接收到的任务数据块备份至对应的缓存备份节点；
所述处理组件Bolt按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理的步骤的同时，还包括：
所述处理组件Bolt判断所述任务数据块在处理过程中是否处理失败；
若判断结果为是，则所述处理组件Bolt从对应的所述缓存备份节点中读取所述任务数据块，并重新进行处理。
可选地，还包括：
预处理模块从视频传感模块所生成的视频数据流中截取出视频数据，并对所述视频数据进行预处理，再将经过预处理后的所述视频数据发送至对应的所述数据源组件Spout。
为实现上述目的，本发明还提供了一种基于Storm技术的视频监控方法，包括：
数据源组件Spout接收数据控制模块发送的视频调度指令，并根据所述视频调度指令中包含的待调度视频数据的标签，从对应关系表查询出与所述标签对应的地址信息，且根据查询出的所述地址信息向对应的所述存储节点请求相应的待调度视频数据；
所述存储节点将所述待调度视频数据发送给数据源组件Spout；
数据源组件Spout将接收到的所述待调度视频数据发送至处于空闲状态的处理组件Bolt上。
可选地，还包括：
处理组件Bolt根据所述数据控制模块发送的控制指令对所述待调度视频数据执行相应的处理。
为实现上述目的，本发明还提供了一种基于Storm技术的视频监控系统，包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，所述拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt；
所述数据源组件Spout用于为接收到的视频数据配置标签，并根据预设分布式存储规则获取到所述视频数据对应的存储节点的地址信息，且将所述频数据发送至对应的存储节点进行存储，所述标签与所述地址信息的对应关系记录于对应关系表中，同时，所述数据源组件Spout还按照预设逻辑拓扑将所述视频数据分解为若干个任务数据块，并将各所述任务数据块发送至对应的处理组件Bolt；
所述处理组件Bolt用于按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对所述视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
可选地，所述拓扑运行模块还包括：
缓存备份节点，用于将所述处理组件Bolt接收到的所述任务数据块进行备份，以及在所述处理组件Bolt判断出所述任务数据块在处理过程中处理失败时，将备份的所述任务数据块发送给所述处理组件Bolt，以供所述处理组件Bolt重新进行处理。
可选地，还包括：
预处理模块，用于从视频传感模块所生成的视频数据流中截取出视频数据，并对所述视频数据进行预处理，再将经过预处理后的所述视频数据发送至对应的所述数据源组件Spout。
为实现上述目的，本发明还提供了一种基于Storm技术的视频监控系统，包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，所述拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt；
所述数据源组件Spout用于接收数据控制模块发送的视频调度指令，并根据所述视频调度指令中包含的待调度视频数据的标签，从对应关系表查询出与所述标签对应的地址信息，且根据查询出的所述地址信息向对应的所述存储节点请求相应的待调度视频数据；
所述存储节点用于将所述待调度视频数据发送给数据源组件Spout；
所述数据源组件Spout还用于将接收到的所述待调度视频数据发送至处于空闲状态的处理组件Bolt上。
可选地，所述处理组件Bolt用于根据所述数据控制模块发送的控制指令对所述待调度视频数据执行相应的处理。
本发明具有以下有益效果：
本发明提供了一种基于Storm技术的视频监控方法和监控系统，该视频监控系统包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt，数据源组件Spout用于为接收到的视频数据配置标签，并根据预设分布式存储规则获取到视频数据对应的存储节点的地址信息，且将频数据发送至对应的存储节点进行存储，标签与地址信息的对应关系记录于对应关系表中，同时，数据源组件Spout还按照预设逻辑拓扑将视频数据分解为若干个任务数据块，并将各任务数据块发送至对应的处理组件Bolt；处理组件Bolt用于按照逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。本发明的技术方案实现基于Storm框架的视频数据处理，可有效提升视频数据的处理速度，以满足视频监控领域中对实时性的要求；与此同时，分布式存储可有效提升系统的数据存储能力；更重要的是，该视频监控系统能够实现对联动场景的视频数据的处理。
附图说明
图1为现有的视频监控系统的结构示意图；
图2为本发明实施例一提供的一种基于Storm技术的视频监控方法的流程图；
图3为本发明实施例二提供的一种基于Storm技术的视频监控方法的流程图；
图4为本发明实施例三提供的一种基于Storm技术的视频监控方法的流程图；
图5为本发明实施例四提供的一种基于Storm技术的视频监控系统的结构示意图；
图6为本发明实施例五提供的一种基于Storm技术的视频监控系统的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的一种基于Storm技术的视频监控方法和监控系统进行详细描述。
需要说明的是，本发明提供的视频监控方法基于相应的视频监控系统，该视频监控系统包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，每个拓扑运行模块对应一个视频传感模块(例如：摄像头)，其中视频传感模块用于根据监控画面生成一路视频数据流。拓扑运行模块用于运行对应的逻辑拓扑(Topology)，其中逻辑拓扑为Storm集群中运行的一个实时应用程序。拓扑运行模块包括：至少一个数据源组件Spout和若干个处理组件Bolt，拓扑运行模块中的每个节点都是拓扑中一个子集的实现，拓扑可以表征各节点间的消息流(Stream)的传递形成的逻辑上的一个拓扑结构。
实施例一
图2为本发明实施例一提供的一种基于Storm技术的视频监控方法的流程图，如图2所示，该视频监控方法用于实现对视频数据的处理和存储，该视频监控方法包括：
步骤101：数据源组件Spout为接收到的视频数据配置标签，并根据预设分布式存储规则获取到视频数据对应的存储节点的地址信息，且将视频数据发送至对应的存储节点进行存储，标签与地址信息的对应关系记录于对应关系表中。
在本实施例中，一个数据源组件Spout对应多个存储节点，用户可预先设置相应的存储规则，用以将不同时间段的视频数据进行分布式存储。通过分布式存储的方式存储视频数据，可有效提升视频监控系统的最大可存储量，以满足大数据存储的需求。
此外，本实施例中对预设分布式存储规则的具体算法不作限定，本领域技术人员应该知晓的是，但凡能够实现将各视频数据进行分布式存储的算法，均匀属于本发明所保护的范围。
此外，用户在设计标签时，可以采用视频传感模块所监控区域的位置信息和对应的时间来作为标签，例如,位于小区A东门的视频传感模块在上午9时15分20秒所采集的视频数据，则对应的标签可记为“小区A东门+09：15：20”，通过利用位置信息和时间来作为标签，可方便用户后期进行调度和查询。当然，用户还可以根据其他属性来设置相应的标签，具体情况此处不再一一举例。
步骤102：数据源组件Spout还按照预设逻辑拓扑将视频数据分解为若干个任务数据块，并将各任务数据块发送至对应的处理组件Bolt。
用户可根据Storm集群的系统架构和处理机制来预先配置相应的逻辑拓扑，或者Storm集群根据自身处理能力自适应决定逻辑拓扑。其中，该逻辑拓扑可以为单层结构、两层结构或多层结构，该逻辑拓扑的具体结构在本发明中不作限制。
在步骤102中，数据源组件Spout按照预设逻辑拓扑将视频数据流分解为若干个任务数据块，并将各任务数据块Task分配至相应的处理组件Bolt，以为后续的分布式处理作准备。
步骤103：各处理组件Bolt按照逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
在步骤103中，位于拓扑运行模块中的各处理组件Bolt按照逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，共同实现对视频数据的解码，并由某一个处理组件Bolt将解码后得到的视频内容输出至显示设备进行显示。此时，用户可根据显示设备中显示的视频内容进行实时监控。
本实施例中，基于Storm框架的视频数据处理，可有效提升视频数据的处理速度，以满足视频监控领域中对实时性的要求。
需要说明的是，本实施例中的步骤101与步骤102和步骤103是同步进行的，即本实施例中视频数据的存储和处理是同步进行的。
实施例二
在处理组件Bolt的实际处理过程中，可能会因为数据损坏、数据丢失等因素而出现处理失败，本发明实施例二提供了一种基于Storm技术的视频监控方法。
图3为本发明实施例二提供的一种基于Storm技术的视频监控方法的流程图，如图3所示，该视频监控方法基于相应的视频监控系统，该视频监控系统除了包括Storm集群和存储节点外，还包括预处理模块；此外，在Storm集群中还设置有缓存备份节点。该视频监控方法用于实现对视频数据的处理和存储，该视频监控方法包括：
步骤100：预处理模块从视频传感模块所生成的视频数据流中截取出视频数据，并对视频数据进行预处理，再将经过预处理后的视频数据发送至对应的数据源组件Spout。
在步骤100，预处理模块每隔预设时长(或预设帧)截取一个视频数据，并对该视频数据进行预处理。其中，预处理是指对所截取到的原始视频流进行编码处理，以便于后续处理的进行。
步骤101：数据源组件Spout为接收到的视频数据配置标签，并根据预设分布式存储规则获取到视频数据对应的存储节点的地址信息，且将视频数据发送至对应的存储节点进行存储，标签与地址信息的对应关系记录于对应关系表中。
步骤102：数据源组件Spout还按照预设逻辑拓扑将视频数据分解为若干个任务数据块，并将各任务数据块发送至对应的处理组件Bolt。
需要说明的是，对于本实施例中步骤101和步骤102的描述，可参见上述实施例以中的相应内容，此处不再赘述。
步骤102a：处理组件Bolt将接收到的任务数据块备份至对应的缓存备份节点。
步骤103a：各处理组件Bolt按照逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理。
步骤103b：处理组件Bolt判断任务数据块在处理过程中是否处理失败。
在处理组件Bolt的实际处理过程中，可能会因为数据损坏、数据丢失等因素而出现处理失败
若判断结果为是，则执行步骤103c；若判断结果为否，则执行步骤103d。
步骤103c：处理组件Bolt从对应的缓存备份节点中读取任务数据块。
在本实施例中，步骤103执行完后，再次执行步骤103a。
步骤103d：各处理组件Bolt共同完成对视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
在本实施例中，通过设置缓存备份节点以对处理组件Bolt接收到的任务数据块进行备份，可在处理组件Bolt中因出现数据损坏或数据丢失时，有效避免数据无法恢复或处理中断等情况的出现，从而保证了系统的安全稳定运行。
实施例三
图4为本发明实施例三提供的一种基于Storm技术的视频监控方法，如图4所示，该视频监控方法基于相应的视频监控系统，用于实现从视频监控系统中调度出用户所需要的视频数据。
该视频监控方法包括：
步骤201：数据源组件Spout接收数据控制模块发送的视频调度指令，并根据视频调度指令中包含的待调度视频数据的标签，从对应关系表查询出与标签对应的地址信息，且根据查询出的地址信息向对应的存储节点请求相应的待调度视频数据。
在步骤201中，用户可通过数据控制模块来向各拓扑运行模块中的数据源组件Spout发送相应的视频调度指令。其中，该视频调度指令至少包含了待调度视频数据的标签。数据源组件Spout通过视频调度指令中的标签以查询出存储有待调度视频数据的存储节点的地址信息，并向对应的存储节点请求待调度视频数据。
步骤202：存储节点将待调度视频数据发送给数据源组件Spout。
步骤203：数据源组件Spout将接收到的待调度视频数据发送至处于空闲状态的处理组件Bolt上。
数据源组件Spout监控各处理组件Bolt的工作状态，并将待调度视频数据发送至处于空闲状态的处理组件Bolt上。
需要说明的是，在本实施例中，用户可通过数据控制模块来对连续对不同拓扑运行模块发送视频调度指令，从而使得来自不同视频传感模块的视频数据同时被调度，以为联动场景下的视频数据分析提供了基础。
本实施例中，可选地，在步骤203之后还包括：
步骤204：处理组件Bolt根据数据控制模块发送的控制指令对待调度视频数据进行相应的处理。
在待处理数据被调度至处理组件Bolt之后，用户可通过数据控制模块向处理组件Bolt发送控制指令，以控制处理组件Bolt对待调度视频数据进行相应的分析和处理操作。
需要说明的是，当用户向多个不同拓扑运行模块中的处理组件Bolt发送控制指令时，可实现对联动场景下的视频数据分析和处理。
本发明实施例三提供了一种基于Storm技术的视频监控方法，可实现对联动场景下的视频数据的调度和处理。
实施例四
图5为本发明实施例四提供的一种基于Storm技术的视频监控系统的结构示意图，如图5所示，该视频监控系统用于实现上述实施例一和实施例二提供的视频监控方法，该视频监控系统包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt。需要说明的是，图中仅示例性的画出了三个处理组件Bolt，其不对本发明的技术方案产生限制。
数据源组件Spout用于为接收到的视频数据配置标签，并根据预设分布式存储规则获取到视频数据对应的存储节点的地址信息，且将频数据发送至对应的存储节点进行存储，标签与地址信息的对应关系记录于对应关系表中。
同时，数据源组件Spout还按照预设逻辑拓扑将视频数据分解为若干个任务数据块，并将各任务数据块发送至对应的处理组件Bolt。
处理组件Bolt用于按照逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
本实施例提供的视频监控系统可实现视频数据的存储与视频数据的处理同时进行。
可选地，拓扑运行模块还包括：缓存备份节点，缓存备份节点用于将处理组件Bolt接收到的任务数据块进行备份，以及在处理组件Bolt判断出任务数据块在处理过程中处理失败时，将备份的任务数据块发送给处理组件Bolt，以供处理组件Bolt重新进行处理。本实施例中，通过设置缓存备份节点可保证视频监控系统的安全稳定运行。
可选地，该视频监控系统还包括：预处理模块，预处理模块用于从视频传感模块所生成的视频数据流中截取出视频数据，并对视频数据进行预处理，再将经过预处理后的视频数据发送至对应的数据源组件Spout。
需要说明的是，对于本实施例中数据源组件Spout、处理组件Bolt、缓存备份节点和预处理模块的描述，可参见上述实施例一和实施例二中的内容，此处不再赘述。
此外，当本实施例中的拓扑运行模块为多个时，本实施例提供的视频监控系统可同时实现对多个区域的视频数据的存储和分析，以满足现有的业务处理需求。
实施例五
图6为本发明实施例五提供的一种基于Storm技术的视频监控系统的结构示意图，如图6所示，该视频监控系统用于实现上述实施例三提供的视频监控方法，该视频监控系统包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt。
其中，数据源组件Spout用于接收数据控制模块发送的视频调度指令，并根据视频调度指令中包含的待调度视频数据的标签，从对应关系表查询出与标签对应的地址信息，且根据查询出的地址信息向对应的存储节点请求相应的待调度视频数据；
存储节点用于将待调度视频数据发送给数据源组件Spout；
数据源组件Spout还用于将接收到的待调度视频数据发送至处于空闲状态的处理组件Bolt上。
本实施例提供的视频监控系统可实现对视频数据的调度。与此同时，将视频数据调度至空闲状态的处理组件Bolt上，可以有效提升拓扑运行模块中各处理组件Bolt的处理任务量的均一性，从而能提升拓扑运行模块的整体性能。
可选地，处理组件Bolt用于根据数据控制模块发送的控制指令对待调度视频数据执行相应的处理，并就处理结果反馈给数据控制模块。
需要说明的是，对于本实施例中数据源组件Spout、处理组件Bolt和数据控制模块的描述，可参见上述实施例三中的内容，此处不再赘述
在本实施例中，当本实施例中的拓扑运行模块为多个时，该视频监控系统可实现对联动场景下的视频数据的调度和分析。
本领域技术人员应该知晓的是，本发明中也可将实施例四和实施例五所提供的视频监控系统进行整合，以使得整合后的视频监控系统具备对视频数据的实时存储、实时处理、后期调度和后期处理的功能。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于Storm技术的视频监控方法，其特征在于，包括：
数据源组件Spout为接收到的视频数据配置标签，并根据预设分布式存储规则获取到所述视频数据对应的存储节点的地址信息，且将所述频数据发送至对应的存储节点进行存储，所述标签与所述地址信息的对应关系记录于对应关系表中；
所述数据源组件Spout按照预设逻辑拓扑将所述视频数据分解为若干个任务数据块，并将各所述任务数据块发送至对应的处理组件Bolt；
各所述处理组件Bolt按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对所述视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
2.根据权利要求1所述的基于Storm技术的视频监控方法，其特征在于，所述处理组件Bolt按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理的步骤之前，还包括：
所述处理组件Bolt将接收到的任务数据块备份至对应的缓存备份节点；
所述处理组件Bolt按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理的步骤的同时，还包括：
所述处理组件Bolt判断所述任务数据块在处理过程中是否处理失败；
若判断结果为是，则所述处理组件Bolt从对应的所述缓存备份节点中读取所述任务数据块，并重新进行处理。
3.根据权利要求1所述的基于Storm技术的视频监控方法，其特征在于，还包括：
预处理模块从视频传感模块所生成的视频数据流中截取出视频数据，并对所述视频数据进行预处理，再将经过预处理后的所述视频数据发送至对应的所述数据源组件Spout。
4.一种基于Storm技术的视频监控方法，其特征在于，包括：
数据源组件Spout接收数据控制模块发送的视频调度指令，并根据所述视频调度指令中包含的待调度视频数据的标签，从对应关系表查询出与所述标签对应的地址信息，且根据查询出的所述地址信息向对应的所述存储节点请求相应的待调度视频数据；
所述存储节点将所述待调度视频数据发送给数据源组件Spout；
数据源组件Spout将接收到的所述待调度视频数据发送至处于空闲状态的处理组件Bolt上。
5.根据权利要求4所述的基于Storm技术的视频监控方法，其特征在于，还包括：
处理组件Bolt根据所述数据控制模块发送的控制指令对所述待调度视频数据执行相应的处理。
6.一种基于Storm技术的视频监控系统，其特征在于，包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，所述拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt；
所述数据源组件Spout用于为接收到的视频数据配置标签，并根据预设分布式存储规则获取到所述视频数据对应的存储节点的地址信息，且将所述频数据发送至对应的存储节点进行存储，所述标签与所述地址信息的对应关系记录于对应关系表中，同时，所述数据源组件Spout还按照预设逻辑拓扑将所述视频数据分解为若干个任务数据块，并将各所述任务数据块发送至对应的处理组件Bolt；
所述处理组件Bolt用于按照所述逻辑拓扑中所包含的处理规则对接收到的任务数据块进行相应处理，以实现对所述视频数据的解码，并将解码后的视频内容输出至显示设备进行显示。
7.根据权利要求6所述的基于Storm技术的视频监控系统，其特征在于，所述拓扑运行模块还包括：
缓存备份节点，用于将所述处理组件Bolt接收到的所述任务数据块进行备份，以及在所述处理组件Bolt判断出所述任务数据块在处理过程中处理失败时，将备份的所述任务数据块发送给所述处理组件Bolt，以供所述处理组件Bolt重新进行处理。
8.根据权利要求6所述的基于Storm技术的视频监控系统，其特征在于，还包括：
预处理模块，用于从视频传感模块所生成的视频数据流中截取出视频数据，并对所述视频数据进行预处理，再将经过预处理后的所述视频数据发送至对应的所述数据源组件Spout。
9.一种基于Storm技术的视频监控系统，其特征在于，包括：Storm集群和存储节点，Storm集群包括至少一个拓扑运行模块，所述拓扑运行模块包括：数据源组件Spout和若干个处理组件Bolt；
所述数据源组件Spout用于接收数据控制模块发送的视频调度指令，并根据所述视频调度指令中包含的待调度视频数据的标签，从对应关系表查询出与所述标签对应的地址信息，且根据查询出的所述地址信息向对应的所述存储节点请求相应的待调度视频数据；
所述存储节点用于将所述待调度视频数据发送给数据源组件Spout；
所述数据源组件Spout还用于将接收到的所述待调度视频数据发送至处于空闲状态的处理组件Bolt上。
10.根据权利要求9所述的基于Storm技术的视频监控系统，其特征在于，所述处理组件Bolt用于根据所述数据控制模块发送的控制指令对所述待调度视频数据执行相应的处理。
CN201610390793.1A 2016-06-02 2016-06-02 基于Storm技术的视频监控方法和监控系统 Pending CN105828052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610390793.1A CN105828052A (zh) 2016-06-02 2016-06-02 基于Storm技术的视频监控方法和监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610390793.1A CN105828052A (zh) 2016-06-02 2016-06-02 基于Storm技术的视频监控方法和监控系统

Publications (1)

Publication Number Publication Date
CN105828052A true CN105828052A (zh) 2016-08-03

Family

ID=56531979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610390793.1A Pending CN105828052A (zh) 2016-06-02 2016-06-02 基于Storm技术的视频监控方法和监控系统

Country Status (1)

Country Link
CN (1) CN105828052A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504242A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 目标检测方法及系统
CN106878671A (zh) * 2016-12-29 2017-06-20 中国农业大学 一种养殖场多目标视频分析方法及其系统
CN110234038A (zh) * 2019-05-13 2019-09-13 特斯联（北京）科技有限公司 一种基于分布式存储的用户管理方法
CN110430397A (zh) * 2019-07-31 2019-11-08 广州竞德信息技术有限公司 基于多模态的行为识别方法
CN111444017A (zh) * 2020-03-27 2020-07-24 北京金山云网络技术有限公司 多媒体数据处理方法、装置、系统、电子设备及存储介质
CN109254833B (zh) * 2017-07-12 2020-10-09 杭州海康威视数字技术股份有限公司 图片分析方法、装置及系统、计算机设备
CN112532938A (zh) * 2020-11-26 2021-03-19 武汉宏数信息技术有限责任公司 一种基于大数据技术的视频监控系统
CN113271439A (zh) * 2021-05-13 2021-08-17 重庆交通职业学院 一种施工场地安全监控配置处理方法和系统
CN115373361A (zh) * 2022-10-24 2022-11-22 江苏智云天工科技有限公司 基于工业互联网下工厂生产安全预警方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN102419832A (zh) * 2010-09-28 2012-04-18 上海可鲁系统软件有限公司 一种分布式环境下资源定位方法及其系统
CN102638456A (zh) * 2012-03-19 2012-08-15 杭州海康威视系统技术有限公司 基于云计算的海量实时视频码流智能分析方法及其系统
CN103200111A (zh) * 2013-03-29 2013-07-10 华为技术有限公司 一种信元交换方法及装置
CN103577440A (zh) * 2012-07-27 2014-02-12 阿里巴巴集团控股有限公司 一种非关系型数据库中的数据处理方法和装置
CN104615777A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种基于流式计算引擎的实时数据处理方法及装置
CN105357061A (zh) * 2015-12-11 2016-02-24 普华基础软件股份有限公司 一种基于大数据流处理技术的运维监控分析系统
CN105630994A (zh) * 2015-12-25 2016-06-01 浪潮电子信息产业股份有限公司 一种基于storm的数据处理方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN102419832A (zh) * 2010-09-28 2012-04-18 上海可鲁系统软件有限公司 一种分布式环境下资源定位方法及其系统
CN102638456A (zh) * 2012-03-19 2012-08-15 杭州海康威视系统技术有限公司 基于云计算的海量实时视频码流智能分析方法及其系统
CN103577440A (zh) * 2012-07-27 2014-02-12 阿里巴巴集团控股有限公司 一种非关系型数据库中的数据处理方法和装置
CN103200111A (zh) * 2013-03-29 2013-07-10 华为技术有限公司 一种信元交换方法及装置
CN104615777A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种基于流式计算引擎的实时数据处理方法及装置
CN105357061A (zh) * 2015-12-11 2016-02-24 普华基础软件股份有限公司 一种基于大数据流处理技术的运维监控分析系统
CN105630994A (zh) * 2015-12-25 2016-06-01 浪潮电子信息产业股份有限公司 一种基于storm的数据处理方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王守涛: "一种基于多维时间序列分析的音乐推荐系统研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504242A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 目标检测方法及系统
CN106878671A (zh) * 2016-12-29 2017-06-20 中国农业大学 一种养殖场多目标视频分析方法及其系统
CN106878671B (zh) * 2016-12-29 2019-07-26 中国农业大学 一种养殖场多目标视频分析方法及其系统
CN109254833B (zh) * 2017-07-12 2020-10-09 杭州海康威视数字技术股份有限公司 图片分析方法、装置及系统、计算机设备
CN110234038A (zh) * 2019-05-13 2019-09-13 特斯联（北京）科技有限公司 一种基于分布式存储的用户管理方法
CN110430397A (zh) * 2019-07-31 2019-11-08 广州竞德信息技术有限公司 基于多模态的行为识别方法
CN111444017A (zh) * 2020-03-27 2020-07-24 北京金山云网络技术有限公司 多媒体数据处理方法、装置、系统、电子设备及存储介质
CN112532938A (zh) * 2020-11-26 2021-03-19 武汉宏数信息技术有限责任公司 一种基于大数据技术的视频监控系统
CN113271439A (zh) * 2021-05-13 2021-08-17 重庆交通职业学院 一种施工场地安全监控配置处理方法和系统
CN113271439B (zh) * 2021-05-13 2022-07-15 重庆交通职业学院 一种施工场地安全监控配置处理方法和系统
CN115373361A (zh) * 2022-10-24 2022-11-22 江苏智云天工科技有限公司 基于工业互联网下工厂生产安全预警方法及系统

Similar Documents

Publication Publication Date Title
CN105828052A (zh) 基于Storm技术的视频监控方法和监控系统
CN110769278B (zh) 一种分布式视频转码方法及系统
Zhang et al. Firework: Data processing and sharing for hybrid cloud-edge analytics
CN111800281B (zh) 网络系统、管控方法、设备及存储介质
CN112637318B (zh) 一种面向存储完整性的智能网关系统、装置及其控制方法
CN114500521A (zh) 一种算力调度方法、装置、调度设备、系统和存储介质
CN107451147A (zh) 一种kafka集群动态切换的方法和装置
US11954535B2 (en) Systems, devices, and methods for execution of tasks in an internet-of-things (IOT) environment
CN104158707A (zh) 一种检测并处理集群脑裂的方法和装置
CN113381892B (zh) 网络切片分配方法、装置、电子设备及存储介质
CN113312161A (zh) 一种应用调度方法、平台及存储介质
CN110430398A (zh) 一种基于强化学习的视频编码分布式方法
CN111526049A (zh) 运维系统、运维方法、电子设备和存储介质
CN114598665A (zh) 资源调度方法、装置和计算机可读存储介质及电子设备
CN105824297A (zh) 基于can总线的多组箭体集装箱环境监测方法和系统
CN111614702B (zh) 一种边缘计算方法以及边缘计算系统
CN111162938A (zh) 数据处理系统及方法
CN112543354B (zh) 业务感知的分布式视频集群高效伸缩方法和系统
CN110688504B (zh) 图像数据管理方法、装置、系统、设备及介质
CN110990165B (zh) 多路并发传输系统中多用户同时工作的方法及传输服务器
CN112187542A (zh) 数据通信的集群方法及系统
CN112693502A (zh) 基于大数据架构的城市轨道交通监察系统及方法
CN117056073B (zh) 一种工业视觉分析下的计算资源优化配置方法及装置
CN111858260A (zh) 信息显示方法、装置、设备及介质
CN117349249A (zh) 一种数字道路数据处理系统、方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160803