CN110944025A - 一种多协议视频数据采集系统及其实现方法 - Google Patents

一种多协议视频数据采集系统及其实现方法 Download PDF

Info

Publication number
CN110944025A
CN110944025A CN202010047809.5A CN202010047809A CN110944025A CN 110944025 A CN110944025 A CN 110944025A CN 202010047809 A CN202010047809 A CN 202010047809A CN 110944025 A CN110944025 A CN 110944025A
Authority
CN
China
Prior art keywords
data
access
protocol
acquisition
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010047809.5A
Other languages
English (en)
Other versions
CN110944025B (zh
Inventor
司天强
邓雄
苟林
杨垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tianyi Network Co ltd
Original Assignee
SICHUAN SURFING NETWORK SERVICE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SICHUAN SURFING NETWORK SERVICE Co Ltd filed Critical SICHUAN SURFING NETWORK SERVICE Co Ltd
Priority to CN202010047809.5A priority Critical patent/CN110944025B/zh
Publication of CN110944025A publication Critical patent/CN110944025A/zh
Application granted granted Critical
Publication of CN110944025B publication Critical patent/CN110944025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/26—Special purpose or proprietary protocols or architectures

Abstract

本发明提出了一种多协议视频数据采集系统及其实现方法，所述系统的数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，数据采集集群包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块；解决了视频结构化数据的接入问题，可根据目标接收设备灵活的配置采集源，极大的提高了对标准设备的接入能力；克服了大量视频结构化数据回传压力大、调度难、接入开发量巨大的难题；具有高吞吐量、插件式适配数据源和接收源、动态增加采集能力的优势，兼容采集设备固件，使得数据提供方不在担心批量升级固件带来的风险。

Description

一种多协议视频数据采集系统及其实现方法
技术领域
本发明涉及数据采集技术领域，尤其涉及一种多协议视频数据采集系统及其实现方法。
背景技术
视频结构化的数据采集，目前通用的是公安部的标准，或是各厂家私有的采集方式，虽然公安部的采集标准有一定的通用性，但在采集标准中让采集服务承担了一些数据接入的角色，对于平台级的数据采集，设备部署所需花费十分巨大，虽然能做到采集设备的标准统一，但是平台的管理成本和部署成本无疑形成了巨大的浪费，且采集服务的职责划分不太清晰，服务提供者和数据接入厂家在标准的接入上面仍需要花费大量的开发精力；而私有协议因为不通用问题或业务影响力不够导致数据协议推广十分困难。
发明内容
本发明的目的在于，针对上述问题，提出一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。
进一步的，所述数据采集集群接收并转化的多协议设备采集数据为结构化数据，所述结构化数据包括图片数据和结构化描述数据。
进一步的，所述接入模块和协转处理模块采用插件编程方式兼容多协议设备的固件或算法系统，并内置统一的数据标准。
进一步的，所述系统还包括用于存储标准数据和属性数据的消息队列缓存。
一种多协议视频数据采集实现方法，包括以下步骤：
每类负载均衡设备负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块；
接入模块对接入数据进行处理并分发至对应的数据通道；
数据通道使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块；
协转处理模块处理接收数据，对数据进行标准转换、级联操作。
进一步的，所述接入模块根据自身监听的端口决定接入设备类型，通过HTTP、RPC、TCP接入方式完成数据接入处理。
进一步的，所述接入模块通过SDK前置机将数据解析成单帧数据后通过RPC方式进行特殊接入方式的数据接入处理。
进一步的，所述数据通道采用内存型或文件型通道。
进一步的，所述协转处理模块通过以下模块执行数据标准转换和级联操作：
源协议解析单元：按照对应设备的数据格式进行解析；
转换单元：以值对象到值对象的转换方式转换解析数据为标准协议格式或内部协议格式数据；
发送单元：将转换后的标准数据和属性数据发送至消息队列缓存或外部接收方，并进行级联操作；
所述外部接收方包括第三方系统；
所述属性数据为转换单元转换过程中的非必要数据，采用Map数据格式进行存储。
进一步的，在进行内部数据交换时，采用内存、文件、消息队列三种方式进行。
本发明的有益效果：解决了视频结构化海量数据的接入问题，可根据目标接收设备灵活的配置采集源，内置支撑公安视频图像库标准1400协议，极大的提高了对标准设备的接入能力；采用负载均衡和接入多线程的形式极大的提高了接入平台级前端设备时，产生海量数据的吞吐能力，克服了大量视频结构化数据回传压力大、调度难、接入开发量巨大的难题。
具有高吞吐量、插件式适配数据源和接收源、动态增加采集能力的优势，可结合云计算打造可动态伸缩的视频结构化数据采集服务，可在长期作为数据入口时，保证该入口的稳定性；负载均衡采用软负载方式，同时兼容采集设备固件，这使得数据提供方不在担心批量升级固件带来的风险。
附图说明
图1是本发明系统结构图；
图2是本发明协转处理流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
如图1所示的一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，所述数据采集集群包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。
所述多类负载均衡设备中，每类负载均衡设备均负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块，在本实施例中，负载均衡采用软负载方式实现，负载均衡后面部署不同协议的采集设备，即数据采集集群。
数据采集集群的主要功能是接收结构化数据，这些数据一般包含图片数据和结构化描述数据；当接入前端大量接入时，在集群前方部署多类负载均衡设备，可提高整个集群的数据吞吐量和稳定性；采集集群后方使用消息队列技术，对海量的数据进行消息队列缓存，进一步的保证集群的响应和吞吐量，消息队列缓存中保存转换后的标准数据和转换过程中产生的非必要的属性数据。
所述接入模块与协转模块，均使用插件编程方式，同时内置了对公安1400数据协议标准。
一种多协议视频数据采集实现方法，由负载均衡设备接入设备数据，并由特定类型的负载均衡设备分发到的指定端口的接入模块，接入模块根据自身监听的端口来决定接入厂家的类型；在进行内部数据交换时，考虑到接入数据的规模，一般会采用内存、文件、消息队列三种方式进行选择，数据通道有拦截模式，可根据正则表达式将数据分发到不同到协处理单元；协处理单元的功能是处理和发送数据，在接收到数据后，对数据进行转换操作，根据外部不同的接收方使用插件模式进行开发或配置，并实现数据的转换和发送。
所述接入模块接入第三方系统上传的结构化数据，实现方式可为http、rpc、tcp等方式，最大限度的适配第三方系统的原有数据格式，对于第三方是固件的方式，将使用原有老系统不升级固件的情况下完成数据接入。
接入过程因为各设备提供的方式多种多样，所以本系统中以插件编程的方式来兼容对方固件或算法系统，插件约定形成以开源的框架实现；所述接入模块的特点是兼容性和灵活性较强，从平台的角度来实现多个算法的接入实现，一般的接入可以为HTTP、RPC和TCP方式，针对于入口的处理可以根据服务器的配置，增加多线程数据分发处理机制，保证数据的吞吐；对于特殊的接入方式如SDK，可以使用SDK前置机的方式，由前置机通过SDK接入固件数据，再由前置机将数据解析成单帧数据后通过RPC方式进行接入上传。
所述数据通道起着承上启下的作用，是数据的中间桥梁，根据数据量的不同，可使用内存型或文件型通道，在通道上可使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块。
协转处理模块主要功能是处理接收数据，对数据进行转换、级联操作，协处理单元的协议转换是按照对应厂家设备的数据格式，进行解析后，转换成标准协议格式内容或内部协议格式，该转换是以值对象到值对象的转换方式进行的，对于多出来的属性数据，内部采用Map的数据格式进行存储，防止数据丢失。
如图2所示的协转处理模块包括源协议解析单元、转换单元以及发送单元；
源协议解析单元：接收数据通道发送过来的原始数据并按照对应设备的数据格式进行解析，生成待处理数据；
转换单元：接收待处理数据并以值对象到值对象的转换方式转换解析数据为标准协议格式或内部协议格式数据，即转换后数据（标准数据）；
发送单元：将转换后的标准数据和属性数据发送至消息队列缓存或外部接收方，并进行级联操作；所述外部接收方包括第三方系统。
本方案通过设计数据接入、数据通道、协转处理三大模块，利用插件编程方式对接入数据进行适配，并通过使用正则表达式或拦截器对数据进行分捡处理的数据通道，实现不同数据类型在不同协转处理模块的数据标准转换和级联操作；其具有高吞吐量、插件式适配数据源和接收源、动态增加采集能力的优势，可结合云计算打造可动态伸缩的视频结构化数据采集服务，同时兼容采集设备固件，这使得数据提供方不必担心批量升级固件带来的风险。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。

Claims (10)

1.一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，其特征在于，包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备均对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。
2.根据权利要求1所述的一种多协议视频数据采集系统，其特征在于，所述数据采集集群接收并转化的多协议设备采集数据为结构化数据，所述结构化数据包括图片数据和结构化描述数据。
3.根据权利要求1所述的一种多协议视频数据采集系统，其特征在于，所述接入模块和协转处理模块采用插件编程方式兼容多协议设备的固件或算法系统，并内置统一的数据标准。
4.根据权利要求1所述的一种多协议视频数据采集系统，其特征在于，所述系统还包括用于存储标准数据和属性数据的消息队列缓存。
5.如权利要求1-4任意一项所述的一种多协议视频数据采集系统的实现方法，其特征在于，包括以下步骤：
每类负载均衡设备负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块；
接入模块对接入数据进行处理并分发至对应的数据通道；
数据通道使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块；
协转处理模块处理接收数据，对数据进行标准转换、级联操作。
6.根据权利要求5所述的一种多协议视频数据采集实现方法，其特征在于，所述接入模块根据自身监听的端口决定接入设备类型，通过HTTP、RPC、TCP接入方式完成数据接入处理。
7.根据权利要求5所述的一种多协议视频数据采集实现方法，其特征在于，所述接入模块通过SDK前置机将数据解析成单帧数据后通过RPC方式进行特殊接入方式的数据接入处理。
8.根据权利要求5所述的一种多协议视频数据采集实现方法，其特征在于，所述数据通道采用内存型或文件型通道。
9.根据权利要求5所述的一种多协议视频数据采集实现方法，其特征在于，所述协转处理模块通过以下模块执行数据标准转换和级联操作：
源协议解析单元：按照对应设备的数据格式进行解析；
转换单元：以值对象到值对象的转换方式转换解析数据为标准协议格式或内部协议格式数据；
发送单元：将转换后的标准数据和属性数据发送至消息队列缓存或外部接收方，并进行级联操作；
所述外部接收方包括第三方系统；
所述属性数据为转换单元转换过程中的非必要数据，采用Map数据格式进行存储。
10.根据权利要求5所述的一种多协议视频数据采集实现方法，其特征在于，在进行内部数据交换时，采用内存、文件、消息队列三种方式进行。
CN202010047809.5A 2020-01-16 2020-01-16 一种多协议视频数据采集系统及其实现方法 Active CN110944025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010047809.5A CN110944025B (zh) 2020-01-16 2020-01-16 一种多协议视频数据采集系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010047809.5A CN110944025B (zh) 2020-01-16 2020-01-16 一种多协议视频数据采集系统及其实现方法

Publications (2)

Publication Number Publication Date
CN110944025A true CN110944025A (zh) 2020-03-31
CN110944025B CN110944025B (zh) 2022-04-15

Family

ID=69913851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010047809.5A Active CN110944025B (zh) 2020-01-16 2020-01-16 一种多协议视频数据采集系统及其实现方法

Country Status (1)

Country Link
CN (1) CN110944025B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068898A (zh) * 2020-09-01 2020-12-11 上海熙菱信息技术有限公司 一种可配置插件式服务集成系统及方法
CN112468541A (zh) * 2020-11-06 2021-03-09 杭州博联智能科技股份有限公司 基于物联网的数据处理方法、装置及系统
CN113179181A (zh) * 2021-04-25 2021-07-27 珠海格力电器股份有限公司 数据采集方法、装置、系统、数据处理装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015673A1 (en) * 2002-01-10 2006-01-19 Neil Morrow Enhanced protocol conversion system
CN102333207A (zh) * 2011-09-28 2012-01-25 河南省电力通信自动化公司 一种电力系统的协议转换控制系统和协议转换方法
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105072507A (zh) * 2015-07-24 2015-11-18 南京信通科技有限责任公司 一种多媒体数据的传输方法及系统
CN105578488A (zh) * 2014-10-10 2016-05-11 中兴通讯股份有限公司 网络数据采集系统及方法
CN110224972A (zh) * 2019-04-19 2019-09-10 凯通科技股份有限公司 一种面向多协议多类型设备接入系统、方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015673A1 (en) * 2002-01-10 2006-01-19 Neil Morrow Enhanced protocol conversion system
CN102333207A (zh) * 2011-09-28 2012-01-25 河南省电力通信自动化公司 一种电力系统的协议转换控制系统和协议转换方法
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105578488A (zh) * 2014-10-10 2016-05-11 中兴通讯股份有限公司 网络数据采集系统及方法
CN105072507A (zh) * 2015-07-24 2015-11-18 南京信通科技有限责任公司 一种多媒体数据的传输方法及系统
CN110224972A (zh) * 2019-04-19 2019-09-10 凯通科技股份有限公司 一种面向多协议多类型设备接入系统、方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068898A (zh) * 2020-09-01 2020-12-11 上海熙菱信息技术有限公司 一种可配置插件式服务集成系统及方法
CN112068898B (zh) * 2020-09-01 2024-04-19 上海熙菱信息技术有限公司 一种可配置插件式服务集成系统及方法
CN112468541A (zh) * 2020-11-06 2021-03-09 杭州博联智能科技股份有限公司 基于物联网的数据处理方法、装置及系统
CN113179181A (zh) * 2021-04-25 2021-07-27 珠海格力电器股份有限公司 数据采集方法、装置、系统、数据处理装置及电子设备

Also Published As

Publication number Publication date
CN110944025B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110944025B (zh) 一种多协议视频数据采集系统及其实现方法
US20220394316A1 (en) Message sending method and device, readable medium and electronic device
CN106910146B (zh) 一种基于流式处理技术的异构教育数据交换平台及方法
CN103179217A (zh) 一种用于web应用服务器群组的负载均衡方法和装置
US10609125B2 (en) Method and system for transmitting communication data
CN112132022B (zh) 人脸抓拍架构及其人脸抓拍方法、装置、设备及存储介质
WO2021073054A1 (zh) 数据处理的方法、装置、设备和存储介质
CN113986811B (zh) 一种高性能内核态网络数据包加速方法
CN113329139B (zh) 视频流处理方法、装置及计算机可读存储介质
CN110740293A (zh) 一种数据传输方法、系统、装置及计算机存储介质
CN117135060B (zh) 基于边缘计算的业务数据处理方法及系统
CN115344522B (zh) 消息转换通道、消息转换装置、电子设备和交换设备
CN112817539A (zh) 一种工业数据存储方法、系统、电子设备及存储介质
CN109358820B (zh) 数据访问方法、装置、电子设备及计算机可读存储介质
CN111147603A (zh) 一种推理服务网络化的方法及装置
CN114666289B (zh) 一种基于电磁屏蔽体的数据传输方法及系统
CN109831467B (zh) 数据传输方法、设备及系统
CN115964418A (zh) 一种面向物联网的多源异构数据接入系统及方法
CN112039936A (zh) 数据传输方法、第一数据处理设备及监控系统
CN114189832B (zh) 一种列车无线智能网关系统、数据处理方法、终端和网关
CN102572518A (zh) 基于vlc的视频图像分析平台及方法
CN113055493B (zh) 数据包处理方法、装置、系统、调度设备和存储介质
CN112417015A (zh) 数据分发方法和装置、存储介质及电子装置
US10628296B1 (en) Data composite for efficient memory transfer in a behavorial recognition system
CN117061623B (zh) Fc路由实现方法和交换设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Third floor, No.10, Jiuxing Avenue, high tech Zone, Chengdu, Sichuan 610041

Patentee after: Sichuan Tianyi Network Co.,Ltd.

Address before: Third floor, No.10, Jiuxing Avenue, high tech Zone, Chengdu, Sichuan 610041

Patentee before: SICHUAN TIANYI NETWORK SERVICE Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Multi Protocol Video Data Acquisition System and Its Implementation Method

Effective date of registration: 20230804

Granted publication date: 20220415

Pledgee: Zheshang Bank Co.,Ltd. Chengdu Branch

Pledgor: Sichuan Tianyi Network Co.,Ltd.

Registration number: Y2023510000192