CN113162962B - 一种传感器接收系统及其接收方法 - Google Patents

一种传感器接收系统及其接收方法 Download PDF

Info

Publication number
CN113162962B
CN113162962B CN202011489311.0A CN202011489311A CN113162962B CN 113162962 B CN113162962 B CN 113162962B CN 202011489311 A CN202011489311 A CN 202011489311A CN 113162962 B CN113162962 B CN 113162962B
Authority
CN
China
Prior art keywords
data
sensor
module
priority
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011489311.0A
Other languages
English (en)
Other versions
CN113162962A (zh
Inventor
叶志晖
王文娟
钱杰
张成挺
丁男哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Tobacco Zhejiang Industrial Co Ltd
Original Assignee
China Tobacco Zhejiang Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Tobacco Zhejiang Industrial Co Ltd filed Critical China Tobacco Zhejiang Industrial Co Ltd
Priority to CN202011489311.0A priority Critical patent/CN113162962B/zh
Publication of CN113162962A publication Critical patent/CN113162962A/zh
Application granted granted Critical
Publication of CN113162962B publication Critical patent/CN113162962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1046—Joining mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种传感器接收方法，包括以下步骤：从数据库中提取预先设置的各传感器的接入参数，所述接入参数包括连接协议、传感器的基本参数、数据的优先级和解析协议；根据所述连接协议，接收传感数据，并对接收到的传感数据按照解析协议进行预处理；实时获取等待处理的传感器数据的数据量以及计算集群使用情况；根据等待处理的传感器数据的数据量，判断是否进行缓存处理；若所述数据量超过预设值时，则对超出预设值的传感数据进行缓存；根据计算集群使用情况以及数据的优先级对传感数据进行分配。本发明适用于CPS中传感器的接入，在某类传感数据突然增大时，可保障数据的安全行，防止数据丢失。

Description

一种传感器接收系统及其接收方法
技术领域
本发明涉及一种传感器接收系统及其接收方法，属于物理信息系统技术领域。
背景技术
CPS是一个综合计算、网络和物理环境的多维复杂系统，通过“3C”（Computation,Communication and Control，通信、计算与控制）技术的有机融合与深度协作，实现大型工程系统的实时感知、动态控制和信息服务。21 世纪初，国际学术界基于嵌入式理论提出了CPS概念。CPS 实现计算、通信与物理系统的一体化设计，计算设备可精准获取外界信息并作出实时性、智能化反应，提供更加及时、精确、安全与可靠的服务，使系统更加可靠、高效、实时协同，从而具有更加广泛的应用前景。
CPS基本组件包括传感器、执行器和决策控制单元。其中传感器种类和数量越来越多，传感器所用的协议和数据格式也多种多样，在接入CPS时常常不能匹配。执行器需要处理多源异构的感知数据，而目前针对CPS数据管理的研究仅限于传感网络中的数据通讯与存储，通过以太网连接的并行计算服务器，存储感知节点获得的数据；当某类传感数据突然增大时，接收系统无法及时处理，从而有数据丢失的风险。并且当计算资源紧张时，重要数据无法快速处理，不利于数据的反馈。
发明内容
本发明是提供一种传感器接收系统及其接收方法，在某类传感数据突然增大时，可保障数据的安全行，防止数据丢失。
为达到上述目的，本发明所采用的技术方案是：一种传感器接收方法，包括以下步骤：从数据库中提取预先设置的各传感器的接入参数，所述接入参数包括连接协议、传感器的基本参数、数据的优先级和解析协议；根据所述连接协议，接收传感数据，并对接收到的传感数据按照解析协议进行预处理；实时获取等待处理的传感器数据的数据量以及计算集群使用情况；根据等待处理的传感器数据的数据量，判断是否进行缓存处理；若所述数据量超过预设值时，则对超出预设值的传感数据进行缓存；根据计算集群使用情况以及数据的优先级对传感数据进行分配。
进一步地，所述连接协议为TCP或UDP。
进一步地，所述对传感数据进行缓存根据数据到达的时间顺序进行缓存。
进一步地，所述传感器的基本参数包括传感器的唯一命名、传输方式、数据类别、数据优先级。
进一步地，所述计算集群使用情况包括CPU、内存和IO的使用情况。
进一步地，所述根据计算集群使用情况以及数据的优先级对传感数据进行分配具体包括以下步骤: 根据所述数据的优先级对应资源权重，在计算资源不够时，为高优先级任务优先获取剩余计算资源；若高优先级任务数量超过剩余计算资源时，暂停低优先级任务，然后重新根据资源权重对数据处理任务进行分配。
一种传感器接收系统，包括交互接口、连接模块、解析模块和传感数据分配模块，所述交互接口用于设置各传感器的接入参数，接入参数包括连接协议、传感器的基本参数和解析协议；所述连接模块用于按照预设的连接协议与传感器建立连接，并接收传感数据；所述解析模块用于将连接模块接收到的传感数据转化为内部数据格式；所述传感数据分配模块用于将解析过的传感数据分配至集群的各计算机；所述传感数据分配模块包括数据处理任务监听模块、缓存模块和资源匹配模块；所述数据处理任务监听模块用于实时获取等待处理的传感数据的数据量以及计算集群使用情况；缓存模块用于对超过预设值的传感数据进行存储；所述资源匹配模块用于根据计算集群使用情况以及数据的优先级对传感数据进行分配。
优选地，所述缓存模块为内存暂存区。
优选地，所述交互接口包括交互界面，API或Web服务接口。
优选地，所述传感器接收系统还包括转发模块、控制指令模块和协议仓库；所述转发模块用于根据数据类别，将连接模块接收到的数据转发至其他模块；所述控制指令模块用于接收CPS系统的操作指令并将所述操作指令转发至传感器；所述协议仓库用于存储交互接口设置的传感器的接入参数。
本发明通过实时获取等待处理的传感器数据的数据量，数据量超过预设值时，则对超出预设值的传感数据进行缓存，从而在传感数据突然增大时，保证数据不堆积不丢失。本发明的系统根据预先设置的参数将传感器接入，并根据流数据处理任务的重要性进行优先级调度，在需要时还可暂时回收资源以利于重要任务的处理，以保证重要数据优先处理，从而对绝大部分传感器，均能够实现快速接收、传输、处理，满足现代企业CPS系统大规模数据流处理需求。
附图说明
图1为本发明实施例提供的一种传感器接收方法的流程示意图；
图2为本发明实施例提供的一种传感器接收系统中数据缓存模块的示意图；
图3为本发明实施例提供的一种传感器接收系统中传感数据分配模块的示意图。
具体实施方式
为了更好的理解本发明的实质，下面结合具体实施例和附图对本发明作进一步的阐述。
本发明公开了一种传感器接收系统，尤其适用于CPS传感器的接入，具体实施例如图2至图3所示，包括交互接口、连接模块、解析模块和传感数据分配模块，所述交互接口用于设置各传感器的接入参数，接入参数包括连接协议、传感器的基本参数和解析协议。所述连接模块用于按照预设的连接协议与传感器建立连接，并接收传感数据。所述解析模块用于将连接模块接收到的传感数据转化为内部数据格式。所述传感数据分配模块用于将解析过的传感数据分配至集群的各计算机。所述传感数据分配模块包括数据处理任务监听模块、缓存模块和资源匹配模块。所述数据处理任务监听模块用于实时获取等待处理的传感数据的数据量以及计算集群使用情况。缓存模块用于对超过预设值的传感数据进行存储。缓存模块为内存暂存区。所述资源匹配模块用于根据计算集群使用情况以及数据的优先级为传感数据分配计算资源。
所述交互接口既可以是交互界面，也可以是API或Web服务接口。
所述数据处理任务监听模块中的任务调度组件提供相应接口，通过调用这些接口，即可获取当前运行的所有任务、该任务所在资源（以host:port形式提供）、计算集群使用情况（如CPU、内存、IO等）等信息，通过这些信息，分析后可得知各类计算资源（集群中的各计算机）的占用比率。
所述传感器接收系统还包括转发模块、控制指令模块和协议仓库。所述转发模块根据数据类别，将连接模块接收到的数据转发至其他模块；所述控制指令模块用于接收CPS系统的操作指令并将所述操作指令转发至传感器。所述协议仓库用于存储交互接口设置的传感器的接入参数。
本发明公开了一种传感器接收方法，如图1所示，具体包括以下步骤：
步骤一、设置各传感器的接入参数并存入数据库。接入参数包括连接协议、传感器的基本参数和解析协议。
１、用户可以设置传感器的基本参数，包括：传感器的唯一命名、传输方式、数据类别、数据优先级。
2、连接协议可选择通用连接协议如TCP、UDP等。
步骤二、根据预设的连接协议，接收传感器数据，并对接收到的传感器数据按照解析协议进行预处理。
从数据库中动态加载并调用与该传感器对应的解析方法，将根据预设的连接协议所得的数据转换为内部数据格式。
步骤三、实时获取数据处理任务运行情况以及计算机集群使用情况。
所述数据处理任务运行情况包括该数据处理任务所在资源、等待处理的传感器数据的数据量以及计算集群使用情况。数据处理任务所在资源以host:port形式提供；计算集群使用情况包括CPU、内存、IO等信息。通过数据处理任务运行情况可得知集群中的各计算机的占用比率。
步骤四、根据步骤三中获取的等待处理的传感器数据的数据量，判断是否进行缓存处理。
由于CPS中传感器生成的流式数据具有较高的实时性特点，某些时刻数据流量会产生波动，当数据量迅速增大时，传统的方法无法及时处理，可能造成数据缺失。而不同类别数据的重要程度是不一样的，某些数据的缺失可能对系统运行、后续处理过程、处理结果等产生较大影响，另一些数据则可以暂时不处理乃至完全放弃。因此本发明加入了数据缓存的步骤，将传感数据根据时间顺序进行缓存。
若等待处理的传感器数据的数据量达到计算集群自身存储上限时，即启动缓存操作。启动缓存操作后，根据数据到达的时间顺序进行缓存，避免传感数据的丢失；数据处理任务需要数据时，从暂存区中取出队列头部数据，进行数据处理。当在一个设定的时间间隔内，暂存区内总数据量均少于暂存区存储量的50%时，结束对数据的缓存，如图2所示。
步骤五、根据步骤三中获取的计算集群使用情况以及数据的的优先级对传感数据进行分配。
预先为每一数据的优先级设置对应的资源权重。由于传感数据均与某一优先级相对应，因此只需根据计算集群的使用情况，按资源权重对该数据处理任务进行分配。从而在计算资源不够时，可确保高优先级任务优先获取剩余资源。
当高优先级的传感数据持续涌入，当前剩余资源达到预设资源短缺的标准时，暂停低优先级任务的执行，然后重新根据资源权重对数据处理任务进行分配，从而保证高优先级数据的处理任务尽早执行。以CPU为例，一段时间CPU使用率在80%以上，视为短缺；一段时间内CPU等待进程3个以上，视为短缺；CPU的系统进程用时间较长，超过1/3，用户进程使用时间较短，视为短缺等。
应当指出，虽然通过上述实施方式对本发明进行了描述，然而本发明还可有其它多种实施方式。在不脱离本发明精神和范围的前提下，熟悉本领域的技术人员显然可以对本发明做出各种相应的改变和变形，但这些改变和变形都应当属于本发明所附权利要求及其等效物所保护的范围内。

Claims (9)

1.一种传感器接收方法，其特征在于，包括以下步骤：
从数据库中提取预先设置的各传感器的接入参数，所述接入参数包括连接协议、传感器的基本参数、数据的优先级和解析协议；
根据所述连接协议，接收传感数据，并对接收到的传感数据按照解析协议进行预处理；
实时获取等待处理的传感器数据的数据量以及计算集群使用情况；
根据等待处理的传感器数据的数据量，判断是否进行缓存处理；若所述数据量超过预设值时，则对超出预设值的传感数据进行缓存；启动缓冲操作后，根据数据到达的时间顺序进行缓存，避免传感数据的丢失，数据处理任务需要数据时，从暂存区中取出队列头部数据，进行数据处理，当在一个设定的时间间隔内，暂存区内总数据量均少于暂存区存储量的50%时，结束对数据的缓存；
根据计算集群使用情况以及数据的优先级对传感数据进行分配，包括以下步骤：为所述数据的优先级对应资源权重，在计算资源不够时，为高优先级任务优先获取剩余计算资源；若高优先级任务数量超过剩余计算资源时，暂停低优先级任务，然后重新根据资源权重对数据处理任务进行分配。
2.根据权利要求1所述传感器接收方法，其特征在于：所述连接协议为TCP或UDP。
3.根据权利要求1所述传感器接收方法，其特征在于：所述传感器的基本参数包括传感器的唯一命名、传输方式、数据类别、数据优先级。
4.根据权利要求1所述传感器接收方法，其特征在于：所述对传感数据进行缓存根据数据到达的时间顺序进行缓存。
5.根据权利要求1所述传感器接收方法，其特征在于：所述计算集群使用情况包括CPU、内存和IO的使用情况。
6.一种传感器接收系统，其特征在于：包括交互接口、连接模块、解析模块和传感数据分配模块，所述交互接口用于设置各传感器的接入参数；所述连接模块用于按照预设的连接协议与传感器建立连接，并接收传感数据；所述解析模块用于将连接模块接收到的传感数据转化为内部数据格式；所述传感数据分配模块用于将解析过的传感数据分配至集群的各计算机；所述传感数据分配模块包括数据处理任务监听模块、缓存模块和资源匹配模块；所述数据处理任务监听模块用于实时获取等待处理的传感数据的数据量以及计算集群使用情况；缓存模块用于对超过预设值的传感数据进行存储；启动缓冲操作后，根据数据到达的时间顺序进行缓存，避免传感数据的丢失，数据处理任务需要数据时，从暂存区中取出队列头部数据，进行数据处理，当在一个设定的时间间隔内，暂存区内总数据量均少于暂存区存储量的50%时，结束对数据的缓存；所述资源匹配模块用于根据计算集群使用情况以及数据的优先级对传感数据进行分配，包括以下步骤：为所述数据的优先级对应资源权重，在计算资源不够时，为高优先级任务优先获取剩余计算资源；
若高优先级任务数量超过剩余计算资源时，暂停低优先级任务，然后重新根据资源权重对数据处理任务进行分配。
7.根据权利要求书6所述传感器接收系统，其特征在于：所述缓存模块为内存暂存区。
8.根据权利要求书6所述传感器接收系统，其特征在于：所述交互接口包括交互界面，API或Web服务接口。
9.根据权利要求书6所述传感器接收系统，其特征在于：所述传感器接入系统还包括转发模块、控制指令模块和协议仓库；所述转发模块用于根据数据类别，将连接模块接收到的数据转发至其他模块；所述控制指令模块用于接收CPS系统的操作指令并将所述操作指令转发至传感器；所述协议仓库用于存储交互接口设置的传感器的接入参数。
CN202011489311.0A 2020-12-16 2020-12-16 一种传感器接收系统及其接收方法 Active CN113162962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011489311.0A CN113162962B (zh) 2020-12-16 2020-12-16 一种传感器接收系统及其接收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011489311.0A CN113162962B (zh) 2020-12-16 2020-12-16 一种传感器接收系统及其接收方法

Publications (2)

Publication Number Publication Date
CN113162962A CN113162962A (zh) 2021-07-23
CN113162962B true CN113162962B (zh) 2023-04-18

Family

ID=76882599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011489311.0A Active CN113162962B (zh) 2020-12-16 2020-12-16 一种传感器接收系统及其接收方法

Country Status (1)

Country Link
CN (1) CN113162962B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410662A (zh) * 2014-10-23 2015-03-11 山东大学 物联网并行海量数据传输中间件及其工作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106453457B (zh) * 2015-08-10 2019-12-10 微软技术许可有限责任公司 云计算平台内的多优先级服务实例分配
CN108804347A (zh) * 2017-05-05 2018-11-13 华中科技大学 一种用于工业大数据汇聚的缓存层、汇聚系统及方法
CN110430229B (zh) * 2019-06-19 2020-09-11 特斯联（北京）科技有限公司 基于云平台的智慧社区物联传感信息采集处理系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410662A (zh) * 2014-10-23 2015-03-11 山东大学 物联网并行海量数据传输中间件及其工作方法

Also Published As

Publication number Publication date
CN113162962A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111752965A (zh) 一种基于微服务的实时数据库数据交互方法和系统
CN113676400B (zh) 用于环保数据采集设备物联接入的云网关系统
CN110795254A (zh) 一种基于php处理高并发io的方法
CN103207920A (zh) 一种元数据并行采集系统
CN106201739A (zh) 一种基于Redis的Storm的远程调用方法
CN111752708A (zh) 一种基于深度学习的存储系统自适应参数调优方法
CN112860974A (zh) 计算资源的调度方法、装置、电子设备和存储介质
CN113468221A (zh) 一种基于kafka消息数据总线的系统集成方法
CN106897133A (zh) 一种基于pbs作业调度管理集群负载的实现方法
CN109117279A (zh) 电子装置及其限制进程间通信的方法、存储介质
CN109117280A (zh) 电子装置及其限制进程间通信的方法、存储介质
CN113162962B (zh) 一种传感器接收系统及其接收方法
CN104796673B (zh) 一种面向能耗优化的云视频监控系统任务接入方法
CN114327880A (zh) 一种轻代码异构分布式系统的计算方法
Shu-Jun et al. Optimization and research of hadoop platform based on fifo scheduler
CN117271137A (zh) 一种多线程的数据分片并行方法
CN103530173B (zh) 动态权重事件处理系统和方法
CN117135131A (zh) 一种面向云边协同场景的任务资源需求感知方法
CN116661960A (zh) 一种批量任务处理方法、装置、设备以及存储介质
CN114860449B (zh) 数据处理方法、装置、设备和存储介质
CN105912621A (zh) 一种区域建筑能耗平台数据存储和查询方法
CN113873033B (zh) 一种具有容错功能的智能边缘计算网关平台
CN108075989B (zh) 一种基于可扩展协议的负载均衡网络中间件实现方法
CN114756376A (zh) 一种跨领域多业务资源自动适配维护平台
CN112052087A (zh) 动态资源调整与迁移的深度学习训练系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant