CN110943882B - 一种基于联网监测的黑广播实时识别系统及其识别方法 - Google Patents
一种基于联网监测的黑广播实时识别系统及其识别方法 Download PDFInfo
- Publication number
- CN110943882B CN110943882B CN201911103098.2A CN201911103098A CN110943882B CN 110943882 B CN110943882 B CN 110943882B CN 201911103098 A CN201911103098 A CN 201911103098A CN 110943882 B CN110943882 B CN 110943882B
- Authority
- CN
- China
- Prior art keywords
- signal
- real
- time
- data
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 129
- 230000006855 networking Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 10
- 238000010408 sweeping Methods 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
- H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Security & Cryptography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种基于联网监测的黑广播实时识别系统及其识别方法，包括无线电联网监测平台、大数据实时处理集群、MPP实时电平库、信号提取模块、实时信号库和合法信号库，无线电联网监测平台通过socket接口连接大数据实时处理集群，大数据实时处理集群通过数据解帧模块进行解帧，并写入MPP实时电平库，信号提取模块通过解帧聚合后的数据写入到实时信号库中，非法信号比对模块与合法信号库中的合法信号进行比对，发现非法信号并上报。本发明支持在多站点多任务下的实时信号发现，在给任意联网站点下达黑广播编排任务后，不需要等待数据累积到一定数量，而能自动发现识别信号，并将未知信号上报给监测人员，大大提升了查找黑广播的工作效率和时效性。
Description
技术领域
本发明涉及无线电信号监测技术领域，尤其涉及一种基于大数据实时处理技术和无线电联网监测的黑广播自动实时识别系统及其识别方法。
背景技术
无线电频谱资源是重要的国家战略资源，而黑广播未经广播管理部门和无线电管理机构批准，擅自设置并利用广播频率向社会进行播音宣传的广播电台。这些非法广播不仅内容低俗，严重污染社会风气，造成不良的社会影响，而且非法广播还会占据无线电频谱资源，如干扰民航频段、造成正常的广播信号无法发送等，有很大的安全的隐患。
目前非法的广播电台的识别一般采用人工监听一定时间段的电台播放内容，来判断该广播电台是否为非法电台，或者采取人工举报的办法，发现非法电台。并且随着监测站覆盖越来越多，监测厂家设备存在着差异，主要存在着下列缺陷：
1、人工发现这种方式耗时耗力，且效率很低，且都属于事后补救的方法，没法做到前期积极的预防。
2、黑广播监测往往进行多站点、多厂家的黑广播联合发现，数据量大，并且对实时性要求非常高，往往需要在监测中及时发现黑广播电台，工作量大运用传统的存储和处理方法已经无法满足这些需求。
发明内容
本发明的目的在于提供一种基于联网监测的黑广播实时识别系统及其识别方法，利用数字信号处理、信息处理技术和大数据实时处理技术，开发设计了一种基于联网监测和大数据实时处理技术的黑广播实时识别系统及其识别方法，以解决上述背景技术中遇到的问题。
为实现上述目的，本发明的技术方案如下：
一种基于联网监测的黑广播实时识别系统，包括网监测平台、大数据实时处理集群、MPP 实时电平库、信号提取模块、实时信号库和合法信号库，所述无线电联网监测平台用于监测无线电设备的联网以及多站点黑广播实时发现任务的编排，并通过socket接口的方式，将监测的二进制数据流传输给大数据实时处理集群；所述大数据实时处理集群用于与无线电联网监测平台中的socket接口对接，将对接的二进制流通过数据解帧模块进行解帧，并写入MPP 实时电平库；所述MPP实时电平库将大数据实时处理集群解帧的数据进行保存，在任务结束时，则对数据进行删除；所述信号提取模块通过解帧聚合后的数据根据背噪形成每个任务的灰度图，根据灰度图提取信号，形成每个任务的信号集，并将信号写入到实时信号库中；所述非法信号比对模块将实时信号库中的信号集与对应监测站的合法信号库中的合法信号进行比对，发现非法信号并上报，经过人工确认后，进行黑广播处理。
所述大数据实时处理集群根据黑广播扫频任务ID读取socket中相关数据，解帧后按每分钟进行聚合，对每分钟的频点形成一个完成的扫描周期，调用自动背噪算法，形成分钟聚合数据。
所述大数据实时处理集群按分钟级将聚合后的数据放入MPP实时电平库中。
一种基于联网监测的黑广播实时识别方法，包括以下步骤：
步骤一：无线电联网监测平台根据黑广播监测需求下达实时黑广播监测任务，无线电联网监测平台连接至相关监测设备开启任务后，将其监测的二进制数据流以socket接口的信息告知给大数据实时处理集群；
步骤二：大数据实时处理集群根据收到的socket接口信息与无线电联网监测平台进行连接，大数据实时处理集群根据任务ID和IP地址启动一个task并启动一个slot资源,实时接受监测数据流；
步骤三：大数据实时处理集群根据每个任务ID，调用自动背噪算法和解帧算法，对监测数据流进行解帧，并将解帧后数据放入slot资源中，同时大数据实时处理集群按分钟级对 slot中电平数据进行聚合，聚合后的数据放入MPP实时电平库中；
步骤四：信号提取模块从MPP数据中获取当前正在执行任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对灰度图的腐蚀和膨胀，剔除异常点数据，并对灰度图的形成任务信号；
步骤五：形成的任务信号和合法信号库中的合法信号进行比对，获取非法黑广播信号；
步骤六：采用广播定位模块根据对比获取的非法广播信号的带宽、中心频率下达测向任务，定位黑广播信号位置。
进一步的，步骤一中，所述无线电联网监测平台在统一无线电监测联网平台下达黑广播编排任务，任务参数主要包括站点、信号持续时间、信号带宽、信号背噪、频率范围这些参数；所述无线电联网监测平台获取任务参数后，对设备下达扫频任务；所述无线电联网监测平台将socket接口的信息告知给大数据实时处理集群。
进一步的，所述信号持续时间为半个小时，联网扫频监测任务持续时间大于信号持续时间；所述信号带宽为大于50kHz<带宽<300kHz；所述频率范围包含87MHZ～108MHZ广播频段的频段范围；所述信号背噪支持自动背噪与手动背噪。
进一步的，步骤二中，所述大数据实时处理集群根据黑广播监测应用接口提供的socket 接口的IP地址、任务ID进行连接，所述大数据实时处理集群为每个任务启动一个task以及与之相对应的资源slot，实时接收数据流。
进一步的，步骤三中，所述大数据实时处理集群利用无线电解帧算法，对数据流的数据帧进行解帧，同时按分钟进行聚合，所述通过大数据实时处理集群对每分钟的聚合数据依次写入MPP实时电平库，数据按监测任务、站点为索引，存储监测数据。
进一步的，步骤四中，所述信号提取模块通过分钟级聚合数据按下列步骤进行信号提取：
首先：信号提取模块根据编排任务ID，从MPP中提取分钟级聚合数据，根据半个小时信号持续时间，提取任务最近1个小时的数据作为信号提取数据；
然后：提取的最近1个小时的数据，根据时间、频点进行排序，形成以频点为列，时间为行，电平值为值的矩阵。
其次：然后使用信号背噪对矩阵中每个点进行判断，形成灰度图。
再次：根据灰度图矩阵进行闭操作，通过对灰度图的腐蚀和膨胀，剔除因偶尔信号抖动、设备误差造成的抖动、毛刺噪声，最终形成光滑无噪声数据的灰度图；
最后：根据信号提取的持续时间、带宽提取信号。
进一步的，步骤五中，将提取的信号和合法信号进行比对，比较方法如下：
根据灰度矩阵得到的信号，提取其信号中频与信号带宽与合法信号的的中频进行比对，两者相似时，则认为是合法信号，不相同则认为是非法信号，并进行上报。
与现有技术相比，本发明的有益效果是：本发明一种大数据场景下基于联网监测的黑广播实时识别系统和识别方法支持在多站点多任务下的实时信号发现，在给任意联网站点下达黑广播编排任务后，不需要等待数据累积到一定数量，而能自动发现识别信号，并将未知信号上报给监测人员，大大提升了查找黑广播的工作效率和时效性。
附图说明
图1为本发明一种基于联网监测的黑广播实时识别系统的架构图；
图2为本发明一种基于联网监测的黑广播实时识别方法的实时编排任务下达示意图；
图3为本发明一种基于联网监测的黑广播实时识别方法的实时编排任务结束示意图；
图4为本发明一种基于联网监测的黑广播实时识别方法中数据解帧模块结构示意图；
图5为本发明一种基于联网监测的黑广播实时识别方法中信号提取模块结构示意图；
图6为本发明一种基于联网监测的黑广播实时识别方法中socket数据流解帧聚合公式示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的详细说明。
如图1所示，一种基于联网监测的黑广播实时识别系统，包括无线电联网监测平台、大数据实时处理集群、MPP实时电平库、信号提取模块、实时信号库和合法信号库，无线电联网监测平台用于监测无线电设备的联网以及多站点黑广播实时发现任务的编排，并通过 socket接口的方式，将二进制数据流传输给大数据实时处理集群。多站点黑广播实时发现任务的编排指的是通过平台下达黑广播任务，比如，对于A站点，下达今晚8点到第二天早上 8点，87MHZ～108MHZ频段的任务(包含个各种任务参数)，发现黑广播后启动的侧向任务设备。
大数据实时处理集群用于与无线电联网监测平台中的socket接口的对接，将对接的二进制流通过数据解帧模块进行解帧，并写入MPP实时电平库。
MPP实时电平库将大数据实时处理集群解帧的数据进行保存，在任务结束时，则对数据进行删除。
信号提取模块通过解帧聚合后的数据根据背噪、持续时间形成每个任务的灰度图，根据灰度图提取信号，形成每个任务的信号集，并将信号写入到实时信号库中。
非法信号比对模块将实时信号库中的信号集与对应监测站的合法信号库中的合法信号进行比对，发现非法信号并上报，经过人工确认后，进行黑广播处理。
大数据实时处理集群采用包含但不限于flink、stream处理模块来实现数据流转换。大数据实时处理集群根据黑广播扫频任务ID读取socket中相关数据，解帧后按每分钟进行聚合，对每分钟的频点形成一个完成的扫描周期，调用自动背噪算法，形成分钟聚合数据。
作为一种优选的方案，大数据实时处理集群按分钟级将聚合后的数据放入MPP实时电平库中。
一种基于联网监测的黑广播实时识别方法，包括以下步骤：
步骤一：无线电联网监测平台根据黑广播监测需求下达实时黑广播监测任务，无线电联网监测平台连接至相关监测设备开启任务后，将其监测的二进制数据流以socket接口的信息告知给大数据实时处理集群。
步骤二：大数据实时处理集群根据收到的socket接口信息与无线电联网监测平台进行连接，大数据实时处理集群根据任务ID和IP地址启动一个task并启动一个资源slot,实时接受监测数据流。
步骤三：大数据实时处理集群根据每个任务ID，调用自动背噪算法和解帧算法，对监测数据流进行解帧，并将解帧后数据放入slot资源中，同时大数据实时处理集群按分钟级对slot中电平数据进行聚合，聚合后的数据放入MPP实时电平库中。
步骤四：信号提取模块从MPP实时电平库中的数据库中获取当前正在执行任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对灰度图的腐蚀和膨胀，剔除异常点数据，并对灰度图的形成任务信号。
步骤五：形成的任务信号和合法信号库中的合法信号进行比对，获取非法黑广播信号。
步骤六：采用广播定位模块根据对比获取的非法广播信号的带宽、中心频率下达测向任务，定位黑广播信号位置。
无线电联网监测平台在统一无线电监测联网平台下达黑广播编排任务，任务参数主要包括站点、信号持续时间、信号带宽、信号背噪、频率范围这些参数；无线电联网监测平台获取任务参数后，对设备下达扫频任务；无线电联网监测平台将socket接口的信息告知给大数据实时处理集群。
上述方案中，信号持续时间为半个小时，联网扫频监测任务持续时间大于信号持续时间，即为任务持续时间大于半个小时；信号带宽为大于50kHz<带宽<300kHz；频率范围包含 87MHZ～108MHZ广播频段的频段范围；信号背噪支持自动背噪与手动背噪。
如图2所示,无线电联网监测平台模块主要用于黑广播发现任务的任务编排，无线电无线电联网监测平台实现了设备的联网互通，为统一多设备下达黑广播编排任务提供便利性。
通过无线电无线电联网监测平台，选择黑广播编排站点，填写编排任务名称，信号持续时间，执行设备的开始结束频率(必须包含87HHZ～108MHZ)，频率扫描步进，背噪门限，信号带宽、任务结束条件，分别下达两个任务，其中任务1：
黑广播编排任务名：监测1
执行设备：XXX站
监测持续时间：信号持续30分钟
起始终止频率：87MHZ～1500MHZ
步进：25KHZ
背噪门限：35DBuV
信号带宽：50kHZ
任务结束条件：发现持续30分钟的未知信号
通过无线电监测平台，下达任务2的编排任务：
黑广播编排任务名：监测2
执行设备：XXX站
监测持续时间：信号持续30分钟
起始终止频率：87MHZ～1500MHZ
步进：25KHZ
背噪门限：35DBuV
信号带宽：50kHZ
任务结束条件：发现持续30分钟的未知信号
设备站点通过无线电联网监测平台接受任务后，发起监测任务，同时把监测任务socket 数据流的IP地址、任务ID通过接口层通知给大数据实时处理平台。
大数据实时处理集群根据黑广播监测应用接口提供的socket接口的IP地址、任务ID进行连接，大数据实时处理集群为每个任务启动一个task以及与之相对应的资源slot，实时接收数据流。通过集群与监测平台的，实现多设备、多任务的数据实时处理功能。
大数据实时处理集群利用无线电解帧算法，对数据流的数据帧进行解帧，同时按分钟进行聚合。这样在不影响信号提取的情况下，针对原始数据样本进行一定程度的聚合，可以有效减少计算量，节省计算时间，从而实现更快的信号提取和发现。
通过大数据实时处理集群对每分钟的聚合数据依次写入MPP实时电平库，数据按监测任务、站点为索引，存储监测数据。
从上述描述可知，本发明利用无线电无线电联网监测平台设备联网优势与大数据实时分析集群，实现了黑广播发现任务的多站点统一下发、执行以及信号的实时发现，为后续的多站点信号实时提取、实时处理以及提前发现奠定了基础。
如图3所示，所述黑广播实时编排任务结束流程实现任务结束后大数据实时处理平台处理流程：
1、通过无线电无线电联网监测平台，选择需要停止的任务：
黑广播编排任务名：监测1
执行设备：XXX站
操作：停止任务
2、无线电联网监测平台停止相应的数据流，关闭socket连。
3、无线电联网监测平台通知大数据大数据实时处理集群，<task1、IP1>的socket接口已经关闭。
4、大数据大数据实时处理集群关闭与socket的连接，删除对应的实时任务task，并释放相应的slot资源。
5、大数据大数据实时处理集群根据断开连接的任务ID，在MPP中删除相应的数据。
如图4所示，所述数据解帧模块包括数据解帧、自动入库、以及分钟级聚合，主要将原始监测数据每一帧记录解帧后，并按分钟级进行聚合形成分钟级聚合数据，存入MPP实时电平库，用于信号提取。
数据解帧模块根据黑广播编排任务从socket连接获取数据，由于socket数据流中每一帧文件并非一个完整的扫描周期，根据下列方法合成一个完整的扫描周期。
在解帧后的原始数据中，按下列步骤进行解帧：
首先，大数据实时处理平台解帧模块被实时平台的task调用，对连接的socket数据流按字节进行解帧，解帧完的数据按扫描周期进行拼接，将多帧合成一个完整的扫描周期。
图6为socket数据流解帧聚合公式示意图，其中t1，t2,t3表示每一帧的监测时间，f1,fi 表示第i个频点，d1,di,dj表示第i,j频点对应的电平值。
选取在原始数据中依次相连的帧Frame1,Frame2,Frame3(t1<t2<t3),频点按照编排任务的频段范围进行升序排列，并依次填入各频点对应的电平值，时间则取时间最小的t1作为这一扫描周期的扫描时间。对这一扫描周期的内的数据，调用自动背噪算法，生成这一扫描周期下的自动背噪值。
其中n1，ni,nj表示第i,j个频点对应的自动背噪值。
大数据存储模块找到对应的任务，并进行解帧，根据任务包含的原始数据的200M文件个数，为每个文件启动一个解帧container,实现多文件并行解帧。解帧后的文件按parquet 格式进行存储，有效减少解帧后文件的增长程度，同时增加查询速度。由于原始监测文件中每一帧并非一个完整的扫描周期，根据下列方法合成一个完整扫描周期。
根据扫描周期内的数据，按频点顺序进行排序，根据每个频点的电平值，调用自动背噪算法，形成本次扫描周期的背噪。同时将这份数据写入MPP实时电平库中表中，解帧表的格式如下所示：
| 时间 | 频率 | 电平值 | 背噪 | 任务ID |
进一步地，在解帧后，按下列步骤进行聚合：
联网解帧模块根据黑广播扫频任务ID读取原始解帧表中相关数据，按每分钟进行聚合，其中聚合规则为：对于每个频点的电平值取平均值为每分钟此频点的电平值。
大数据实时处理集群对每分钟的频点形成一个完成的扫描周期，调用自动背噪算法，形成分钟聚合数据。聚合数据位于MPP实时电平库中，聚合数据在任务结束后，大数据实时处理模块会对这部分信号数据删除。
根据黑广播的规律，一般来说，黑广播发射干扰，往往会持续一段时间(持续半个小时以上)，而原始扫描解帧数据往往是海量的，根据这一特点，对原始解帧数据按分钟级进行聚合，在不干扰最后结果准确度的基础上，可大大减少计算量，聚合算法规则如下：对于频点f每分钟内的的频点对应的电平值，取其平均值作为本次频率的电平值。
信号提取模块通过分钟级聚合数据按下列步骤进行信号提取：
首先信号提取模块根据编排任务ID，从MPP中提取分钟级聚合数据，根据半个小时信号持续时间，提取任务最近1个小时的数据作为信号提取数据。
提取的最近1个小时的数据，根据时间、频点进行排序，形成以频点为列，时间为行，电平值为值的矩阵，如下所示：
| f1 | f2 | f3 | … | fn | |
| t1 | d11 | d12 | d13 | … | d1n |
| t2 | … | … | … | … | … |
| t3 | … | … | … | … | … |
| … | … | … | … | … | … |
| tm | … | … | …… | … | dmn |
其中f1<f2<f3<…<fn,t1<t2<t3<…<tm；dij(1<i<m,1<j<n)为频点fj在时刻ti时刻的电平值。
如图5所示，信号提取定位模块主要从大数据实时处理平台的MPP数据编排任务监控的分钟级聚合数据中形成灰度图，经过膨胀和腐蚀操作，形成信号，并对比合法信号。
信号提取模块从分钟级聚合数据中提取数据，提取规则如下：
提取87～108频段的监测扫频数据
提取最近1小时的扫频数据
对于提取的数据，每分钟的数据频点升序排列，形成以频点为列，时间为行的矩阵。
然后使用信号背噪对矩阵中每个点进行判断，形成灰度图，判断规则如下：
如果d(i,j)大于背噪，则矩阵对应的第i行j列则取值为1，否则取值为0，最终可得到灰度图矩阵，如下所示：
| f1 | f2 | f3 | … | fn | |
| t1 | 0 | 1 | 1 | … | 0 |
| t2 | … | … | … | … | … |
| t3 | … | … | … | … | … |
| … | … | … | … | … | … |
| tm | 0 | 1 | 1 | 1 | 1 |
对于矩阵中频点对应的电平值d(i,j),与背噪进行比对，如果电平值d(i,j)大于背噪，则灰度矩阵此单元取值为1，或者为0。
对于灰度矩阵，根据灰度图矩阵进行闭操作，主要为先按1*3的矩阵单元进行先膨胀操作，后按1*3的矩阵单元进行腐蚀操作，剔除因偶尔信号抖动、设备误差造成的抖动、毛刺噪声，最终形成光滑无噪声数据的灰度图。
根据信号提取的持续时间、带宽提取信号，提取方法如下：灰度图中提取值列大于2，行大于30的灰度矩形作为信号，信号包括的信息如下：
<信号中频，信号带宽，最大电平，最小电平、出现时间，结束时间>
其中提取信号的频率的平均值为中频信号带宽，灰度图中频点对应的最大电平值作为信号的最大电平值，灰度图所跨列为信号带宽，矩形灰度图所跨行为信号持续时间。
例如：
将提取的信号和合法信号进行比对，比较方法如下：
根据灰度矩阵得到的信号，提取其信号中频与信号带宽与合法信号的的中频进行比对，两者相似时，则认为是合法信号，不相同则认为是非法信号，并进行上报，其具体比较方法如下：
中频信号相似度比较：
F_similar＝2*|ft-F|/channel_space
其中，F_similar表示两者信号的相似度，F表示合法信号中频频率，ft表示任务提取的信号，channel_space表示信道间隔。
带宽相似度比较：
W_similar＝|channel_width-F_width|/channel_width；
其中，W_similar表示信号带宽相似度，channel_width表示合法信号的带宽，F_width 表示提取信号的带宽；
当提取信号与合法信号比对时，如果提取的两者信号的相似度<50％且信号带宽相似度 <10％时，认为提取信号是合法信号，否则为非法信号。
至此，一种在大数据场景下基于联网监测的黑广播实时识别方法的具体流程结束。
经过试验计算，本发明一种大数据场景下基于联网监测的黑广播实时识别系统和识别方法支持在多站点多任务下的实时信号发现，在给任意联网站点下达黑广播编排任务后，不需要等待数据累积到一定数量，而能自动发现识别信号，并将未知信号上报给监测人员，大大提升了查找黑广播的工作效率和时效性。
目前业界也进行了各种研究，包括故障的专家定位流程化、多设备无人机、信号频谱相似比对等等多种方案。但都是以离线为主，即需要等数据累计后，将数据取过来，进行信号发现，而基于实时性处理技术(flink、storm)等，是近几年技术，之前的专利没用到此类技术，因此也无法实现实时对黑广播的监测。另外与目前的技术相比本系统的信号发现流程中信号的获取方法不同，之前的是通过类似背噪划定、或者拿此监测数据与监测进行信号频率相似性的比较，而在此专利中是采用图论进行信号形状的发现。还有就是联网多站点不同，之前的信号发现都是厂家对自有或者单一设备的信号发现，无法实现多厂家、多设备之间的。因此，利用监测站结合大数据实时处理技术进行黑广播编排，实时发现黑广播，是解决这一需求的有效方法。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应含在本发明的保护范围之内。
Claims (10)
1.一种基于联网监测的黑广播实时识别系统，其特征在于：包括无线电联网监测平台、大数据实时处理集群、MPP实时电平库、信号提取模块、实时信号库和合法信号库；
所述无线电联网监测平台用于监测无线电设备的联网以及多站点黑广播实时发现任务的编排，并通过socket接口的方式，将监测的二进制数据流传输给大数据实时处理集群；
所述大数据实时处理集群用于与无线电联网监测平台中的socket接口对接，将对接的二进制流通过数据解帧模块进行解帧，并写入MPP实时电平库；
所述MPP实时电平库将大数据实时处理集群解帧的数据进行保存，在任务结束时，则对数据进行删除；
所述信号提取模块通过解帧聚合后的数据根据背噪形成每个任务的灰度图，根据灰度图提取信号，形成每个任务的信号集，并将信号写入到实时信号库中；
所述非法信号比对模块将实时信号库中的信号集与对应监测站的合法信号库中的合法信号进行比对，发现非法信号并上报，经过人工确认后，进行黑广播处理。
2.根据权利要求1所述的一种基于联网监测的黑广播实时识别系统，其特征在于：所述大数据实时处理集群根据黑广播扫频任务ID读取socket中相关数据，解帧后按每分钟进行聚合，对每分钟的频点形成一个完成的扫描周期，调用自动背噪算法，形成分钟聚合数据。
3.根据权利要求1所述的一种基于联网监测的黑广播实时识别系统，其特征在于：所述大数据实时处理集群按分钟级将聚合后的数据放入MPP实时电平库中。
4.根据权利要求1所述的一种基于联网监测的黑广播实时识别方法，其特征在于，包括以下步骤：
步骤一：无线电联网监测平台根据黑广播监测需求下达实时黑广播监测任务，无线电联网监测平台连接至相关监测设备开启任务后，将其监测的二进制数据流以socket接口的信息告知给大数据实时处理集群；
步骤二：大数据实时处理集群根据收到的socket接口信息与无线电联网监测平台进行连接，大数据实时处理集群根据任务ID和IP地址启动一个task并启动一个slot资源,实时接受监测数据流；
步骤三：大数据实时处理集群根据每个任务ID，调用自动背噪算法和解帧算法，对监测数据流进行解帧，并将解帧后数据放入slot资源中，同时大数据实时处理集群按分钟级对slot中电平数据进行聚合，聚合后的数据放入MPP实时电平库中；
步骤四：信号提取模块从MPP数据中获取当前正在执行任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对灰度图的腐蚀和膨胀，剔除异常点数据，并对灰度图的形成任务信号；
步骤五：形成的任务信号和合法信号库中的合法信号进行比对，获取非法黑广播信号；
步骤六：采用广播定位模块根据对比获取的非法广播信号的带宽、中心频率下达测向任务，定位黑广播信号位置。
5.根据权利要求4所述的一种基于联网监测的黑广播实时识别方法，其特征在于：步骤一中，所述无线电联网监测平台在统一无线电监测联网平台下达黑广播编排任务，任务参数包括站点、信号持续时间、信号带宽、信号背噪、频率范围；所述无线电联网监测平台获取任务参数后，对设备下达扫频任务；所述无线电联网监测平台将socket接口的信息告知给大数据实时处理集群。
6.根据权利要求5所述的一种基于联网监测的黑广播实时识别方法，其特征在于：所述信号持续时间为半小时，联网扫频监测任务持续时间大于信号持续时间；所述信号带宽为大于50kHz<带宽<300kHz；所述频率范围包含87MHZ～108MHZ广播频段的频段范围；所述信号背噪支持自动背噪与手动背噪。
7.根据权利要求4所述的一种基于联网监测的黑广播实时识别方法，其特征在于：步骤二中，所述大数据实时处理集群根据黑广播监测应用接口提供的socket接口的IP地址、任务ID进行连接，所述大数据实时处理集群为每个任务启动一个task以及与之相对应的slot资源，实时接收数据流。
8.根据权利要求4所述的一种基于联网监测的黑广播实时识别方法，其特征在于：步骤三中，所述大数据实时处理集群利用无线电解帧算法，对数据流的数据帧进行解帧，同时按分钟进行聚合，所述大数据实时处理集群对每分钟的聚合数据依次写入MPP实时电平库，数据按监测任务、站点为索引，存储监测数据。
9.根据权利要求4所述的一种基于联网监测的黑广播实时识别方法，其特征在于：步骤四中，所述信号提取模块通过分钟级聚合数据按下列步骤进行信号提取：
首先：信号提取模块根据编排任务ID，从MPP中提取分钟级聚合数据，半个小时信号持续时间，提取任务最近1个小时的数据作为信号提取数据；
然后：提取的最近1个小时的数据，根据时间、频点进行排序，形成以频点为列，时间为行，电平值为值的矩阵；
其次：然后使用信号背噪对矩阵中每个点进行判断，形成灰度图；
再次：根据灰度图矩阵进行闭操作，通过对灰度图的腐蚀和膨胀，剔除因偶尔信号抖动、设备误差造成的抖动、毛刺噪声，最终形成光滑无噪声数据的灰度图；
最后：根据信号提取的持续时间、带宽提取信号。
10.根据权利要求4所述的一种基于联网监测的黑广播实时识别方法，其特征在于：步骤五中，将提取的信号和合法信号进行比对，比较方法如下：
根据灰度矩阵得到的信号，提取其信号中频与信号带宽与合法信号的的中频进行比对，两者相似时，则认为是合法信号，不相同则认为是非法信号，并进行上报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911103098.2A CN110943882B (zh) | 2019-11-12 | 2019-11-12 | 一种基于联网监测的黑广播实时识别系统及其识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911103098.2A CN110943882B (zh) | 2019-11-12 | 2019-11-12 | 一种基于联网监测的黑广播实时识别系统及其识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110943882A CN110943882A (zh) | 2020-03-31 |
| CN110943882B true CN110943882B (zh) | 2022-03-01 |
Family
ID=69906713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911103098.2A Active CN110943882B (zh) | 2019-11-12 | 2019-11-12 | 一种基于联网监测的黑广播实时识别系统及其识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110943882B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257529B (zh) * | 2020-10-12 | 2023-11-28 | 浙江原初数据科技有限公司 | 一种无线电信号特征自动提取系统及其提取方法 |
| CN112364056B (zh) * | 2020-10-29 | 2022-12-16 | 浙江原初数据科技有限公司 | 应用于实时大数据场景下的荧光图自动播放系统及方法 |
| CN113194011B (zh) * | 2021-04-29 | 2022-08-26 | 浙江原初数据科技有限公司 | 一种无线电电磁信号环境的自动建立方法及装置 |
| CN113572555B (zh) * | 2021-08-17 | 2023-11-17 | 张立嘉 | 一种基于零样本学习的黑广播监测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491187A (zh) * | 2013-09-30 | 2014-01-01 | 华南理工大学 | 一种基于云计算的大数据统一分析处理方法 |
| CN108446145A (zh) * | 2018-03-21 | 2018-08-24 | 苏州提点信息科技有限公司 | 一种分布式文件自动加载mpp数据库方法 |
| CN108512617A (zh) * | 2018-04-18 | 2018-09-07 | 成都大公博创信息技术有限公司 | 一种航空频段潜在干扰自动预警方法及设备 |
| CN109684422A (zh) * | 2018-12-28 | 2019-04-26 | 河南城建学院 | 一种基于人工智能的大数据平台的单指标预测和预警方法 |
| CN110350993A (zh) * | 2019-08-19 | 2019-10-18 | 浙江原初数据科技有限公司 | 一种大数据场景下基于联网监测的黑广播自动发现方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160306810A1 (en) * | 2015-04-15 | 2016-10-20 | Futurewei Technologies, Inc. | Big data statistics at data-block level |
-
2019
- 2019-11-12 CN CN201911103098.2A patent/CN110943882B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491187A (zh) * | 2013-09-30 | 2014-01-01 | 华南理工大学 | 一种基于云计算的大数据统一分析处理方法 |
| CN108446145A (zh) * | 2018-03-21 | 2018-08-24 | 苏州提点信息科技有限公司 | 一种分布式文件自动加载mpp数据库方法 |
| CN108512617A (zh) * | 2018-04-18 | 2018-09-07 | 成都大公博创信息技术有限公司 | 一种航空频段潜在干扰自动预警方法及设备 |
| CN109684422A (zh) * | 2018-12-28 | 2019-04-26 | 河南城建学院 | 一种基于人工智能的大数据平台的单指标预测和预警方法 |
| CN110350993A (zh) * | 2019-08-19 | 2019-10-18 | 浙江原初数据科技有限公司 | 一种大数据场景下基于联网监测的黑广播自动发现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110943882A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110943882B (zh) | 一种基于联网监测的黑广播实时识别系统及其识别方法 | |
| CN110350993B (zh) | 一种大数据场景下基于联网监测的黑广播自动发现方法 | |
| CN110429708B (zh) | 一种实现配电设备即插即用的方法和系统 | |
| US20080200181A1 (en) | Self-Configuring Wireless Network Location System | |
| CN102076060A (zh) | 基于ZigBee的Wi-Fi接入点发现与选择方法 | |
| CN108848517B (zh) | 一种轨道交通信号覆盖监测方法 | |
| CN101296470A (zh) | 一种支持td-scdma的无线网络覆盖路测软件 | |
| CN105868040A (zh) | 日志采集方法及采集终端 | |
| CN105472651A (zh) | 基站、用户设备及相关方法 | |
| CN110139263B (zh) | 一种移动终端及其定位方法 | |
| EP3456081B1 (en) | Methods and systems for optimizing wireless network performance using behavioral profiling of network devices | |
| CN102917387A (zh) | 对多种无线网络进行监控的方法和移动终端 | |
| CN108563770B (zh) | 一种基于场景的kpi及多维度网络数据清洗方法 | |
| CN102377462A (zh) | 一种交互式选择辅助小区的方法和系统 | |
| CN1652628A (zh) | 移动通信网络测试系统及其方法 | |
| CN104869588A (zh) | Td-scdma/td-lte干扰分析仪及测试方法 | |
| CN105681423A (zh) | 一种基于多路径传输的农机调度方法及监控终端 | |
| CN105722117A (zh) | 一种无线传感器网络通信的信道分配方法及路由器 | |
| CN106358206A (zh) | 一种物联网通信频谱信息的管理方法及系统 | |
| CN106341192A (zh) | 一种发射台信号特征动态识别办法 | |
| CN104735097A (zh) | 信息的收集方法和系统 | |
| CN110958190A (zh) | 一种基于边缘计算网关的工业物联网数据实时上传方法 | |
| CN111343697B (zh) | 通信组网方法及通信系统 | |
| CN101965002A (zh) | 一种无线网络性能管理系统与方法 | |
| CN101964983B (zh) | 蜂窝行驶测试系统网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Tu Yongsheng Inventor after: Ma Gaofeng Inventor after: Hao Xin Inventor before: Ma Gaofeng Inventor before: Tu Yongsheng Inventor before: Hao Xin |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Real time Identification System for Black Broadcasting Based on Internet Monitoring and Its Identification Method Granted publication date: 20220301 Pledgee: Hangzhou branch of Bank of Nanjing Co.,Ltd. Pledgor: Zhejiang Yuanchu Data Technology Co.,Ltd. Registration number: Y2024980023572 |