CN113973090B - 在通信网络中处理大数据的装置及方法 - Google Patents

在通信网络中处理大数据的装置及方法 Download PDF

Info

Publication number
CN113973090B
CN113973090B CN202111211130.6A CN202111211130A CN113973090B CN 113973090 B CN113973090 B CN 113973090B CN 202111211130 A CN202111211130 A CN 202111211130A CN 113973090 B CN113973090 B CN 113973090B
Authority
CN
China
Prior art keywords
data
vector
vectors
orthogonal
data vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111211130.6A
Other languages
English (en)
Other versions
CN113973090A (zh
Inventor
张善睿
张琳
S·宾德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beigu Electronics Co ltd
Beigu Electronics Wuxi Co ltd
Original Assignee
Beigu Electronics Wuxi Co ltd
Beigu Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beigu Electronics Wuxi Co ltd, Beigu Electronics Co ltd filed Critical Beigu Electronics Wuxi Co ltd
Priority to CN202111211130.6A priority Critical patent/CN113973090B/zh
Publication of CN113973090A publication Critical patent/CN113973090A/zh
Application granted granted Critical
Publication of CN113973090B publication Critical patent/CN113973090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/32Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/75Information technology; Communication
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/10Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/20Information sensed or collected by the things relating to the thing itself
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/10Detection; Monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明涉及在通信网络中处理大数据的装置及方法,尤其适用于对来自工程机械、车辆的大数据的处理。该大数据处理装置包括通信接口、大数据存储库和处理器。通信接口用于从设置于例如工程机械、车辆等的多个物联网发射机接收数据流,从数据流中获取数据值,将获取到的数据值排列成接收数据向量,并存储于大数据存储库中。处理器用于:从大数据存储库中获取数据向量,得到一组被获取数据向量;用正交滤波器组对一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量;确定每个滤波后数据向量的能量;丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的缩集。

Description

在通信网络中处理大数据的装置及方法
技术领域
本发明涉及数据处理,更具体地,涉及一种用于处理和存储来自物联网源的大数据的装置和方法。
背景技术
物联网(IoT)是指大量物理设备连接到一个或多个通信网络,以便彼此或与其他网络实体收集和交换数据。物联网设备大多是嵌入式的,包括传感器、通信接口和其他元件,以实现传感和网络连接。
越来越多的物联网设备是为消费者使用而产生的,例如车联网、家庭自动化系统、可穿戴技术、联网健康设施和具有远程监控功能的设备。
大量的物联网设备可以随时生成和传输大量数据,以下称为大数据。这些大数据可以源自制造工厂的机器上的传感器记录的机器参数,或是在室内、医院或其它场所监控的环境记录,还可以是通过用户设备(如智能手机或其他移动设备)传输的消息或文字。
以移动工程机械和车辆组成的物联网为例,这些机械和车辆可能遍布于全国各地的室内外建筑工地、矿山等场所,涵盖装载机、挖掘机、高空车辆等不同类型的机械。当同样的工程机械应用于不同的工作环境下,例如挖沙的挖掘机和挖石子的挖掘机,其部件损耗位置及损耗程度、电机的运行参数是存在很大差异的。为了掌握每一台工程机械的工作参数及环境参数,以便及时加以维护,避免工程机械在使用过程中发生故障,可以通过工程机械和车辆上的电控系统以及用户终端,采集指示不同气候条件(如温度、湿度、GPS位置等)和工作条件(如电机等主要电气部件的输入电流、输出电流、温度、振动等)的实时数据,并将数据传输到大数据平台进行处理和分析。通过环境数据和设备数据,可以识别和判断工况,为每一台移动工程机械和车辆制定独特的维护计划。
由于物联网架构已不仅仅局限于同一场所的所有机械,通过GPS、5G或其他通信网络可将不同场所的机械以通信方式连接起来构成更大规模的物联网架构,此类大规模物联网架构每天产生的数据量是惊人的。为了处理和存储大数据,需要大量的存储资源。因此,需要一种改进的大数据处理装置及方法,用于在通信网络中高效地处理和存储大数据。
发明内容
为实现上述和其他目的,本发明提供了一种改进的在通信网络中处理大数据的装置和相应方法,其中,该装置用于从通信网络中的多个物联网源接收大数据流,大数据流可包括数据包,每个数据包形成数据向量。其中,数据包的数字数据值形成数据向量的分量。
举例来说,如果数据包具有例如十个数字数据值,则这十个数字数据值形成数据向量的十个分量。通常,根据数据处理或传输方案,可以获得实数或复数的数据向量。
本发明的实施例能够获取多个数据向量以得到由数据向量形成的大数据集,并且可以仅查看数据空间的某些维度以使得大数据可管理。
就此而言,本发明的实施例可实现通信网络中接收的数据量的减少以节省数据的存储空间。由此,本发明的实施例也能够降低处理数据的计算复杂度。
更具体地,本发明的第一方面涉及一种用于在通信网络中处理大数据的装置,其中所述通信网络被布置为支持多个物联网(IoT)发射机的通信并且所述装置包括通信接口、大数据存储库和处理器。
通信接口被配置为通过通信网络从多个物联网发射机接收数据流,从数据流中获取数据值,将获取到的数据值排列成接收数据向量。大数据存储库被配置为存储接收数据向量。大数据存储库可以实现为具有存储单元(例如固态存储驱动器)的数据存储。在一个实施例中,大数据存储库可以实现为网络存储或云存储。
处理器被配置为:从大数据存储库中获取数据向量以得到一组被获取数据向量;用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量,其中,所述正交滤波器组包括多个第一正交滤波器,每个第一正交滤波器包括由数字滤波器值排列成的滤波器系数向量,所述多个第一正交滤波器的各个滤波器系数向量共同定义出正交向量空间,其中,每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影;确定每个滤波后数据向量的能量;以及丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的缩集。
在一个实施例中,滤波后数据向量的能量可以被确定为各向量系数的平方和的平方根。
由此,提供了一种改进的装置,允许高效地处理来自通信网络中的多个物联网发射机的数据流并减少用于存储数据流的计算资源。
在另一种可能的实现形式中,处理器被配置为:用另一个正交滤波器组对被获取数据向量的缩集中的每一个被获取数据向量进行滤波,以获得进一步滤波数据向量,所述另一个正交滤波器组包括多个正交滤波器,每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量,多个正交滤波器的各个滤波器系数向量共同定义另一个正交向量空间,其中,每个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影;确定每个进一步滤波后数据向量的能量;以及从被获取数据向量的缩集中丢弃与具有低于另一预定能量阈值的能量的进一步滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的进一步缩集。
在一个实施例中,另一个正交向量空间具有与正交向量空间相同的维度或更少的维度。这可有效减少用于处理及存储数据流的计算资源。
在另一种可能的实现形式中,所述处理器用于根据一段时间内从所述多个物联网发射机接收的数据流的量以及所述大数据存储库的剩余容量来调整所述预定能量阈值和/或用所述另一个正交滤波器组对所述被获取数据向量的缩集中的每一个被获取数据向量进行滤波。这可有效减少用于存储数据流的计算资源。
在另一种可能的实现形式中,处理器被配置为丢弃能量低于预定能量阈值的滤波后数据向量,以获得代表所述一组被获取数据向量的滤波后数据向量的缩集。有利地,这能够有效地减少数据空间的维度以及减少处理数据流的计算复杂度。数据空间减少是因为将得到更少的基于滤波后数据向量的被获取数据向量。
在另一种可能的实现形式中,处理器用于发出丢弃信号,大数据存储库用于响应于丢弃信号,删除与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量。这可减少用于有效存储数据流的计算资源。
在另一种可能的实现形式中,处理器用于发出覆盖信号,覆盖信号指示将被具有高于预定能量阈值的能量的滤波后数据向量代替的被获取数据向量,大数据存储库用于响应覆盖信号,用滤波后数据向量覆盖丢弃的被获取数据向量。这可减少用于有效存储数据流的计算资源。
在另一种可能的实现形式中,处理器被配置为将被获取数据向量的缩集排列成向量矩阵,对向量矩阵进行奇异值分解以确定向量矩阵的特征值,并丢弃与低于特征值阈值的特征值相关联的被获取数据向量。这可减少用于处理数据流的计算资源并高效地从数据流中提取有用的信息。
在另一种可能的实现形式中,一组物联网发射机中的物联网发射机由分组标识符标识,处理器用于选择与分组标识符关联的正交滤波器组。
在另一种可能的实现形式中,处理器用于从正交滤波器组的预定集合中选择正交滤波器组。这可高效地对被获取数据向量进行滤波。
在一个实施例中,通信网络被配置为支持另一组物联网发射机的通信,并通过另一分组标识符来标识另一组物联网发射机。这可实现对接收自另一组物联网发射机的数据流的被获取数据向量的高效过滤。
在另一种可能的实现形式中,所述通信接口用于按照5G通信标准进行通信,从而允许通过5G网络有效地从一组物联网发射机传输数据流。
本发明的第二方面涉及一种用于在通信网络中处理大数据的方法,其中,该通信网络被布置为支持多个物联网(IoT)发射机的通信。
该方法包括以下步骤:通过通信接口经由通信网络从多个物联网发射机接收数据流;通过通信接口从数据流中获取数据值;排列获取到的数据值以形成接收数据向量;将接收数据向量存储在大数据存储库中;从大数据存储库中获取数据向量以得到一组被获取数据向量;用正交滤波器组对一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量,其中,正交滤波器组包括多个正交滤波器,每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量,多个正交滤波器的各个滤波器系数向量共同定义出正交向量空间,其中,每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影;确定每个滤波后数据向量的能量;以及丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的缩集。
由此,提供了一种改进的方法,允许有效地处理来自通信网络中的多个物联网发射机的数据流并减少用于存储数据流的计算资源。
在一个实施例中,该方法由第一方面的装置执行。
在附图和以下描述中阐述了一个或多个实施例的细节。结合附图和以下描述,本发明的特征、目的和优点将更清楚。
附图说明
以下具体实施方式将参考并结合附图进行更详细的描述。
图1示出了本发明一实施例的大数据处理装置的示意图。
图2示出了本发明另一实施例的大数据处理装置的示意图。
图3示出了根据一个实施例的采用正交滤波器组对一组数据向量进行滤波操作的简化示意图。
图4示出了根据本发明一实施例的大数据处理方法的流程图。
附图中的相同附图标记表示相同或至少功能上等效的特征。
具体实施方式
以下参考附图对本发明进行详细描述,这些附图构成本发明的一部分,旨在通过说明的方式展示本发明的实施例的特定方面。应当理解,实施例可用于其他方面并且可包括图中未描绘的结构或逻辑变化。因此,以下具体实施方式的描述不应被视为限制性的。本发明的保护范围由权利要求限定。
应当理解,与所描述的方法相关的公开内容也可以适用于被配置为执行所述方法的相应装置或系统,反之亦然。例如,如果描述了一个或多个具体的方法步骤,则相应的装置可以包括一个或多个单元,例如功能单元,以执行所描述的一个或多个方法步骤(例如,一个单元执行一个或多个步骤,或者多个单元中的每个单元执行多个步骤中的一个或多个步骤),即使这样的一个或多个单元没有在图中明确描绘或图示。另一方面,如果基于一个或多个单元(例如功能单元)来描述特定装置,则相应的方法可以包括执行一个或多个单元的功能的一个步骤(例如通过一个步骤来执行所述一个或多个单元的功能),或者可包括多个步骤,其中每个步骤执行多个单元中的一个或多个单元的功能,即使这样的一个或多个步骤没有在图中明确描绘或图示。此外,应当理解,除非特别指出,否则本发明描述的各种示例性实施例和/或方面的特征可以彼此组合。
本发明的大数据处理装置和方法可应用于各类物联网场景,包括但不限于车联网、家庭自动化系统、可穿戴技术、联网健康设施和具有远程监控功能的设备。作为共同点,物联网中的每一个设备均能够采集和传输数据,即具有物联网发射机,此类数据包括但不限于机器参数、环境参数、用户参数、消息文字等。以下描述中的物联网发射机,即可指代任何物联网设备内置或外接的可用于采集和传输数据的部件,或部件的组合,或该物联网设备本身。此类部件可包括温度传感器、湿度传感器、陀螺仪、GPS定位仪、电流检测装置、电压检测装置、电阻仪、力传感器、摄像头、麦克风、天线等。
图1示出了根据一实施例的大数据处理装置100的示例性图式,该装置100连接到通信网络140,该通信网络140支持一组物联网(IoT)发射机110a-c的通信。
在一个实施例中,物联网发射机110a-c中的每一个包括用于与其他设备或系统通信的传感器、软件和/或通信接口。这些物联网发射机110a-c可被配置为应用于各种场景,例如,车联网、家庭自动化系统、可穿戴技术、联网健康设施和/或具有远程监控功能的设备。
物联网发射机110a-c的示例可包括:工厂制造机器上的传感器,用于安装在家里、医院或其它任何地方的用于监控环境或用户的传感器,或者诸如智能手机、平板电脑或其他移动设备的用户设备。在一个实施例中,物联网发射机110a-c是通过5G通信网络连接的用户设备。
在一个实施例中,一组物联网设备生成并通过各自的物联网发射机110a-c传输大量数据,也就是“大数据”。大数据能够以不同的类型或形式创建,例如文本消息、语音请求、视频、通过数字值或文本或其混合形式等记录的温度或其他传感器记录。此外,大数据可以包括实时数据或在一定时间跨度内(例如1ms、10ms、100ms、1s、10s等)累积的数据。
从图1可以看出,装置100包括通信接口101,其被配置为通过通信网络140从多个物联网发射机110a-c接收数据流。在一个实施例中,通信接口101被配置为根据5G通信标准与多个物联网发射机110a-c进行通信。根据物联网发射机的类型,装置100可接收到表征环境参数(如温度、湿度、GPS位置等)或工作参数(如主要电气部件的输入电流、输出电流、温度、振动等)的不同数据流。
在另一实施例中,装置100是网络实体,其可被视为5G系统中的单独网络实体和/或可与5G系统的一个或多个网络功能或网络实体设置在一起。
在又一实施例中,装置100被配置为从经由通信接口101接收的数据流中获取数据值,并对获取到的数据值进行排列以形成接收数据向量。
从图1可以看出,装置100包括大数据存储库103,其被配置为存储所述接收数据向量。
或者,装置100本身可以不包括存储库,但是装置100可以通过通信网络140与大数据存储库103通信以存储接收数据向量,如图2所示。
图2示出了根据另一实施例的大数据处理装置100的示意图。其中,装置100连接到通信网络140,通信网络140支持一组物联网(IoT)发射机110a-c的通信。需注意的是,图2中的装置100被配置为将经由通信网络140将接收数据向量存储在位于装置100外部的大数据存储库103中。
根据本发明的实施例,装置100还包括处理器105,处理器105被配置为从大数据存储库103中获取数据向量以得到一组被获取数据向量,并采用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波,以获得滤波后数据向量。
图3示出了根据实施例的采用正交滤波器组对一组被获取数据向量进行的滤波操作的简化示意图。图中,向量[a1 a2 a3]示意性地表示被获取数据向量,也就是从大数据存储库中获取的接收数据向量。a1、a2、a3分别表示该数据向量的分量(或元素),a1、a2、a3可以是实数,也可以是复数。显然,数据向量中分量的数目是可以根据实际需要或者计算资源的分配来调整的,图示的[a1 a2 a3]并不构成任何限制。矩阵示意性地表示正交滤波器组,从图中可以看出,正交滤波器组包括多个正交滤波器(图示为9个),并且每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量,图中分别示意性地表示为c1、c2、c3、d1、d2、d3、e1、e2、e3。这些滤波器系数向量共同定义了正交向量空间,通过改变滤波器系数向量的个数和排列(即改变图示矩阵的行数和列数),可调整正交向量空间的维度。显然,正交滤波器组中的正交滤波器个数可根据实际需要或者计算资源的分配来调整,不应以图中所示为限。图中,向量[f1 f2 f3]表示滤波后数据向量,即采用正交滤波器组对被获取数据向量进行滤波操作后的结果,其中,每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影。同样地,图示的[f1 f2 f3]仅为一种示例,不应对本发明构成任何限制。
为了减小被获取数据向量和/或滤波后数据向量的大小,装置100的处理器105被配置为确定每个滤波后数据向量的能量,并丢弃对应于那些能量低于预定能量阈值的滤波后数据向量的被获取数据向量,以得到被获取数据向量的缩集,即一组减少的被获取数据向量。在一个实施例中,滤波后数据向量的能量可以是各向量系数的平方和的平方根。
在进一步的实施例中,处理器还被配置为用另一个正交滤波器组对被获取数据向量的缩集中的每一个被获取数据向量进行滤波,以获得进一步滤波后数据向量。其中,另一个正交滤波器组包括多个正交滤波器,每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量,并且多个正交滤波器的滤波器系数向量共同定义出另一个正交向量空间。从而使得,每一个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影。
同样地,为了进一步减小被获取数据向量和/或滤波后数据向量的大小,装置100的处理器105被配置为确定每一个进一步滤波后数据向量的能量,并且从被获取数据向量的缩集中丢弃对应于那些能量低于进一步预定能量阈值的进一步滤波后数据向量的被获取数据向量,以得到被获取数据向量的进一步缩集,也就是在被获取数据向量的缩集基础上,进一步减少了被获取数据向量的数目。
在一个实施例中,所述另一个正交向量空间具有与正交向量空间相同的维度。在另一个实施例中,所述另一个正交向量空间具有比正交向量空间更少的维度,从而可以减少用于处理以及存储数据流的计算资源。
上述正交滤波过程可以理解为对原始数据,即被获取数据向量,在空间维度上的压缩。并且,通过正交滤波过程的逆过程,可将压缩数据还原为原始数据。因此,通过正交滤波过程能够实现大数据的压缩存储。
在一个实施例中,处理器被配置为丢弃能量低于预定能量阈值的滤波后数据向量,以获得代表所述一组被获取数据向量的滤波后数据向量的缩集。因此,本发明的实施例允许减少从一组物联网发射机获取到的数据向量,以节省数据向量的存储空间。此外,本发明的实施例能够降低处理来自一组物联网发射机的数据向量的计算复杂度。
需要说明的是,滤波后数据向量的能量的含义取决于本申请所应用的具体场景。
各滤波后数据向量及其能量,取决于所选的正交滤波器组,并且与对应的物联网发射机的应用场景中的物理量相关联,这些物理量例如可以是制造工厂中的机器参数,或者是室内、室外环境中的录音、录像等。
通过计算由正交滤波器组产生的每个滤波后数据向量的能量,可以判断相对于一参考标准,与每个滤波后数据向量相关联的该物理量值的“重要性”。换句话说,基于滤波后数据向量的能量,使用者可以区分对于特定应用场景而言更重要或更不重要的数据向量。
在下文中,将更详细地描述一些示例性应用场景以说明“能量”的含义。
例如,在晶圆制造厂中检测环境异常的应用场景中,多个物联网发射机可实施为监测任何异常振动的传感器。在这种情况下,能量可以表示传感器检测到的任何振动的“信号强度”。
由于信号强度低于预定阈值的微弱振动可能难以从背景噪声中分离出来,并且也可能不会影响正在生产的晶圆的质量,因此它并不重要,可以忽略。
又例如,在检测私人场所中是否出现未授权者的应用场景中,多个物联网发射机可实施为监控私人场所不同角落的红外摄像机。在这种情况下,能量可以表示红外摄像机检测到的“温度变化”。
由于私人场所的环境温度在一天内可能会略有变化,例如由于太阳照射角的变化或其他天气条件的变化,温度在预定阈值以下的轻微变化可能只是由于环境的自然变化造成,因此并不重要,可以忽略。
再例如,本申请还可能应用于检测“瞬态天文事件”的又一应用场景中,其中瞬态天文事件经常突然和意外地发生,并且在某个特定频率范围内产生巨大的能量爆炸。因此,只有使用不同频率范围内的不同卫星和望远镜连续监测整个天空,才有可能检测到瞬态事件,从而产生大量的观测数据。
为了处理如此大量的观测数据,一种实用且有利的方法是使用合适的正交滤波器组将数据分解成不同的频率区间,以找出在哪个频率范围内被监测对象改变了亮度。例如,伽马射线暴的瞬态事件仅在伽马射线的频率范围内产生超高的亮度,但在其他光学范围内的亮度几乎没有变化。
在该应用场景下,能量表示特定频率范围内的“亮度变化”,其中能量值越大,被监控对象的亮度增幅越大。只关注特定频率范围内亮度的显著增加,可以高效快速地识别未知的瞬态事件。
尽管以上只是某些应用场景的举例,但是本领域技术人员从中可以一般地归纳出正交滤波器组的设计和使用方法。通过采用与一组物联网发射机相关联的正交滤波器组对数据向量进行滤波,并丢弃能量未达到阈值的数据向量,可以有效滤除不重要的数据向量、保留重要的数据向量,从而一方面可以节省大数据存储资源,另一方面可以简化数据运算过程。本领域技术人员应当理解的是,本申请并不局限于上面列举的应用场景,可以根据实际需要进行任意修改和应用。
无论在上述哪种参数或其它参数下,用户都可以根据历史数据统计结果、机器学习结果等,为相应的物理参数设置合理的阈值,并根据正交滤波器组的转换关系,得出对应的能量阈值。
根据实施例,各个预定能量阈值的值可以存储在大数据存储库103中,或者可以由处理器105来确定。在进一步的实施例中,各个预定能量阈值的值还可以根据一段时间内从多个物联网发射机110a-c接收的数据流的量以及大数据存储库103的剩余容量来调整。
在一个实施例中,处理器105被配置为发出丢弃信号,并且大数据存储库103被配置为响应于所述丢弃信号来删除与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量。
在进一步的实施例中,处理器105被配置为发出覆盖信号,该覆盖信号指示将被具有高于预定能量阈值的能量的滤波后数据向量代替的被获取数据向量,并且大数据存储库103被配置为响应于覆盖信号,采用滤波后数据向量覆盖丢弃的被获取数据向量。
在一个实施例中,处理器105被配置为对被获取数据向量的缩集进行排列以形成向量矩阵,并对向量矩阵执行奇异值分解(SVD),以确定向量矩阵的特征值。在执行SVD技术后,处理器105被配置为丢弃那些特征值低于特征值阈值的被获取数据向量。
采用SVD技术可减少用于存储被获取数据向量的计算资源以及降低处理被获取数据向量的计算复杂度,同时仍然保留着被获取数据向量携带的重要信息。
在一个实施例中,处理器被配置为从正交滤波器组的预定集合中选择正交滤波器组。根据实施例,正交滤波器组的预定集合可以存储在大数据存储库103中,从而允许以高效的方式对被获取数据向量进行滤波。
在一个实施例中,一组物联网发射机中的每一个物联网发射机由分组标识符标识,并且处理器被配置为选择与分组标识符相关联的正交滤波器组。
在选用正交滤波器组方面,包括更多数目的正交滤波器的滤波器组相比于包括更少数目的正交滤波器的滤波器组可达到更高的准确性,因为前者比后者允许查看数据空间内更多的特定维度。
基于此,包含更多正交滤波器的滤波器组适合应用于需要更高精度或更高可靠性的参数数据的滤波存储。而那些对精度要求不高的参数数据可采用包含较少正交滤波器的滤波器组来处理。
为此,可以给物联网发射机分配表征不同精度的分组标识符。例如,给精度要求高的物联网发射机分配第一分组标识符,给精度要求低的物联网发射机分配第二分组标识符。处理器105可根据分组标识符选择不同的正交滤波器组来进行滤波,以达到不同程度的数据压缩存储。显然,对于精度高低的划分、分组标识符数目的确定、相应的正交滤波器组的设计可以根据实际应用需求进行选择。
在一个实施例中,通信网络被配置为支持另一组物联网发射机的通信,并且装置的处理器被配置为通过另一分组标识符来标识另一组物联网发射机。
在一个实施例中,装置100的处理器105被配置为基于物联网发射机的数目、物联网发射机所应用的场景、物联网设备生成的数据类型和/或数据大小来给各组物联网发射机分配不同的标识符。
在进一步的实施例中,大数据存储库103被配置为根据各组物联网发射机的相关标识符来存储相应的被获取数据向量的缩集。
图4是根据一实施例的在支持多个物联网发射机110a-c的通信的通信网络140中处理大数据的方法400的流程图。方法400包括以下步骤:
401:通过通信接口101经由通信网络140从多个物联网发射机110a-c接收数据流;
403:通过通信接口101从数据流中获取数据值;
405:排列获取到的数据值以形成接收数据向量;
407:将接收数据向量存储在大数据存储库103中;
409:从大数据存储库103中获取数据向量,以得到一组被获取数据向量;
411:采用正交滤波器组对一组被获取数据向量中的每一个进行滤波,以获得一组滤波后数据向量,其中,所述正交滤波器组包括多个正交滤波器,每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量,所述多个正交滤波器的各个滤波器系数向量共同定义出正交向量空间,其中,每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影;
413:确定每个滤波后数据向量的能量;以及
415:丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的缩集。
方法400提供了有效处理从通信网络中的多个物联网发射机传输的数据流并且显著减少用于存储数据流的计算资源的优点。
应当理解,在本申请提供的几个实施例中,所公开的系统、装置和方法可以通过其他方式实现。例如,所描述的装置实施例仅仅是示例性的。例如,单元划分只是逻辑功能划分,在实际实现中可能是其他划分。例如,多个单元或组件可以组合或集成到另一个系统中,或者可以忽略或不执行某些特征。另外,所显示或讨论的相互耦合或直接连接或通信连接可以通过使用一些接口来实现。装置或单元之间的间接连接或通信连接可以以电子、机械或其他形式实现。
被描述为独立部件的单元可以是物理上分开的,也可以是物理上不分开的;显示为单元的部件可以是物理单元,也可以不是物理单元,可以位于一个位置,或者可以分布于多个网络单元上。可以根据实际需要选择其中的部分或者全部单元来实现本实施方案的目的。
另外,本发明实施例中的功能单元可以集成为一个处理单元,也可以每个单元物理上单独存在,或者两个或多个单元集成为一个单元。

Claims (8)

1.一种用于在通信网络(140)中处理大数据的装置(100),所述通信网络(140)用于支持多个物联网发射机(110a-c)的通信,其特征在于,所述装置(100)包括:
通信接口(101),用于经由所述通信网络(140)从所述多个物联网发射机(110a-c)接收数据流,从数据流中获取数据值,以及将获取到的数据值排列成接收数据向量;
大数据存储库(103),用于存储所述接收数据向量;
处理器(105),用于:
从所述大数据存储库(103)中获取接收数据向量,以得到一组被获取数据向量;
用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量,其中,所述正交滤波器组包括多个第一正交滤波器,每个第一正交滤波器包括由数字滤波器值排列成的滤波器系数向量,所述多个第一正交滤波器的各个滤波器系数向量共同定义出正交向量空间,其中,每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影;
确定每个滤波后数据向量的能量;
丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的缩集;
用另一个正交滤波器组对所述被获取数据向量的缩集中的每一个被获取数据向量进行滤波,以获得进一步滤波后数据向量,所述另一个正交滤波器组包括多个第二正交滤波器,每个第二正交滤波器包括由数字滤波器值排列成的滤波器系数向量,所述多个第二正交滤波器的各个滤波器系数向量共同定义出另一个正交向量空间,其中,每个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影;
确定每个进一步滤波后数据向量的能量;以及
从被获取数据向量的缩集中丢弃与具有低于另一预定能量阈值的能量的进一步滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的进一步缩集。
2.如权利要求1所述的装置(100),其特征在于,所述处理器(105)用于丢弃能量低于预定能量阈值的滤波后数据向量,以获得代表所述一组被获取数据向量的滤波后数据向量的缩集。
3.如权利要求1或2所述的装置(100),其特征在于,所述处理器(105)用于发出丢弃信号,所述大数据存储库(103)用于响应于所述丢弃信号来删除与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量。
4.如权利要求1或2所述的装置(100),其特征在于,所述处理器(105)用于发出覆盖信号,所述覆盖信号指示将被具有高于预定能量阈值的能量的滤波后数据向量代替的被获取数据向量,其中,所述大数据存储库(103)用于响应于所述覆盖信号来用滤波后数据向量覆盖丢弃的被获取数据向量。
5.如权利要求1或2所述的装置(100),其特征在于,所述处理器(105)用于将被获取数据向量的缩集排列成向量矩阵,对所述向量矩阵进行奇异值分解,以确定所述向量矩阵的特征值,并丢弃与低于特征值阈值的特征值相关联的被获取数据向量。
6.如权利要求1或2所述的装置(100),其特征在于,所述处理器(105)用于从正交滤波器组的预定集合中选择所述正交滤波器组和所述另一个正交滤波器组。
7.如权利要求1或2所述的装置(100),其特征在于,所述通信接口(101)用于根据5G通信标准进行通信。
8.一种用于在通信网络(140)中处理大数据的方法(400),所述通信网络(140)用于支持多个物联网发射机(110a-c)的通信,其特征在于,所述方法(400)包括:
通过通信接口(101)经由所述通信网络(140)从所述多个物联网发射机(110a-c)接收(401)数据流;
通过所述通信接口(101)从所述数据流中获取(403)数据值;
排列(405)获取到的数据值以形成接收数据向量;
将所述接收数据向量存储(407)在大数据存储库(103)中;
从所述大数据存储库(103)中获取(409)接收数据向量以得到一组被获取数据向量;
用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波(411)以得到一组滤波后数据向量,其中,所述正交滤波器组包括多个第一正交滤波器,每个第一正交滤波器包括由数字滤波器值排列成的滤波器系数向量,所述多个第一正交滤波器的各个滤波器系数向量共同定义出正交向量空间,其中,每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影;
确定(413)每个滤波后数据向量的能量;
丢弃(415)与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的缩集;
用另一个正交滤波器组对所述被获取数据向量的缩集中的每一个被获取数据向量进行滤波,以获得进一步滤波后数据向量,所述另一个正交滤波器组包括多个第二正交滤波器,每个第二正交滤波器包括由数字滤波器值排列成的滤波器系数向量,所述多个第二正交滤波器的各个滤波器系数向量共同定义出另一个正交向量空间,其中,每个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影;
确定每个进一步滤波后数据向量的能量;以及
从被获取数据向量的缩集中丢弃与具有低于另一预定能量阈值的能量的进一步滤波后数据向量相关联的被获取数据向量,以得到被获取数据向量的进一步缩集。
CN202111211130.6A 2021-10-18 2021-10-18 在通信网络中处理大数据的装置及方法 Active CN113973090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111211130.6A CN113973090B (zh) 2021-10-18 2021-10-18 在通信网络中处理大数据的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111211130.6A CN113973090B (zh) 2021-10-18 2021-10-18 在通信网络中处理大数据的装置及方法

Publications (2)

Publication Number Publication Date
CN113973090A CN113973090A (zh) 2022-01-25
CN113973090B true CN113973090B (zh) 2023-12-08

Family

ID=79587603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111211130.6A Active CN113973090B (zh) 2021-10-18 2021-10-18 在通信网络中处理大数据的装置及方法

Country Status (1)

Country Link
CN (1) CN113973090B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490516A (en) * 1990-12-14 1996-02-13 Hutson; William H. Method and system to enhance medical signals for real-time analysis and high-resolution display
CN1890909A (zh) * 2003-10-08 2007-01-03 高通股份有限公司 Mimo系统中用于本征模式发射的接收机空间处理
CN1922789A (zh) * 2004-01-30 2007-02-28 拉瓦尔大学 多用户自适应阵列接收机与方法
CN102113277A (zh) * 2008-08-07 2011-06-29 高通股份有限公司 在无线通信系统中用于基于定时器的丢弃的高效分组处理
CN103017886A (zh) * 2012-12-03 2013-04-03 暨南大学 保偏光纤光栅二维矢量振动传感仪
DE112013000845T5 (de) * 2012-04-26 2014-10-23 International Business Machines Corporation Verfahren und Einheit zur Datenfilterung an komprimierten Datenvektoren
CN105245608A (zh) * 2015-10-23 2016-01-13 同济大学 基于自编码网络的车联网网络节点筛选及其通达性路由构建方法
CN107409152A (zh) * 2015-03-12 2017-11-28 英特尔公司 用于压缩通过网络接收的数据的方法和装置
WO2018140460A1 (en) * 2017-01-24 2018-08-02 The Trustees Of Princeton University System and method for energy efficient sensors with compression, artificial intelligence, and security
CN109144277A (zh) * 2018-10-19 2019-01-04 东南大学 一种基于机器学习实现脑控智能小车的构建方法
US10223393B1 (en) * 2015-06-25 2019-03-05 Amazon Technologies, Inc. Efficient processing of source code objects using probabilistic data structures
CN109830286A (zh) * 2019-02-13 2019-05-31 四川大学 基于非参数统计的脑功能磁共振编码能量成像方法
CN110023782A (zh) * 2016-11-29 2019-07-16 皇家飞利浦有限公司 用于对超声图像杂波滤波的方法和系统
WO2019140047A1 (en) * 2018-01-10 2019-07-18 The Trustees Of Princeton University System and method for smart, secure, energy-efficient iot sensors
EP3528433A1 (en) * 2018-02-16 2019-08-21 Tata Consultancy Services Limited Data analyses using compressive sensing for internet of things (iot) networks
WO2019229738A1 (en) * 2018-05-29 2019-12-05 Sound Object Technologies S.A. System for decomposition of digital sound samples into sound objects
CN110662042A (zh) * 2018-06-29 2020-01-07 英特尔公司 用于视频处理的准确全局运动补偿的全局运动估计和建模
CN112381233A (zh) * 2020-11-20 2021-02-19 北京百度网讯科技有限公司 数据压缩方法、装置、电子设备和存储介质
CN113641684A (zh) * 2021-10-18 2021-11-12 上海英哈科技有限公司 物联网大数据处理装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076844A1 (en) * 2001-10-19 2003-04-24 Mohammad Usman Method and system for filtering a signal and providing echo cancellation using an adaptive length filter
US7430245B2 (en) * 2004-07-02 2008-09-30 Qualcomm Incorporated Time-domain transmit and receive processing with channel eigen-mode decomposition for MIMO systems
US10372872B2 (en) * 2016-04-22 2019-08-06 The Boeing Company Providing early warning and assessment of vehicle design problems with potential operational impact
US10880409B2 (en) * 2017-02-20 2020-12-29 Cisco Technology, Inc. Mixed qualitative, quantitative sensing data compression over a network transport

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490516A (en) * 1990-12-14 1996-02-13 Hutson; William H. Method and system to enhance medical signals for real-time analysis and high-resolution display
CN1890909A (zh) * 2003-10-08 2007-01-03 高通股份有限公司 Mimo系统中用于本征模式发射的接收机空间处理
CN1922789A (zh) * 2004-01-30 2007-02-28 拉瓦尔大学 多用户自适应阵列接收机与方法
CN102113277A (zh) * 2008-08-07 2011-06-29 高通股份有限公司 在无线通信系统中用于基于定时器的丢弃的高效分组处理
CN104335176A (zh) * 2012-04-26 2015-02-04 国际商业机器公司 用于对压缩的数据矢量进行数据挖掘的方法和设备
DE112013000845T5 (de) * 2012-04-26 2014-10-23 International Business Machines Corporation Verfahren und Einheit zur Datenfilterung an komprimierten Datenvektoren
CN103017886A (zh) * 2012-12-03 2013-04-03 暨南大学 保偏光纤光栅二维矢量振动传感仪
CN107409152A (zh) * 2015-03-12 2017-11-28 英特尔公司 用于压缩通过网络接收的数据的方法和装置
US10223393B1 (en) * 2015-06-25 2019-03-05 Amazon Technologies, Inc. Efficient processing of source code objects using probabilistic data structures
CN105245608A (zh) * 2015-10-23 2016-01-13 同济大学 基于自编码网络的车联网网络节点筛选及其通达性路由构建方法
CN110023782A (zh) * 2016-11-29 2019-07-16 皇家飞利浦有限公司 用于对超声图像杂波滤波的方法和系统
WO2018140460A1 (en) * 2017-01-24 2018-08-02 The Trustees Of Princeton University System and method for energy efficient sensors with compression, artificial intelligence, and security
WO2019140047A1 (en) * 2018-01-10 2019-07-18 The Trustees Of Princeton University System and method for smart, secure, energy-efficient iot sensors
EP3528433A1 (en) * 2018-02-16 2019-08-21 Tata Consultancy Services Limited Data analyses using compressive sensing for internet of things (iot) networks
WO2019229738A1 (en) * 2018-05-29 2019-12-05 Sound Object Technologies S.A. System for decomposition of digital sound samples into sound objects
CN110662042A (zh) * 2018-06-29 2020-01-07 英特尔公司 用于视频处理的准确全局运动补偿的全局运动估计和建模
CN109144277A (zh) * 2018-10-19 2019-01-04 东南大学 一种基于机器学习实现脑控智能小车的构建方法
CN109830286A (zh) * 2019-02-13 2019-05-31 四川大学 基于非参数统计的脑功能磁共振编码能量成像方法
CN112381233A (zh) * 2020-11-20 2021-02-19 北京百度网讯科技有限公司 数据压缩方法、装置、电子设备和存储介质
CN113641684A (zh) * 2021-10-18 2021-11-12 上海英哈科技有限公司 物联网大数据处理装置及方法

Also Published As

Publication number Publication date
CN113973090A (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN111784026B (zh) 基于云边端协同感知的变电站电气设备全方位体检系统
CN113641684B (zh) 物联网大数据处理装置及方法
EP3406031A1 (en) Method and apparatus for the detection of distortion or corruption of cellular communication signals
CN105376335B (zh) 一种采集数据上传方法和装置
CN107231250B (zh) 一种基于电网信息物理系统感知数据压缩采样方法及装置
CN114666156A (zh) 数据安全防护系统、方法、装置、计算机设备和存储介质
CN113973090B (zh) 在通信网络中处理大数据的装置及方法
CN112702219B (zh) 物联网网络监测方法、装置、设备及存储介质
CN209842401U (zh) 一种基于边缘计算的工业传感信号采集器
KR101563736B1 (ko) 가상자원의 위치정보 매핑 방법 및 장치
KR20130054705A (ko) 바이너리 씨디엠에이 통신 기반 유에스엔을 이용한 다목적 지능형 감시장치
CN102636998A (zh) 一套用于空间环境模拟器抽气的自动控制方法及自动控制系统
CN109886041B (zh) 实时数据的采集方法及装置
KR20200045058A (ko) 중소기업의 스마트 팩토리 전환을 위한 위험 감지용 스마트 센싱 및 모니터링 시스템, 그리고 그 방법
JP2017162046A (ja) センサーデータ処理装置、センサーデータ処理システム、センサーデータ処理方法、及び、センサーデータ処理プログラム
Ren et al. ISAAC: Intelligent synchrophasor data real-time compression framework for WAMS
JP6992038B2 (ja) 室内空間で用いられるネットワーク挙動検出器及びそのネットワーク挙動検出方法
CN114168411A (zh) 基于现实拓展技术的设备数字化健康智能管理系统及方法
CN114202025A (zh) 一种多传感器数据融合方法
Abood et al. Design and simulation of video monitoring structure over TCP/IP system using MATLAB
KR20220095764A (ko) IoT 플랫폼 기반 재난상황 판단 시스템
CN114371722B (zh) 数据采集方法、装置、无人机和存储介质
CN114492769B (zh) 数据处理方法、相关设备及系统
CN109165308A (zh) 一种基于云计算的远程取证系统
CN115623092B (zh) 基于电信号的系统监测方法、装置、设备与介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250104 building 20, zhizaogu, 2966 Chunhui Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Beigu Electronics Co.,Ltd.

Address before: 250104 building 20, zhizaogu, 2966 Chunhui Road, high tech Zone, Jinan City, Shandong Province

Applicant before: NORTH VALLEY ELECTRONICS Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231007

Address after: 250104 building 20, zhizaogu, 2966 Chunhui Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Beigu Electronics Co.,Ltd.

Applicant after: Beigu Electronics (Wuxi) Co.,Ltd.

Address before: 250104 building 20, zhizaogu, 2966 Chunhui Road, high tech Zone, Jinan City, Shandong Province

Applicant before: Beigu Electronics Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Building 1 and 1-3 floors of Building 2 of Jinan Energy Industry Park, No. 1815 Gangyuan 7th Road, High tech Zone, Jinan City, Shandong Province, 250104

Applicant after: Beigu Electronics Co.,Ltd.

Applicant after: Beigu Electronics (Wuxi) Co.,Ltd.

Address before: 250104 building 20, zhizaogu, 2966 Chunhui Road, high tech Zone, Jinan City, Shandong Province

Applicant before: Beigu Electronics Co.,Ltd.

Applicant before: Beigu Electronics (Wuxi) Co.,Ltd.