CN116561526A - 基于特征非负矩阵分解的交通数据恢复和异常值检测方法 - Google Patents

基于特征非负矩阵分解的交通数据恢复和异常值检测方法 Download PDF

Info

Publication number
CN116561526A
CN116561526A CN202310831403.XA CN202310831403A CN116561526A CN 116561526 A CN116561526 A CN 116561526A CN 202310831403 A CN202310831403 A CN 202310831403A CN 116561526 A CN116561526 A CN 116561526A
Authority
CN
China
Prior art keywords
matrix
representing
traffic
indicate
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310831403.XA
Other languages
English (en)
Other versions
CN116561526B (zh
Inventor
王浩
余林芳
贺钰昕
何志权
曹文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310831403.XA priority Critical patent/CN116561526B/zh
Publication of CN116561526A publication Critical patent/CN116561526A/zh
Application granted granted Critical
Publication of CN116561526B publication Critical patent/CN116561526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • G06F18/15Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)

Abstract

本发明涉及数据恢复及异常检测技术,揭露了一种基于特征非负矩阵分解的交通数据恢复和异常值检测方法,包括:获取道路交通状态及对应的交通时间段,根据道路交通状态及交通时间段生成交通矩阵;对交通矩阵的秩进行求解,得到矩阵秩;根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵;基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵;获取待分析交通数据,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律。本发明通过约束矩阵及交通矩阵生成优化矩阵,利用优化矩阵进行交通数据恢复及异常值检测,能够提高交通数据进行恢复时的精度及异常值检测时的准确性。

Description

基于特征非负矩阵分解的交通数据恢复和异常值检测方法
技术领域
本发明涉及数据恢复及异常检测技术领域,尤其涉及一种基于特征非负矩阵分解的交通数据恢复和异常值检测方法。
背景技术
交通数据分析的目的之一是从大量的交通数据中提取出道路网络的变化规律,从而优化交通管理、提高人们的出行效率,随着交通网络中分布式传感器系统的快速发展,交通服务部门收集了丰富的实时交通状态数据,然而,目前这些交通数据普遍存在体量大、异常值多、部分数据缺失等特点,给大规模的道路网络数据分析带来了挑战。
非负矩阵分解是一种高效的特征提取和数据降维方法,针对一些交通数据分析的情况来说,非负矩阵分解方法可以很好地实现数据降维、特征提取、异常检测、交通流预测等功能,但现有的基于非负矩阵分解的交通数据分析模型仍存在以下不足:一是只考虑交通数据的全局特征,并未兼顾潜在的局部特征,这会导致交通数据恢复精度较低;二是在无噪声或高斯噪声假设的基础上进行处理,然而,对于实际交通状态数据中的异常值往往难以避免,这会导致大多数方法在实际场景中效果欠佳,交通状态数据中异常值检测的准确性不高;三是使用L1范数来分离提取异常数据,这相当于假设所有异常值服从拉普拉斯分布,不太符合实际情况,并且基于L1范数的方法只能对模型的稀疏度进行间接调整,缺乏对生成模型稀疏度的直接控制;四是基于非负矩阵分解的交通数据恢复模型往往通过反复试验来人为地选择因子矩阵的秩,从而导致数据处理的效率不高。综上,现存技术中存在交通数据进行恢复时的精度较低及异常值检测时的准确性不高的问题。
发明内容
本发明提供一种基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其主要目的在于解决交通数据进行恢复时的精度较低及异常值检测时的准确性不高的问题。
为实现上述目的,本发明提供的一种基于特征非负矩阵分解的交通数据恢复和异常值检测方法,包括:获取道路交通状态及对应的交通时间段,根据道路交通状态及交通时间段生成交通矩阵;对交通矩阵的秩进行求解,得到矩阵秩;根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵;基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵;获取待分析交通数据,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律。
本发明还提供一种基于特征非负矩阵分解的交通数据恢复和异常值检测装置,包括:数据收集和处理模块,用于获取道路交通状态及对应的交通时间段,根据道路交通状态及交通时间段生成交通矩阵;自适应秩选择模块,用于对交通矩阵的秩进行求解,得到矩阵秩;基于L0范数的非负矩阵分解模块,用于根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵;针对L0范数最小化问题的模型求解模块,用于基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵;应用模块,用于获取待分析交通数据,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律。
本发明实施例通过基于L0范数和非负矩阵分解的交通数据处理模型挖掘和分析交通数据中的信息,有效地协助、指导交通服务部门的相关工作;通过对交通矩阵的秩进行求解,缓解了非负矩阵分解时人为选择秩带来的耗时和不可靠问题;通过时空特征和非负矩阵分解的交通数据恢复,充分利用了交通矩阵中潜在的空间多向相关性和时间平滑性与周期性,提高了交通数据恢复的精度;通过L0范数的交通数据异常值检测,可以自适应地调整异常矩阵的稀疏度,即异常值的数量,减小了异常值对交通数据恢复的影响。因此本发明提出的基于特征非负矩阵分解的交通数据恢复和异常值检测方法、装置,可以解决交通数据进行恢复时的精度较低及异常值检测时的准确性不高的问题。
附图说明
图1为本发明一实施例提供的基于特征非负矩阵分解的交通数据恢复和异常值检测方法的流程示意图;
图2为本发明一实施例提供的交通矩阵生成方法的流程示意图;
图3为本发明一实施例提供的矩阵秩求解方法的流程示意图;
图4为本发明一实施例提供的基于特征非负矩阵分解的交通数据恢复和异常值检测装置的功能模块图;
图5为本发明一实施例提供的基于特征非负矩阵分解的交通数据恢复和异常值检测装置的原理示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为解决现有技术中提供的对于交通数据进行恢复时的精度较低及异常值检测时的准确性不高的问题,本发明一实施例提供了一种交通数据恢复和异常值检测方法,该方法为基于特征非负矩阵分解的交通数据恢复和异常值检测方法。
参照图1所示,为本申请一实施例提供的基于特征非负矩阵分解的交通数据恢复和异常值检测方法的流程示意图。在本实施例中,基于特征非负矩阵分解的交通数据恢复和异常值检测方法包括:
S1、获取道路交通状态及对应的交通时间段,根据道路交通状态及交通时间段生成交通矩阵。
在一个实施例中,在现实交通网络中,道路交通数据通常由多个道路标识信息对应的道路交通状态及道路交通状态对应的时间序列组成,因此,将道路交通状态和交通时间段作为研究对象生成交通矩阵,其中,道路交通状态指的是当前道路的交通为正常或异常的状态。
请参阅图2所示,在一个实施例中,前述根据道路交通状态及交通时间段生成交通矩阵的步骤,具体包括如下流程:
S21、获取道路交通状态对应的道路标识信息,根据交通时间段生成时间序列;
S22、根据道路交通状态、道路标识信息、时间序列及交通时间段生成初始交通矩阵;
S23、利用预设的第一公式根据预设的位置矩阵对初始交通矩阵进行更新,得到交通矩阵。
在一个实施例中,将所有交通时间段进行整合,得到时间序列,即时间序列中包含单个道路标识信息对应的所有交通时间段。
在一个实施例中,初始交通矩阵表示为:
其中,表示初始交通矩阵,/>表示第/>个交通时间段内的道路交通状态,/>表示第/>个道路标识信息对应的时间序列,/>表示交通时间段的总数,/>表示道路标识信息的总数,/>表示预设的基础矩阵。
在一个实施例中,第一公式表示为:
其中,表示位置矩阵对应的交通矩阵,/>表示初始交通矩阵,/>表示位置矩阵,表示Hadamard乘积。
在一个实施例中,初始交通矩阵中每个元素都带有时空信息,其中,初始交通矩阵中的矩阵元素表示第/>个道路标识信息在第/>个交通时间段的道路交通状态;然而,由于数据采集设备故障等问题,实际得到的初始交通矩阵往往是不完整的,因此,需要对初始交通矩阵进行更新,得到存在缺失值的交通矩阵;进一步地,交通矩阵中的/>是由‘0’和‘1’构成的位置矩阵,定义为:
其中,表示第/>个道路标识信息在第/>个交通时间段的位置矩阵,/>表示第个道路标识信息在第/>个交通时间段的道路交通状态。
S2、对交通矩阵的秩进行求解,得到矩阵秩。
请参阅图3所示,在一个实施例中,前述对交通矩阵的秩进行求解,得到矩阵秩的步骤,具体包括如下流程:
S31、利用预设的高斯核函数根据交通矩阵构造交通矩阵的相似度矩阵,并利用预设的第二公式根据相似度矩阵计算度矩阵;
S32、利用预设的第三公式根据相似度矩阵及度矩阵计算拉普拉斯矩阵,对拉普拉斯矩阵进行谱分解,得到特征值;
S33、根据特征值计算差值序列,并利用预设的第四公式根据差值序列确定矩阵秩。
在一个实施例中,利用非负矩阵分解的方法将交通矩阵的行和列作为不同对象,在两者的交互中提取原始数据的特征,即矩阵秩,传统的非负矩阵分解中因子矩阵的秩主要是根据先验知识手动选择的,这种通过反复试验手动调整秩的方法非常耗时耗力,根据矩阵摄动理论,拉普拉斯矩阵的第个与第/>个特征值之间的差值越大,由这/>个特征向量构成的子空间越稳定,因此,利用拉普拉斯矩阵的特征值来进行自适应秩选择,具体而言,通过拉普拉斯矩阵特征值差值序列的第一个极大值来确定非负矩阵分解中因子矩阵的秩。
在一个实施例中,高斯核函数表示为:
其中,表示第/>个道路标识信息及第/>个道路标识信息对应的相似度矩阵,表示第/>个道路标识信息对应的交通矩阵,/>表示第/>个道路标识信息对应的交通矩阵,/>表示第/>个道路标识信息对应的时间序列,/>表示第/>个道路标识信息对应的时间序列,/>表示第/>个道路标识信息在交通矩阵中位置矩阵所对应的行,/>表示第/>个道路标识信息在交通矩阵中位置矩阵所对应的行,/>表示预设的高斯核的带宽。
在一个实施例中,第二公式表示为:
其中,表示相似度矩阵对应的度矩阵,/>表示第/>个道路标识信息及第/>个道路标识信息的相似度矩阵,/>表示道路标识信息的总数。
在一个实施例中,第三公式表示为:
其中,表示相似度矩阵对应的拉普拉斯矩阵,/>表示相似度矩阵对应的度矩阵,/>表示相似度矩阵,/>表示预设的单位矩阵。
在一个实施例中,将经过谱分解得到的特征值进行降序排列,得到的特征序列可以表示为:
其中,表示第/>个特征值,/>,/>表示特征值的总数。
在一个实施例中,根据特征值计算差值序列,包括:利用预设的第五公式根据特征值计算特征差值,并利用预设的第六公式根据特征差值生成差值序列;第五公式表示为:
其中,表示第/>个特征差值,/>表示第/>个特征值,/>表示第/>个特征值,表示特征差值的总数;第六公式表示为:
其中,表示差值序列,/>表示第/>个特征差值,/>表示第/>个特征差值,/>表示第/>个特征差值。
在一个实施例中,第四公式表示为:
其中,表示矩阵秩,/>表示第/>个特征差值,/>表示第/>个特征差值,/>表示第个特征差值。
S3、根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵。
在一个实施例中,根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵,包括:根据矩阵秩对交通矩阵进行分解,得到基矩阵及系数矩阵;对基矩阵进行空间相似性约束,得到第一约束矩阵;对系数矩阵进行时间平滑性与周期性约束,得到第二约束矩阵;将第一约束矩阵及第二约束矩阵作为约束矩阵。
在一个实施例中,根据矩阵秩对交通矩阵进行分解,得到基矩阵及系数矩阵,包括:将交通矩阵进行初始分解,得到第一交通矩阵;利用预设的第七公式根据矩阵秩对第一交通矩阵进行划分,得到基矩阵及系数矩阵。
在一个实施例中,由于真实的道路交通数据中不仅存在一般噪声,而且还存在异常值,这些异常值是由偶然的特殊事件导致道路交通状态的急剧变化所产生的,因此,对存在噪声和异常值的交通矩阵进行初始分解,可以得到第一交通矩阵、异常矩阵及噪声矩阵,其中,第一交通矩阵指的是交通矩阵中不含异常值及噪声的交通矩阵,利用下述公式分解得到第一交通矩阵:
其中,表示位置矩阵对应的交通矩阵,/>表示位置矩阵对应的第一交通矩阵,表示位置矩阵对应的异常矩阵,/>表示位置矩阵对应的噪声矩阵。
在一个实施例中,由于每个交通时间段的全局道路交通状态用向量表示,,一般而言,一个向量可由有限个基向量的线性组合表示,因此,本发明寻找一组基向量/>,每个基向量代表一个基础交通模式,其中,利用矩阵秩将道路标识信息/>及交通时间段/>的基础矩阵/>划分为道路标识信息/>及矩阵秩的基础矩阵/>以及矩阵秩/>及交通时间段/>的基础矩阵/>;然后通过这些模式的线性组合来描述任意交通时间段的全局道路交通状态,而这些线性组合的系数是基础交通模式的权重,从而对第一交通矩阵进行划分。
进一步地,在一个实施例中,第一交通矩阵表示为:
其中,表示位置矩阵对应的第一交通矩阵,/>表示位置矩阵中第/>列的道路交通状态对应的第一交通矩阵,/>表示位置矩阵对应的第/>列的道路交通状态,/>表示位置矩阵中第/>列的道路交通状态的第/>个基向量对应的系数,/>表示位置矩阵中第/>列的道路交通状态的第/>个向量对应的系数,/>表示第/>个基向量,/>表示第/>个基向量,,/>表示矩阵秩,/>表示位置矩阵中第/>列的道路交通状态对应的系数,/>表示位置矩阵对应的第/>列。
具体地,在一个实施例中,第七公式表示为:
其中,表示基矩阵,/>表示系数矩阵,/>表示位置矩阵对应的第一交通矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个向量,/>表示第一交通矩阵中道路交通状态对应的第/>个向量,/>,/>表示第/>个基向量,/>表示第/>个基向量,,/>表示第一交通矩阵中道路交通状态对应的第/>个向量对应的系数,/>表示第一交通矩阵中道路交通状态对应的第/>个向量对应的系数,/>表示道路标识信息,/>表示矩阵秩,/>表示交通时间段,/>表示预设的基础矩阵。
在一个实施例中,位置矩阵对应的交通矩阵的行和列分别对应道路标识信息和交通时间段,因此位置矩阵对应的交通矩阵/>可看作是空间和时间相互作用的结果,而非负矩阵分解将矩阵的行和列作为不同对象,分解得到行和列的低维表示,因此,将交通矩阵分解后得到的基矩阵/>及系数矩阵/>分别具有交通矩阵的空间特征和时间特征,为了达到该目的,可以对基矩阵/>及系数矩阵/>分别引入空间相似性约束和时间平滑性与周期性约束。
在一个实施例中,对基矩阵进行空间相似性约束,得到第一约束矩阵,包括:利用预设的第八公式计算基矩阵中相邻两个道路标识信息之间的空间相似度;利用预设的第九公式根据空间相似度利用预设的空间相似度函数对基矩阵进行约束,得到第一约束矩阵。
在一个实施例中,第八公式表示为:
其中,表示第/>个道路标识信息及第/>个道路标识信息的空间相似度,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示道路标识信息的总数。
在一个实施例中,第九公式表示为:
其中,表示第一约束矩阵,/>表示第/>个道路标识信息及第/>个道路标识信息的空间相似度,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示基矩阵,/>表示空间相似度对应的拉普拉斯矩阵,/>表示转置符号。
在一个实施例中,进一步地,第一约束矩阵的详细求解过程如下所示:
其中,表示第一约束矩阵,/>表示第/>个道路标识信息及第/>个道路标识信息的空间相似度,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示第/>个道路标识信息对应的基向量,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示基矩阵,表示空间相似度对应的拉普拉斯矩阵,/>表示转置符号,/>表示空间相似度对应的度矩阵,/>表示空间相似度。
在一个实施例中,对系数矩阵进行时间平滑性与周期性约束,得到第二约束矩阵,包括:获取预设时间内交通时间段的目标数量,利用预设的第十公式根据数量及预设的托普利兹矩阵对系数矩阵进行约束,得到第二约束矩阵;托普利兹矩阵表示为:
其中,表示托普利兹矩阵,/>表示交通时间段的总数,/>表示交通时间段的目标数量;第十公式表示为:
其中,表示第二约束矩阵,/>表示系数矩阵,/>表示托普利兹矩阵,/>表示相似度矩阵。
S4、基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵。
在一个实施例中,由于事故的发生在时间和空间上是随机的偶然事件,因此交通矩阵中的异常矩阵是稀疏矩阵,而/>范数能表示向量中所有非零元素的个数,因此本发明通过最小化异常矩阵/>的/>范数来得到稀疏矩阵,并使用稀疏度惩罚参数/>来控制异常矩阵/>中异常值的数量,结合交通矩阵的局部时空特征,并对异常矩阵引入稀疏约束,最终得到基于/>范数和非负矩阵分解的交通数据处理模型,其中,交通数据处理模型是能够进行交通数据恢复和异常值检测模型。
在一个实施例中,交通数据处理模型表示为:
其中,表示基矩阵,/>表示系数矩阵,/>表示异常矩阵,/>表示位置矩阵对应的交通矩阵,/>表示位置矩阵对应的异常矩阵,/>表示位置矩阵,/>表示相似度矩阵,/>表示第一约束矩阵,/>表示第二约束矩阵,/>表示预设的第一惩罚参数,/>表示预设的第二惩罚参数,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示托普利兹矩阵,表示空间相似度对应的拉普拉斯矩阵,/>表示转置符号,/>表示/>范数约束。
在一个实施例中,基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵,包括:获取模型参数中的基矩阵、系数矩阵及异常矩阵,根据交通矩阵生成第一矩阵及第二矩阵;利用预设的第十一公式根据约束矩阵、第一矩阵及第二矩阵对交通数据处理模型中的基矩阵进行更新,得到优选基矩阵;利用预设的第十二公式根据约束矩阵、第一矩阵及第二矩阵对交通数据处理模型中的系数矩阵进行优化,得到优选系数矩阵;对交通数据处理模型中的异常矩阵进行更新,得到优选异常矩阵;将优选基矩阵、优选系数矩阵及优选异常矩阵作为优化矩阵。
在一个实施例中,根据交通矩阵生成第一矩阵及第二矩阵,包括:第一矩阵表示为:
其中,表示位置矩阵对应的第/>个第一矩阵,/>表示交通矩阵,/>表示第/>个第一矩阵对应的异常矩阵,/>表示位置矩阵;第二矩阵表示为:
其中,表示位置矩阵对应的第/>个第二矩阵,/>表示交通矩阵,/>表示第/>个第二矩阵对应的基矩阵,/>表示第/>个第二矩阵对应的系数矩阵,/>表示位置矩阵。
在一个实施例中,第十一公式表示为:
其中,表示第/>个第二矩阵对应的优选基矩阵,/>表示位置矩阵对应的第/>个第一矩阵,/>表示第/>个第一矩阵对应的基矩阵,/>表示第/>个第一矩阵对应的系数矩阵,/>表示位置矩阵,/>表示相似度矩阵,/>表示第/>个第一矩阵对应的第一约束矩阵,/>表示预设的第二惩罚参数,/>表示预设的第四惩罚参数,/>表示空间相似度对应的拉普拉斯矩阵,/>表示转置符号。
在一个实施例中,可以根据预设的块坐标下降法求解交通数据处理模型中的模型参数,详细地,优选基矩阵的求解可以转换成以下多个独立子问题,一方面,先对优选基矩阵进行分解,分解公式可表示为:
其中,表示第/>个第二矩阵对应的优选基矩阵,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示第/>个道路标识信息对应的第一矩阵,/>表示第一矩阵中第/>个道路标识信息对应的时间序列,/>表示位置矩阵中第/>个道路标识信息对应的时间序列,/>表示第/>个第一矩阵对应的系数矩阵,/>表示道路标识信息的总数,/>表示空间相似度对应的拉普拉斯矩阵,/>表示转置符号,/>表示第/>个道路标识信息对应的基向量,/>表示第/>个道路标识信息对应的基向量,/>表示预设的第二惩罚参数,/>表示预设的第四惩罚参数;对分解后的优选基矩阵中/>的零值和/>中的对应列进行删除,得到下式:
其中,表示第/>个第二矩阵对应的优选基矩阵,/>表示预设的更新第一矩阵,/>表示预设的更新系数矩阵,/>表示转置符号,/>表示第/>个道路标识信息对应的基向量,/>表示预设的第二惩罚参数,/>表示预设的第四惩罚参数,/>表示道路标识信息的总数,/>表示空间相似度对应的拉普拉斯矩阵,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示基矩阵中第/>个道路标识信息对应的时间序列;进一步地,例如,若,/>,那么/>;忽略上式中不包含/>的项,得到下式:
其中,表示第/>个第二矩阵对应的优选基矩阵,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示更新系数矩阵对应的拉普拉斯矩阵,/>表示第/>个道路标识信息对应的基向量,/>表示预设的第二惩罚参数,/>表示道路标识信息的总数,/>表示空间相似度对应的拉普拉斯矩阵,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示更新第一矩阵,/>表示更新系数矩阵,/>表示转置符号;上述式中/>满足如下关系:
其中,表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示更新系数矩阵对应的拉普拉斯矩阵,/>表示第/>个道路标识信息对应的基向量,/>表示更新系数矩阵对应的拉普拉斯矩阵的实对称矩阵,/>表示第/>个道路标识信息对应的第/>次迭代次数的基向量,/>表示更新系数矩阵对应的拉普拉斯矩阵中的最大特征值;为了得到优选基矩阵的解析解,使用MM(Majorization-Minimization)算法,找到一个代理函数/>来近似/>处的原始函数,然后对/>进行求解,本实施例可以利用下述公式进行求解:
其中,表示代理函数,/>表示更新系数矩阵对应的拉普拉斯矩阵中的最大特征值,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示第/>个道路标识信息对应的基向量,/>表示更新系数矩阵对应的拉普拉斯矩阵,/>表示空间相似度对应的拉普拉斯矩阵,/>表示更新第一矩阵,/>表示更新系数矩阵,/>表示第/>个道路标识信息对应的基向量,/>表示道路标识信息的总数,/>表示预设的第二惩罚参数,/>表示转置符号,表示更新系数矩阵对应的拉普拉斯矩阵的实对称矩阵,/>表示第/>个道路标识信息对应的第/>次迭代次数的基向量;最终通过迭代更新代理函数得到最终的优选基矩阵,优选基矩阵可表示为:
其中,表示第/>个第二矩阵对应的优选基矩阵,/>表示预设的解析项,/>表示更新系数矩阵对应的拉普拉斯矩阵中的最大特征值,/>表示基矩阵中第/>个道路标识信息对应的时间序列,/>表示更新系数矩阵对应的拉普拉斯矩阵,/>表示更新系数矩阵对应的拉普拉斯矩阵的实对称矩阵,/>表示第/>个道路标识信息对应的第/>次迭代次数的基向量,/>表示预设的第二惩罚参数,/>表示空间相似度对应的拉普拉斯矩阵,/>表示第/>个道路标识信息对应的基向量,/>表示更新第一矩阵,/>表示更新系数矩阵,/>表示第/>个道路标识信息对应的基向量,/>表示转置符号。
在一个实施例中,第十二公式表示为:
其中,表示第/>个第二矩阵对应的优选系数矩阵,/>表示位置矩阵对应的第/>个第一矩阵,/>表示第/>个第二矩阵对应的基矩阵,/>表示第/>个第一矩阵对应的系数矩阵,/>表示位置矩阵,/>表示相似度矩阵,/>表示第/>个第一矩阵对应的第二约束矩阵,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示托普利兹矩阵。
在一个实施例中,详细地,优选系数矩阵阵的求解可以转换成以下多个独立子问题,一方面,先对优选系数矩阵进行分解,分解公式可表示为:
/>
其中,表示第/>个第二矩阵对应的优选系数矩阵,/>表示第/>个道路标识信息对应的位置矩阵对应的第一矩阵,/>表示第/>个第二矩阵对应的基矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示位置矩阵对应的第/>列,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示第/>行第/>列的托普利兹矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,表示交通时间段的总数,/>表示转置符号;将上述式中/>的零值和/>中的对应列进行删除,得到下式:
其中,表示第/>个第二矩阵对应的优选系数矩阵,/>表示预设的优化第一矩阵,表示预设的优化基矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示第/>行第列的托普利兹矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示转置符号;忽略上式中不含/>的项,得到下式:
其中,表示第/>个第二矩阵对应的优选系数矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示优化基矩阵,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示基础矩阵对应的单位矩阵,/>表示交通时间段的总数,/>表示转置符号,/>表示第/>行第/>列的托普利兹矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示优化第一矩阵,/>表示优化基矩阵,/>表示优化基矩阵对应的拉普拉斯矩阵;由于优选基矩阵及优选系数矩阵的优化方式类似,因此,同样用MM算法对优化系数矩阵进行求解,优化系数矩阵可表示为:
/>
其中,表示第/>个第二矩阵对应的优选系数矩阵,/>表示预设的系数解析项,表示优化基矩阵对应的拉普拉斯矩阵中的特征最大值,/>表示优化基矩阵对应的拉普拉斯矩阵,/>表示优化基矩阵对应的拉普拉斯矩阵的实对称矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的第/>次迭代次数的系数,/>表示预设的第三惩罚参数,/>表示第/>行第/>列的托普利兹矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示优化基矩阵,/>表示优化第一矩阵,/>表示第一交通矩阵中道路交通状态对应的第/>个道路标识信息对应的系数,/>表示转置符号。
在一个实施例中,对交通数据处理模型中的异常矩阵进行更新,得到优选异常矩阵,包括:获取位置矩阵对应的道路标识信息,对道路标识信息进行更新,得到更新道路标识信息;利用预设的第十三公式根据更新道路计算第二带宽,根据第二带宽及更新道路标识信息生成拉普拉斯核函数;利用预设的第十四公式根据位置矩阵及拉普拉斯核函数计算异常值群,并利用预设的第十五公式根据更新道路标识信息及异常值群对交通数据处理模型中的第一惩罚参数进行更新,得到更新第一惩罚参数;利用预设的第十六公式根据更新第一惩罚参数及更新道路标识信息对异常矩阵进行更新,得到优选异常矩阵。
在一个实施例中,对道路标识信息进行更新指的是删除位置矩阵对应的第个第二矩阵对应的道路标识信息/>及位置矩阵对应的第/>个第一矩阵对应的异常矩阵/>中与位置矩阵/>的‘0’元素对应的值,分别得到/>和/>,例如,若/>,那么/>
在一个实施例中,十三公式表示为:
其中,表示第二带宽,/>表示第/>个第二矩阵对应的更新道路标识信息,/>表示更新道路标识信息的标准差,/>表示更新道路标识信息的四分位距,/>表示更新道路标识信息的维度。
在一个实施例中,拉普拉斯核函数表示为:
其中,表示更新道路标识信息及第二带宽的映射关系,/>表示第/>个第二矩阵对应的更新道路标识信息,/>表示第二带宽。
在一个实施例中,十四公式表示为:
其中,表示异常值群,/>表示位置矩阵中的位置向量,/>表示位置矩阵,/>表示位置向量对应更新道路标识信息及第二带宽的映射关系,/>表示预设的阈值。
在一个实施例中,十五公式表示为:
其中,表示第/>个第二矩阵对应的更新第一惩罚系数,/>表示位置向量对应的第/>个第二矩阵对应的更新道路标识信息,/>表示第/>个第一矩阵对应的更新第一惩罚系数,/>表示异常值群,/>表示位置矩阵中的位置向量,/>表示/>范数约束。
在一个实施例中,十六公式表示为:
其中,表示第/>个第二矩阵对应的优选异常矩阵,/>表示第/>个第一矩阵对应的异常矩阵,/>表示位置矩阵对应的第/>个第二矩阵对应的更新道路标识信息,/>表示位置矩阵对应的第/>个第一矩阵对应的异常矩阵,/>表示位置矩阵,/>表示相似度矩阵,/>表示第/>个第二矩阵对应的更新第一惩罚系数。
在一个实施例中,详细地,优选异常矩阵的求解可以表示为:
其中,表示第/>个第二矩阵对应的优选异常矩阵,/>表示第/>个第二矩阵对应的更新第一惩罚系数对应的第/>个第二矩阵对应的更新道路标识信息的硬阈值运算函数,/>表示位置向量对应的第/>个第二矩阵对应的更新道路标识信息,/>表示位置矩阵中的位置向量,/>表示第/>个第二矩阵对应的更新第一惩罚系数。
S5、获取待分析交通数据,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律。
在一个实施例中,待分析交通数据指的是城市道路流量速度数据中需要进行异常数据检测、数据恢复或者交通模式分析的数据。
在一个实施例中,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律,包括:利用优化矩阵中的优选异常矩阵对分析交通数据中的异常数据进行检测,得到检测异常数据;利用优化矩阵中的优选基矩阵及优选系数矩阵对检测异常数据进行数据恢复,得到完整交通数据;根据优选基矩阵及优选系数矩阵对完整交通数据进行交通模式分析,得到数据空间分布及模式规律。
在一个实施例中,异常数据检测指的是从交通数据处理模型中输出的优选异常矩阵中,可以观测到交通数据的随机异常点和短时间内持续存在的异常序列,此外,优选异常矩阵的行、列的对象分别为道路标识信息、交通时间段,因此,还可以快速定位到异常数据发生的地点和时间。
在一个实施例中,数据恢复指的是交通数据处理模型将优选异常矩阵与不含异常值的交通矩阵分离,借此由优选基矩阵和优选系数矩阵的乘积可得到无异常值的完整矩阵,将完整矩阵与位置矩阵的‘0’元素相对应,从而得到原始交通数据缺失处的恢复结果。
在一个实施例中,交通模式分析指的是优选基矩阵和优选系数矩阵的分量分别反映了道路交通网络的空间基础模式和每种基础模式的时间演变过程,基优选基矩阵的分量为每个道路标识信息的基础分布模式,通过将各个分量与城市道路网络相结合,可以直观地观测到每种基础模式的具体空间分布,优选系数矩阵的分量分别是优选基矩阵的空间基础模式在全局道路交通状态中的权重,权重的大小表明了道路拥堵是由何种空间基础模式所造成的,具体而言,权重越大,在交通时间段内空间基础模式在全局道路交通状态的作用越明显,此外,优选系数矩阵的分量也反映了空间基础模式出现的时间及规律。
本发明实施例通过基于L0范数和非负矩阵分解的交通数据处理模型挖掘和分析交通数据中的信息,有效地协助、指导交通服务部门的相关工作;通过对交通矩阵的秩进行求解,缓解了非负矩阵分解时人为选择秩带来的耗时和不可靠问题;通过时空特征和非负矩阵分解的交通数据恢复,充分利用了交通矩阵中潜在的空间多向相关性和时间平滑性与周期性,提高了交通数据恢复的精度;通过L0范数的交通数据异常值检测,可以自适应地调整异常矩阵的稀疏度,即异常值的数量,减小了异常值对交通数据恢复的影响。因此本发明提出的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,可以解决交通数据进行恢复时的精度较低及异常值检测时的准确性不高的问题。
如图4所示,是本发明一实施例提供的基于特征非负矩阵分解的交通数据恢复和异常值检测装置的功能模块图。
本发明基于特征非负矩阵分解的交通数据恢复和异常值检测装置400可以安装于电子设备中。根据实现的功能,基于特征非负矩阵分解的交通数据恢复和异常值检测装置400可以包括数据收集和处理模块401、自适应秩选择模块402、基于L0范数的非负矩阵分解模块403、针对L0范数最小化问题的模型求解模块404及应用模块405。本发明模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:数据收集和处理模块401,用于获取道路交通状态及对应的交通时间段,根据道路交通状态及交通时间段生成交通矩阵;自适应秩选择模块402,用于对交通矩阵的秩进行求解,得到矩阵秩;基于L0范数的非负矩阵分解模块403,用于根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵;针对L0范数最小化问题的模型求解模块404,用于基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵;应用模块405,用于获取待分析交通数据,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律。
详细地,在一个实施例中基于特征非负矩阵分解的交通数据恢复和异常值检测装置400中的各模块在使用时采用与附图中的基于特征非负矩阵分解的交通数据恢复和异常值检测方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
在一个实施例中,如图5所示为基于特征非负矩阵分解的交通数据恢复和异常值检测装置的原理示意图,其中,该装置包括数据收集和处理模块,用于获取道路交通状态及对应的交通时间段,根据道路交通状态及交通时间段生成交通矩阵;自适应秩选择模块,用于对交通矩阵的秩进行求解,得到矩阵秩;基于L0范数的非负矩阵分解模块,用于根据矩阵秩对交通矩阵进行矩阵约束,得到约束矩阵;针对L0范数最小化问题的模型求解模块,用于基于约束矩阵及交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵;应用模块,用于获取待分析交通数据,利用优化矩阵对待分析交通数据进行性能评估,得到数据空间分布及模式规律。
在一个实施例中,数据收集和处理模块,从分布在城市道路网络的传感器中采集一段连续时间内每个道路标识信息的车速,然后固定交通时间段,从而得到每个固定交通时间段内的平均车速,再将道路标识信息和时间作为研究对象,由此生成交通矩阵,并输入到自适应秩选择模块。
在一个实施例中,自适应秩选择模块,利用高斯核函数构造交通矩阵的拉普拉斯矩阵,通过拉普拉斯矩阵特征值差值序列的第一个极大值自适应地确定因子矩阵的秩。
在一个实施例中,基于L0范数的非负矩阵分解模块,对交通矩阵进行非负矩阵分解,并对异常数据施加稀疏约束,同时结合交通数据的时空特征,对因子矩阵分别引入空间相似性和时间平滑性与周期性约束。
在一个实施例中,针对L0范数最小化问题的模型求解模块,可以先利用块坐标下降法将原有非凸优化问题转换成变量交替优化的独立子问题,而对于子问题中因子矩阵的优化问题,可以使用Majorization-Minimization算法将对应的非凸优化子问题转换成凸优化问题,然后求出其对应的解析解,在优化异常矩阵之前,先使用拉普拉斯核更新稀疏度惩罚参数,然后对相应L0范数约束的非凸优化问题使用硬阈值算法优化异常矩阵,待上述交替优化问题收敛后,将模型输出的各个变量输入到应用模块中。
在一个实施例中,应用模块,将两个因子矩阵相乘得到无异常值的完整交通矩阵,与原始交通矩阵对比得到缺失处的数据,求解模块输出的异常矩阵反映了异常数据存在与否以及发生的地点和时间,另外,因子矩阵分别表征了交通数据的空间基础模式和各个基础模式的时间演变过程,通过观测因子矩阵的各个分量,可发现交通数据内蕴含的变化机制。
本发明一实施例还提供了一种实现基于特征非负矩阵分解的交通数据恢复和异常值检测方法的电子设备。
该电子设备可以包括处理器、存储器、通信总线以及通信接口,还可以包括存储在存储器中并可在处理器上运行的计算机程序,如基于特征非负矩阵分解的交通数据恢复和异常值检测程序。
其中,处理器在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing Unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在存储器内的程序或者模块(例如执行基于特征非负矩阵分解的交通数据恢复和异常值检测程序等),以及调用存储在存储器内的数据,以执行电子设备的各种功能和处理数据。
存储器至少包括一种类型的可读存储介质,可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。存储器在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于电子设备的应用软件及各类数据,例如基于特征非负矩阵分解的交通数据恢复和异常值检测程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现存储器以及至少一个处理器等之间的连接通信。
通信接口用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与至少一个处理器逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
进一步地,电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,可读存储介质存储有计算机程序,计算机程序在被处理器所执行时,可以实现上述任一实施例的基于红外散斑图像的人脸识别方法。需要说明的是,计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,包括:
获取道路交通状态及对应的交通时间段,根据所述道路交通状态及所述交通时间段生成交通矩阵;
对所述交通矩阵的秩进行求解,得到矩阵秩;
根据所述矩阵秩对所述交通矩阵进行矩阵约束,得到约束矩阵;
基于所述约束矩阵及所述交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵;
获取待分析交通数据,利用所述优化矩阵对所述待分析交通数据进行性能评估,得到数据空间分布及模式规律。
2.如权利要求1所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述根据所述道路交通状态及所述交通时间段生成交通矩阵,包括:
获取所述道路交通状态对应的道路标识信息,根据所述交通时间段生成时间序列;
根据所述道路交通状态、所述道路标识信息、所述时间序列及所述交通时间段生成初始交通矩阵;
所述初始交通矩阵表示为:
其中,表示所述初始交通矩阵,/>表示第/>个交通时间段内的道路交通状态,/>表示第/>个道路标识信息对应的时间序列,/>表示所述交通时间段的总数,/>表示所述道路标识信息的总数,/>表示预设的基础矩阵;
利用预设的第一公式根据预设的位置矩阵对所述初始交通矩阵进行更新,得到交通矩阵;
所述第一公式表示为:
其中,表示所述位置矩阵对应的交通矩阵,/>表示所述初始交通矩阵,/>表示所述位置矩阵,/>表示Hadamard乘积。
3.如权利要求2所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述对所述交通矩阵的秩进行求解,得到矩阵秩,包括:
利用预设的高斯核函数根据所述交通矩阵构造所述交通矩阵的相似度矩阵,并利用预设的第二公式根据所述相似度矩阵计算度矩阵;
所述高斯核函数表示为:
其中,表示第/>个道路标识信息及第/>个道路标识信息对应的相似度矩阵,/>表示第/>个道路标识信息对应的交通矩阵,/>表示第/>个道路标识信息对应的交通矩阵,表示第/>个道路标识信息对应的时间序列,/>表示第/>个道路标识信息对应的时间序列,表示第/>个道路标识信息在所述交通矩阵中位置矩阵所对应的行,/>表示第/>个道路标识信息在所述交通矩阵中位置矩阵所对应的行,/>表示预设的高斯核的带宽;
所述第二公式表示为:
其中,表示所述相似度矩阵对应的度矩阵,/>表示第/>个道路标识信息及第/>个道路标识信息的相似度矩阵,/>表示所述道路标识信息的总数;
利用预设的第三公式根据所述相似度矩阵及所述度矩阵计算拉普拉斯矩阵,对所述拉普拉斯矩阵进行谱分解,得到特征值;
所述第三公式表示为:
其中,表示所述相似度矩阵对应的拉普拉斯矩阵,/>表示所述相似度矩阵对应的度矩阵,/>表示所述相似度矩阵,/>表示预设的单位矩阵;
根据所述特征值计算差值序列,并利用预设的第四公式根据所述差值序列确定矩阵秩;
所述第四公式表示为:
其中,表示所述矩阵秩,/>表示第/>个特征差值,/>表示第/>个特征差值,/>表示第个特征差值。
4.如权利要求3所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述根据所述特征值计算差值序列,包括:
利用预设的第五公式根据所述特征值计算特征差值,并利用预设的第六公式根据所述特征差值生成差值序列;
所述第五公式表示为:
其中,表示第/>个特征差值,/>表示第/>个特征值,/>表示第/>个特征值,表示所述特征差值的总数;
所述第六公式表示为:
其中,表示所述差值序列,/>表示第/>个特征差值,/>表示第/>个特征差值,/>表示第/>个特征差值。
5.如权利要求3所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述根据所述矩阵秩对所述交通矩阵进行矩阵约束,得到约束矩阵,包括:
根据所述矩阵秩对所述交通矩阵进行分解,得到基矩阵及系数矩阵;
对所述基矩阵进行空间相似性约束,得到第一约束矩阵;
对所述系数矩阵进行时间平滑性与周期性约束,得到第二约束矩阵;
将所述第一约束矩阵及所述第二约束矩阵作为约束矩阵。
6.如权利要求5中所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述根据所述矩阵秩对所述交通矩阵进行分解,得到基矩阵及系数矩阵,包括:
将所述交通矩阵进行初始分解,得到第一交通矩阵;
所述第一交通矩阵表示为:
其中,表示所述位置矩阵对应的第一交通矩阵,/>表示所述位置矩阵中第/>列的道路交通状态对应的第一交通矩阵,/>表示所述位置矩阵对应的第/>列的道路交通状态,/>表示所述位置矩阵中第/>列的道路交通状态的第/>个基向量对应的系数,/>表示所述位置矩阵中第/>列的道路交通状态的第/>个向量对应的系数,/>表示第/>个基向量,表示第/>个基向量,/>,/>表示所述矩阵秩,/>表示所述位置矩阵中第/>列的道路交通状态对应的系数,/>表示所述位置矩阵对应的第/>列;
利用预设的第七公式根据所述矩阵秩对所述第一交通矩阵进行划分,得到基矩阵及系数矩阵;
所述第七公式表示为:
其中,表示所述基矩阵,/>表示所述系数矩阵,/>表示所述位置矩阵对应的第一交通矩阵,/>表示所述第一交通矩阵中道路交通状态对应的第/>个向量,/>表示所述第一交通矩阵中道路交通状态对应的第/>个向量,/>,/>表示第/>个基向量,/>表示第/>个基向量,/>,/>表示所述第一交通矩阵中道路交通状态对应的第/>个向量对应的系数,/>表示所述第一交通矩阵中道路交通状态对应的第/>个向量对应的系数,/>表示所述道路标识信息,/>表示所述矩阵秩,/>表示所述交通时间段,/>表示预设的基础矩阵。
7.如权利要求5所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述对所述基矩阵进行空间相似性约束,得到第一约束矩阵,包括:
利用预设的第八公式计算所述基矩阵中相邻两个道路标识信息之间的空间相似度;
所述第八公式表示为:
其中,表示第/>个道路标识信息及第/>个道路标识信息的空间相似度,/>表示所述基矩阵中第/>个道路标识信息对应的时间序列,/>表示所述基矩阵中第/>个道路标识信息对应的时间序列,/>表示所述道路标识信息的总数;
利用预设的第九公式根据所述空间相似度利用预设的空间相似度函数对所述基矩阵进行约束,得到第一约束矩阵;
所述第九公式表示为:
其中,表示所述第一约束矩阵,/>表示第/>个道路标识信息及第/>个道路标识信息的空间相似度,/>表示所述基矩阵中第/>个道路标识信息对应的时间序列,/>表示所述基矩阵中第/>个道路标识信息对应的时间序列,/>表示所述基矩阵,/>表示所述空间相似度对应的拉普拉斯矩阵,/>表示转置符号。
8.如权利要求5所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述对所述系数矩阵进行时间平滑性与周期性约束,得到第二约束矩阵,包括:
获取预设时间内所述交通时间段的目标数量,利用预设的第十公式根据所述数量及预设的托普利兹矩阵对所述系数矩阵进行约束,得到第二约束矩阵;
所述托普利兹矩阵表示为:
其中,表示所述托普利兹矩阵,/>表示所述交通时间段的总数,/>表示所述交通时间段的目标数量;
所述第十公式表示为:
其中,表示所述第二约束矩阵,/>表示所述系数矩阵,/>表示所述托普利兹矩阵,/>表示所述相似度矩阵。
9.如权利要求8所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述交通数据处理模型表示为:
其中,表示所述基矩阵,/>表示所述系数矩阵,/>表示所述异常矩阵,/>表示所述位置矩阵对应的交通矩阵,/>表示所述位置矩阵对应的异常矩阵,/>表示所述位置矩阵,/>表示所述相似度矩阵,/>表示所述第一约束矩阵,/>表示所述第二约束矩阵,/>表示预设的第一惩罚参数,/>表示预设的第二惩罚参数,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示所述托普利兹矩阵,/>表示所述空间相似度对应的拉普拉斯矩阵,表示转置符号,/>表示/>范数约束。
10.如权利要求8所述的基于特征非负矩阵分解的交通数据恢复和异常值检测方法,其特征在于,所述基于所述约束矩阵及所述交通矩阵对预构建的交通数据处理模型中的模型参数进行求解,得到优化矩阵,包括:
获取所述模型参数中的基矩阵、系数矩阵及异常矩阵,根据所述交通矩阵生成第一矩阵及第二矩阵;
所述第一矩阵表示为:
其中,表示所述位置矩阵对应的第/>个第一矩阵,/>表示所述交通矩阵,/>表示第/>个第一矩阵对应的异常矩阵,/>表示所述位置矩阵;
所述第二矩阵表示为:
其中,表示所述位置矩阵对应的第/>个第二矩阵,/>表示所述交通矩阵,/>表示第/>个第二矩阵对应的基矩阵,/>表示第/>个第二矩阵对应的系数矩阵,/>表示所述位置矩阵;
利用预设的第十一公式根据所述约束矩阵、所述第一矩阵及所述第二矩阵对所述交通数据处理模型中的基矩阵进行更新,得到优选基矩阵;
所述第十一公式表示为:
其中,表示第/>个第二矩阵对应的优选基矩阵,/>表示所述位置矩阵对应的第/>个第一矩阵,/>表示第/>个第一矩阵对应的基矩阵,/>表示第/>个第一矩阵对应的系数矩阵,/>表示所述位置矩阵,/>表示所述相似度矩阵,/>表示第/>个第一矩阵对应的第一约束矩阵,/>表示预设的第二惩罚参数,/>表示预设的第四惩罚参数,/>表示所述空间相似度对应的拉普拉斯矩阵,/>表示转置符号;
利用预设的第十二公式根据所述约束矩阵、所述第一矩阵及所述第二矩阵对所述交通数据处理模型中的系数矩阵进行优化,得到优选系数矩阵;
所述第十二公式表示为:
其中,表示第/>个第二矩阵对应的优选系数矩阵,/>表示所述位置矩阵对应的第/>个第一矩阵,/>表示第/>个第二矩阵对应的基矩阵,/>表示第/>个第一矩阵对应的系数矩阵,/>表示所述位置矩阵,/>表示所述相似度矩阵,/>表示第/>个第一矩阵对应的第二约束矩阵,/>表示预设的第三惩罚参数,/>表示预设的第四惩罚参数,/>表示所述托普利兹矩阵;
对所述交通数据处理模型中的异常矩阵进行更新,得到优选异常矩阵;
将所述优选基矩阵、所述优选系数矩阵及所述优选异常矩阵作为优化矩阵。
CN202310831403.XA 2023-07-07 2023-07-07 基于特征非负矩阵分解的交通数据恢复和异常值检测方法 Active CN116561526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310831403.XA CN116561526B (zh) 2023-07-07 2023-07-07 基于特征非负矩阵分解的交通数据恢复和异常值检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310831403.XA CN116561526B (zh) 2023-07-07 2023-07-07 基于特征非负矩阵分解的交通数据恢复和异常值检测方法

Publications (2)

Publication Number Publication Date
CN116561526A true CN116561526A (zh) 2023-08-08
CN116561526B CN116561526B (zh) 2023-10-27

Family

ID=87496867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310831403.XA Active CN116561526B (zh) 2023-07-07 2023-07-07 基于特征非负矩阵分解的交通数据恢复和异常值检测方法

Country Status (1)

Country Link
CN (1) CN116561526B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041906A1 (en) * 2010-08-11 2012-02-16 Huh Seung-Il Supervised Nonnegative Matrix Factorization
US20140122039A1 (en) * 2012-10-25 2014-05-01 The Research Foundation For The State University Of New York Pattern change discovery between high dimensional data sets
CN108010320A (zh) * 2017-12-21 2018-05-08 北京工业大学 一种基于自适应时空约束低秩算法的路网交通数据的补全方法
CN108492561A (zh) * 2018-04-04 2018-09-04 北京工业大学 一种基于矩阵分解的路网交通状态时空特征分析方法
CN109410587A (zh) * 2018-12-18 2019-03-01 北京工业大学 一种城市快速路的宏观交通流参数估计方法
WO2021003637A1 (zh) * 2019-07-08 2021-01-14 深圳大学 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041906A1 (en) * 2010-08-11 2012-02-16 Huh Seung-Il Supervised Nonnegative Matrix Factorization
US20140122039A1 (en) * 2012-10-25 2014-05-01 The Research Foundation For The State University Of New York Pattern change discovery between high dimensional data sets
CN108010320A (zh) * 2017-12-21 2018-05-08 北京工业大学 一种基于自适应时空约束低秩算法的路网交通数据的补全方法
CN108492561A (zh) * 2018-04-04 2018-09-04 北京工业大学 一种基于矩阵分解的路网交通状态时空特征分析方法
CN109410587A (zh) * 2018-12-18 2019-03-01 北京工业大学 一种城市快速路的宏观交通流参数估计方法
WO2021003637A1 (zh) * 2019-07-08 2021-01-14 深圳大学 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐梦珂;许道云;魏明俊;: "基于非负矩阵分解的低秩矩阵恢复模型", 计算机与数字工程, no. 06, pages 11 - 16 *

Also Published As

Publication number Publication date
CN116561526B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN112035453B (zh) 基于gbdt高阶特征组合的推荐方法、装置及存储介质
Meng et al. Robust matrix factorization with unknown noise
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN112306835B (zh) 用户数据监控分析方法、装置、设备及介质
CN104317902A (zh) 基于局部保持迭代量化哈希的图像检索方法
CN116015837A (zh) 用于计算机网络信息安全的入侵检测方法及系统
Yeom et al. Data-driven performance modeling of linear solvers for sparse matrices
CN111127631A (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN113378970B (zh) 语句相似性检测方法、装置、电子设备及存储介质
CN117132135B (zh) 基于数字孪生的城市信息化管理系统及方法
CN115758255B (zh) 一种融合模型下的用电异常行为分析方法和装置
CN111191610A (zh) 一种视频监控中人流量检测与处理方法
CN111339072B (zh) 基于用户行为的变化值分析方法、装置、电子设备及介质
CN116844088A (zh) 在线除尘器控制系统及其方法
US20220405455A1 (en) Methods and systems for congestion prediction in logic synthesis using graph neural networks
US20220067481A1 (en) Determining ir drop
CN117155771B (zh) 一种基于工业物联网的设备集群故障溯源方法及装置
CN116561526B (zh) 基于特征非负矩阵分解的交通数据恢复和异常值检测方法
Jabi et al. Graph machine learning using 3D topological models
CN116841808A (zh) 多核处理器异常检测方法、装置、电子设备及存储介质
CN115796231B (zh) 一种时态分析的超短期风速预测方法
CN115034812B (zh) 基于大数据的钢铁行业销售量预测方法及装置
CN115757987B (zh) 基于轨迹分析的伴随对象确定方法、装置、设备及介质
CN116542956A (zh) 一种织物组分自动检测方法、系统及可读存储介质
CN113706019B (zh) 基于多维数据的业务能力分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant