CN106777084A - 针对光变曲线在线分析及异常报警的方法及系统 - Google Patents
针对光变曲线在线分析及异常报警的方法及系统 Download PDFInfo
- Publication number
- CN106777084A CN106777084A CN201611147698.5A CN201611147698A CN106777084A CN 106777084 A CN106777084 A CN 106777084A CN 201611147698 A CN201611147698 A CN 201611147698A CN 106777084 A CN106777084 A CN 106777084A
- Authority
- CN
- China
- Prior art keywords
- value
- curve
- variation curve
- light
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 58
- 230000003287 optical effect Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 abstract description 9
- 238000006467 substitution reaction Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 44
- 238000009826 distribution Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100038784 Carbohydrate sulfotransferase 4 Human genes 0.000 description 1
- 101710158423 Carbohydrate sulfotransferase 4 Proteins 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明公开一种针对光变曲线在线分析及异常报警的方法及系统，能够对光变曲线进行在线异常报警。该方法包括：获取待分析星体的光变曲线；对于光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据特征统计量计算预设的归一化变量的值，将归一化变量的值代入判别函数计算得到判别函数值，根据判别函数值判断是否需要将光变曲线与预设的一系列模板曲线进行匹配，若需要将光变曲线与模板曲线进行匹配，则将光变曲线进行归一化后，将其与模板曲线进行匹配，并使用动态时间规整算法计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
Description
技术领域
本发明涉及时域天文学领域，具体涉及一种针对光变曲线在线分析及异常报警的方法及系统。
背景技术
随着现代观测技术的发展，天文学进入到了时域天文学时代。该领域主要基于高时间分辨率的观测，发现和研究宇宙中一些极端的、罕见的天文现象，包括新星、超新星、伽玛暴等不同时间尺度的恒星爆炸现象及系外恒星等。与传统天文望远镜只能拍摄天空中个别位置的图像不同，当代望远镜可以每隔几秒钟就拍摄一张图像。这些时间序列组成的图像使得天文学家可以快速并持续跟踪光学瞬变源、伽玛暴、变源等多种天文现象。国内外正在运行及即将建成的相关天文观测设备包括：大型巡天望远镜(Large Synoptic SurveyTelescope，LSST)，我国的LAMOST(The Large Sky Area Multi-Object FiberSpectroscopic Telescope郭守敬望远镜)，世界最大的单口径望远镜FAST(Five hundredmeters Aperture Spherical Telescope，FAST)，以及正在兴建中的地面广角相机阵(Ground Wide Angle Camera，GWAC)项目等。
GWAC由36台口径为18厘米的广角望远镜组成，每台望远镜配备有4k×4k的CCD探测器。整个相机阵的天区覆盖5000平方度、时间采样率为15秒。每个观测夜对固定天区目标的持续观测长达4-5个小时。从观测视场的大小和观测时间的采样频度上，地基广角相机阵在时域天文观测中都具有特殊的优势。GWAC项目将为发现短时标瞬变源提供了物质基础，而开发光变曲线在线实时报警则是实现其短时标天文科学发现的重要途径。因此，研究光变曲线的在线异常报警处理方法对发现短时标天文现象极其重要。目前，人们已研究了GWAC光变曲线的生成，但尚未进一步研究基于光变曲线的在线异常报警系统。
发明内容
针对现有技术存在的不足和缺陷，本发明提供一种针对光变曲线在线分析及异常报警的方法及系统。
一方面，本发明实施例提出一种针对光变曲线在线分析及异常报警的方法，包括：
获取待分析星体的光变曲线，其中，所述光变曲线为所述星体按时间先后顺序的多个时刻的光亮度组成的光亮度序列；
对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，若需要将所述光变曲线与所述模板曲线进行匹配，则将所述光变曲线进行归一化后，将其与所述模板曲线进行匹配，并使用动态时间规整算法计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
可选地，所述获取待分析星体的光变曲线，包括：
获取所述待分析星体的巡天图像，通过对所述巡天图像进行点源提取、交叉认证处理，得到所述光变曲线。
可选地，所述计算该样本点对应的长时间窗口与短时间窗口的特征统计量，包括：
计算该样本点对应的长时间窗口内样本点特征值的均值和方差，以及该样本点对应的短时间窗口内样本点特征值的均值，其中，该样本点对应的长时间窗口为该样本点对应的时刻及该时刻前L-1个时刻对应的样本点组成的点集，该样本点对应的短时间窗口为该样本点对应的时刻及该时刻前S-1个时刻对应的样本点组成的点集，L和S均为大于1的整数，且L>S。
可选地，所述光变曲线的采样间隔为15秒，L＝2000，S＝40。
可选地，所述特征值为光亮度或HTM异常值St，其中，所述HTM异常值的计算公式为Π(xt)为HTM对对应时刻所述待分析星体光亮度的预测值的稀疏向量表示，a(xt)为对应时刻所述待分析星体光亮度的实际测量值的稀疏向量表示，·表示向量的内积运算，||a(xt)||0为a(xt)的0范数。
可选地，所述根据所述特征统计量计算预设的归一化变量的值，包括：
计算所述归一化变量的值Nt，计算公式为其中，μt为该样本点对应的长时间窗口内样本点特征值的均值，为该样本点对应的长时间窗口内样本点特征值的方差，为该样本点对应的短时间窗口内样本点特征值的均值。
可选地，所述判别函数的表达式为：其中，
可选地，所述根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，包括：
若所述特征值为光亮度，则若判断获知所述判别函数值小于第一数值或大于第二数值时确定需要将所述光变曲线与所述模板曲线进行匹配，否则，则确定不需要将所述光变曲线与所述模板曲线进行匹配，其中，所述第一数值与第二数值的和为1；或者
若所述特征值为HTM异常值，则若判断获知所述判别函数值小于第三数值时确定需要将所述光变曲线与所述模板曲线进行匹配，否则，则确定不需要将所述光变曲线与所述模板曲线进行匹配。
可选地，所述第一数值和第三数值为0.05，所述指定阈值为0.5。
另一方面，本发明实施例提出一种针对光变曲线在线分析及异常报警的系统，包括：
获取单元，用于获取待分析星体的光变曲线，其中，所述光变曲线为所述星体按时间先后顺序的多个时刻的光亮度组成的光亮度序列；
处理单元，用于对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，若需要将所述光变曲线与所述模板曲线进行匹配，则将所述光变曲线进行归一化后，将其与所述模板曲线进行匹配，并使用动态时间规整算法计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
本发明实施例提供的针对光变曲线在线分析及异常报警的方法及系统，首先获取待分析星体的光变曲线，之后对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值确定是否需要进行模板匹配。若需要进行模板匹配，则将所述光变曲线进行归一化后，将其与一系列模板曲线进行匹配，使用动态时间规整算法计算两者之间的差异度，若存在一个差异度小于指定阈值，则触发报警，否则不触发报警。整个方案能够对光变曲线进行在线异常报警。
附图说明
图1为本发明针对光变曲线在线分析及异常报警的方法一实施例的流程示意图；
图2为本发明针对光变曲线在线分析及异常报警的系统一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参看图1，本实施例公开一种针对光变曲线在线分析及异常报警的方法，包括：
S1、获取待分析星体的光变曲线，其中，所述光变曲线为所述星体按时间先后顺序的多个时刻的光亮度组成的光亮度序列；
本实施例中，可以利用miniGWAC获得的星体的光变曲线数据为实验数据。经过点源提取、交叉证认过程获得光变曲线。光变曲线是指由某个星体在一定时间范围内各时刻的光亮度组成的光亮度序列。具体地，将每颗星在不同观测夜获得的光变数据连接起来构成一个数据流，同一天的数据观测间隔为15秒。
mini-GWAC在每个观测夜有可能观测到的星体数量超过3万颗，可以采用其中978颗星体在2016年1月11号到1月13号三天内的亮度数据，这部分数据的完整性较好，适合作为实验的样本。为得到时间跨度更长的长期特征，可以将模式相似的星体的光变曲线连接起来，组成长度更长的光变曲线样本，用作训练和测试。
S2、对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，若需要将所述光变曲线与所述模板曲线进行匹配，则将所述光变曲线进行归一化后，将其与所述模板曲线进行匹配，并使用动态时间规整算法(dynamic time warping)计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
具体地，定义长时间窗口为当前时刻数据点及其前L-1个点组成的点集，短时间窗口为当前时刻数据点及其前S-1个点组成的点集，为数据点选取适当的特征(触发变量)。
特征的选取主要考虑特征对曲线的正常状态与异常状态的区分能力。显然，最直观的特征就是光亮度本身。对于形态较平缓的光变曲线，当没有出现异常模式时，其在一定长度的时间窗口内的均值随时间的变化几乎不变，而出现异常模式时，亮度的均值一般会有明显变化，因此光亮度本身作为特征具有足够的区分能力，且用光亮度本身作为特征不需要额外的计算，大大节省了时空开销。然而在某些情况下，直接对光亮度这种比较朴素的特征求均值并不能很好地反映窗口内曲线的模式，因此，还提出了使用基于分层时序记忆的算法判断每一个数据点的异常程度，并用其异常值作为特征的方法。分层时序记忆(HTM,Hierarchical Temporal Memory)是一种由Jeff Hawkins等人提出的基于人脑皮质结构的神经网络模型，其内部结构为分层的神经元阵列。用于训练网络的数据会先被编码成稀疏表示的向量或矩阵的形式，然后进入网络，经过空间采样(spatial pooling)和时序采样(temporal pooling)等步骤，改变网络内部神经元的激活状态，从而影响网络对于下一个时刻数据的预测值。分层时序记忆最大的优势在于其学习和预测过程是同时进行的，因此非常适合用于面向高时间分辨率的时间序列分析和异常在线触发任务。
对于每一个星体，需要预先用该星体的历史数据训练一个分层时序记忆网络。对于每一个采样时刻，算法将星体当前时刻的亮度数据与分层时序记忆网络对于当前时刻的预测值作对比，得到当前时刻数据的异常值St：
其中Π(xt)为分层时序网络对当前时刻数据预测值的稀疏向量表示形式，a(xt)为当前时刻实际测量数据的稀疏向量表示形式，·为向量的内积运算，||a(xt)||0为a(xt)的0范数。St的取值在0和1之间。当预测值与实际值完全吻合时，St的值为0；当预测值与实际值之间的差距达到最大时，St的值为1。
相比起直接使用亮度值作为特征，使用分层时序网络异常值的好处在于，其实际上是以每一个时刻亮度值的可预测程度作为特征。若某个时间段内光变曲线的模式发生变化，但其亮度均值却与原来的均值相差不大(如围绕均值上下波动)，则用亮度值作特征可能检测不出异常，然而由于每个点的亮度都与分层时序记忆所期望的亮度值有较大差距，则每个采样点都有较高的异常值，短期异常值均值与长期异常值均值便会出现较大的偏差，算法仍然能检测出异常。
在选取了合适的特征之后，需要计算长窗口与短窗口的特征统计量，具体过程为：对长时间窗口内的特征值求均值和方差，对短时间窗口内的特征值求均值。
在计算出特征统计量之后，需要根据所述特征统计量计算预设的归一化变量的值Nt，计算公式为
其中，μt为该样本点对应的长时间窗口内样本点特征值的均值，为该样本点对应的长时间窗口内样本点特征值的方差，为该样本点对应的短时间窗口内样本点特征值的均值。
归一化变量的意义为将从分布中得到的观测值归一化为标准正态分布随机变量的观测值。
在利用长期特征均值和方差以及短期特征均值得到归一化变量后，利用判别函数来计算归一化变量与期望值的偏差程度。可以采用Q函数作为判别函数。Q函数是标准正态分布的右尾函数，其定义如下：
其中，
将归一化变量的值代入判别函数计算得到对应的判别函数值，当判别函数的值满足某些准则时，确定需要将所述光变曲线与预设的一系列模板曲线进行匹配。
对于基于亮度值归一化分布的算法，当短期光亮度均值比长期异常值均值小很多或者大很多的情况下均需要进行匹配，因为这两种情况都意味着异常模式的出现，因此设定判别准则为当Q函数小于下阈值第一数值或者大于上阈值第二数值时进行匹配。其中，所述第一数值与第二数值的和为1。而对于基于HTM异常值归一化分布的算法，考虑的是当短期异常值均值比长期异常值均值超出较多时进行匹配，而前者比后者小很多时则不进行匹配，因为这意味着曲线由不可预测的状态慢慢回归至可预测的状态。由于Q函数越小，归一化变量的右偏程度越大，故设定判别准则为当Q函数值小于阈值第三数值时进行匹配。所述第一数值和第三数值可以为0.05，也可以根据需要设置，此处不再赘述。
需要说明的是，前述模板曲线指星体光亮度发生异常变化时的光变曲线形态。
本发明实施例提供的针对光变曲线在线分析及异常报警的方法，首先获取待分析星体的光变曲线，之后对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值确定是否需要进行模板匹配。若需要进行模板匹配，则将所述光变曲线进行归一化后，将其与一系列模板曲线进行匹配，使用动态时间规整算法计算两者之间的差异度，若存在一个差异度小于指定阈值，则触发报警，否则不触发报警。整个方案能够对光变曲线进行在线异常报警。
参看图2，本实施例公开一种针对光变曲线在线分析及异常报警的系统，包括：
获取单元1，用于获取待分析星体的光变曲线，其中，所述光变曲线为所述星体按时间先后顺序的多个时刻的光亮度组成的光亮度序列；
处理单元2，用于对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，若需要将所述光变曲线与所述模板曲线进行匹配，则将所述光变曲线进行归一化后，将其与所述模板曲线进行匹配，并使用动态时间规整算法计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
本发明实施例提供的针对光变曲线在线分析及异常报警的系统，首先获取待分析星体的光变曲线，之后对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值确定是否需要进行模板匹配。若需要进行模板匹配，则将所述光变曲线进行归一化后，将其与一系列模板曲线进行匹配，使用动态时间规整算法计算两者之间的差异度，若存在一个差异度小于指定阈值，则触发报警，否则不触发报警。整个方案能够对光变曲线进行在线异常报警。
本发明所提出的方法有以下几个参数需要人工选取：长窗口宽度L，短窗口宽度S，Q函数报警阈值(第一数值、第三数值)ε。L的取值不宜过小，否则容易受到一些随机的波动与噪声的影响，但亦不宜过大，因为取太大的L会加重算法的计算量与内存的开销，而且希望得到的是光变曲线在最近一段时间内的特征，若取的时间跨度太长的话，可能在时间跨度内光变曲线本身就产生过系统性的变化，从而影响检测结果的准确性。在实验中，取L＝2000。短窗口宽度主要取决于欲检测的异常模式的时间跨度，由于实际应用中希望使用GWAC检测小时级的异常天文现象，且在现象发生的前三分之一时间段内报警，而采样间隔为15秒，因此取S＝40。报警阈值ε主要用来控制误报率与漏报率之间的平衡。经过一系列实验与匹配，取ε＝0.05。在模板匹配步骤中，差异度阈值取0.5。
性能分析：
本实验所用机器的硬件配置如下：CPU型号为CoreTMi5-2320，主频3.00GHz，4GB内存，500GB SATA硬盘；操作系统为Ubuntu 14.04 LTS；编程语言为Python和Go。在实际应用中，可采用高性能的服务器配置。
在实现HTM异常值归一化分布的算法时使用了开源框架nupic，这是一个基于Python的人工智能计算框架；而基于亮度值归一化分布的算法则使用Go语言实现。由于HTM需要在内存中维护表征其内部网络结构的高维数组，因此其时间与空间开销相对较高。实验结果显示，HTM处理一个点的平均时间在10毫秒左右，每一个星体的网络模型占用内存量的平均值约为120MB；用Go语言实现基于亮度值归一化分布的算法，处理一个点的时间在20-40微秒之间，内存消耗大约在7MB左右。加入模板匹配步骤之后，处理一个点的时间大约在150微秒左右，内存消耗几乎不增加。当需要并行处理多条光变曲线时，由于异常检测算法是CPU密集的，而Python作为解释型语言，由于其全局解释锁(GIL,GlobalInterpretation Lock)的限制，会出现运行CPU密集的多线程程序时，并发度较低的情况。因此为了满足算法的实时性，需要作进程级的并行，这就意味着内存消耗会随着并行度的增加而线性增加；而Go语言因其独有的goroutine机制，使得其非常适合用于开发高并发程序。尝试在单机上用Go语言实现基于亮度归一化分布的算法程序，并使用多进程+多goroutine的形式测试其能够同时检测光变曲线的最大数量。实验结果显示，在本节开头所提到的配置的机器上，最多能够同时处理大约4000条光变曲线，每个数据点的处理时间会稍微增加，但最高不超过100微秒。说明本算法足够轻量，非常适合实时处理大量光变曲线。
通过分析目前已有的数据，发现绝大部分的星体的光变曲线形态较为平缓，考虑到算法性能，数据规模以及实际应用场景的各种因素，对于实际应用时的并行处理，提出基于天区划分的数据管理和处理方案。按照天文学的划分规则，将GWAC的观测区域划分为9个天区，按天区部署服务器，前端预处理服务器根据星体所在天区将预处理后的数据转发给相应的服务器进行分析和在线异常触发。而对于每一台天区服务器，又根据变星与不变星数量比例运行相应数量的HTM模型进程与基于亮度归一化分布的算法程序，对前端服务器转发过来的采样点进行分析和异常的在线触发报警。
本发明专利中光变曲线的特征选取不限于本实施方案中光亮度与HTM异常值这两种方式，长窗口宽度L，短窗口宽度S，Q函数报警阈值ε也不限于本实施方法中选取的参数值。
上述系统可以执行前述任意一种针对光变曲线在线分析及异常报警的方法，因而可以解决相同的技术问题，达到同样的技术效果。
综上所述，本发明通过选取光变曲线的某种特征并计算长期和短期窗口内特征的统计量，得到特征的归一化变量；选取以归一化变量为自变量的适当的判别函数并根据判别函数选取相应的判别准则用于决定是否进入模板匹配步骤；并提出了在并行处理时针对具有不同形态的光变曲线采用具有不同计算复杂度的特征，对相应特征采用适当判别准则的思路，在不降低异常检测准确度的情况下，能够降低内存和时间开销，以满足实际应用场景下从大规模的光变曲线数据中产生实时科学发现的要求。本发明可用于时域天文学中光变曲线的在线分析及报警处理，能够为在线巡天的短时标科学发现提供数据分析处理平台。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种针对光变曲线在线分析及异常报警的方法，其特征在于，包括：
获取待分析星体的光变曲线，其中，所述光变曲线为所述星体按时间先后顺序的多个时刻的光亮度组成的光亮度序列；
对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，若需要将所述光变曲线与所述模板曲线进行匹配，则将所述光变曲线进行归一化后，将其与所述模板曲线进行匹配，并使用动态时间规整算法计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
2.根据权利要求1所述的方法，其特征在于，所述获取待分析星体的光变曲线，包括：
获取所述待分析星体的巡天图像，通过对所述巡天图像进行点源提取、交叉认证处理，得到所述光变曲线。
3.根据权利要求1所述的方法，其特征在于，所述计算该样本点对应的长时间窗口与短时间窗口的特征统计量，包括：
计算该样本点对应的长时间窗口内样本点特征值的均值和方差，以及该样本点对应的短时间窗口内样本点特征值的均值，其中，该样本点对应的长时间窗口为该样本点对应的时刻及该时刻前L-1个时刻对应的样本点组成的点集，该样本点对应的短时间窗口为该样本点对应的时刻及该时刻前S-1个时刻对应的样本点组成的点集，L和S均为大于1的整数，且L>S。
4.根据权利要求3所述的方法，其特征在于，所述光变曲线的采样间隔为15秒，L＝2000，S＝40。
5.根据权利要求3或4所述的方法，其特征在于，所述特征值为光亮度或HTM异常值St，其中，所述HTM异常值的计算公式为Π(xt)为HTM对对应时刻所述待分析星体光亮度的预测值的稀疏向量表示，a(xt)为对应时刻所述待分析星体光亮度的实际测量值的稀疏向量表示，·表示向量的内积运算，||a(xt)||0为a(xt)的0范数。
6.根据权利要求3或4所述的方法，其特征在于，所述根据所述特征统计量计算预设的归一化变量的值，包括：
计算所述归一化变量的值Nt，计算公式为其中，μt为该样本点对应的长时间窗口内样本点特征值的均值，为该样本点对应的长时间窗口内样本点特征值的方差，为该样本点对应的短时间窗口内样本点特征值的均值。
7.根据权利要求1所述的方法，其特征在于，所述判别函数的表达式为：其中，
8.根据权利要求5所述的方法，其特征在于，所述根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，包括：
若所述特征值为光亮度，则若判断获知所述判别函数值小于第一数值或大于第二数值时确定需要将所述光变曲线与所述模板曲线进行匹配，否则，则确定不需要将所述光变曲线与所述模板曲线进行匹配，其中，所述第一数值与第二数值的和为1；或者
若所述特征值为HTM异常值，则若判断获知所述判别函数值小于第三数值时确定需要将所述光变曲线与所述模板曲线进行匹配，否则，则确定不需要将所述光变曲线与所述模板曲线进行匹配。
9.根据权利要求8所述的方法，其特征在于，所述第一数值和第三数值为0.05，所述指定阈值为0.5。
10.一种针对光变曲线在线分析及异常报警的系统，其特征在于，包括：
获取单元，用于获取待分析星体的光变曲线，其中，所述光变曲线为所述星体按时间先后顺序的多个时刻的光亮度组成的光亮度序列；
处理单元，用于对于所述光变曲线中的每个样本点，计算该样本点对应的长时间窗口与短时间窗口的特征统计量，并根据所述特征统计量计算预设的归一化变量的值，将所述归一化变量的值代入预设的判别函数计算得到对应的判别函数值，根据所述判别函数值判断是否需要将所述光变曲线与预设的一系列模板曲线进行匹配，若需要将所述光变曲线与所述模板曲线进行匹配，则将所述光变曲线进行归一化后，将其与所述模板曲线进行匹配，并使用动态时间规整算法计算归一化后的光变曲线与每一条模板曲线之间的差异度，若判断获知存在一个差异度小于指定阈值，则触发报警，否则不触发报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611147698.5A CN106777084B (zh) | 2016-12-13 | 2016-12-13 | 针对光变曲线在线分析及异常报警的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611147698.5A CN106777084B (zh) | 2016-12-13 | 2016-12-13 | 针对光变曲线在线分析及异常报警的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106777084A true CN106777084A (zh) | 2017-05-31 |
| CN106777084B CN106777084B (zh) | 2020-09-18 |
Family
ID=58880835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611147698.5A Active CN106777084B (zh) | 2016-12-13 | 2016-12-13 | 针对光变曲线在线分析及异常报警的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106777084B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009477A (zh) * | 2017-11-10 | 2018-05-08 | 东软集团股份有限公司 | 图像的人流数量检测方法、装置、存储介质及电子设备 |
| CN109993092A (zh) * | 2019-03-25 | 2019-07-09 | 清华大学 | 光变异常的实时高灵敏早期识别方法及装置 |
| CN110427996A (zh) * | 2019-07-24 | 2019-11-08 | 清华大学 | 基于模糊匹配的时间序列异常模式识别方法及装置 |
| CN110515796A (zh) * | 2019-07-30 | 2019-11-29 | 平安科技（深圳）有限公司 | 一种基于皮质学习的异常检测方法、装置及终端设备 |
| CN110609756A (zh) * | 2019-08-15 | 2019-12-24 | 中国平安人寿保险股份有限公司 | 读数方法、电子装置、计算机设备及存储介质 |
| CN110879874A (zh) * | 2019-11-15 | 2020-03-13 | 北京工业大学 | 一种天文大数据光变曲线异常检测方法 |
| CN112925950A (zh) * | 2021-01-27 | 2021-06-08 | 中国人民大学 | 一种面向连续星表数据的数据质量控制方法及系统 |
| CN113744722A (zh) * | 2021-09-13 | 2021-12-03 | 上海交通大学宁波人工智能研究院 | 一种用于有限句库的离线语音识别匹配装置与方法 |
| CN115858895A (zh) * | 2023-02-21 | 2023-03-28 | 山东优嘉环境科技有限公司 | 一种用于智慧城市的多源异构数据处理方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477619A (zh) * | 2008-12-26 | 2009-07-08 | 北京航空航天大学 | 基于dtw曲线的运动数据动作分类方法 |
| CN105913062A (zh) * | 2016-04-26 | 2016-08-31 | 深圳前海云汉金融科技有限公司 | 一种基于大数据的趋势曲线局部特征的匹配方法及终端 |
-
2016
- 2016-12-13 CN CN201611147698.5A patent/CN106777084B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477619A (zh) * | 2008-12-26 | 2009-07-08 | 北京航空航天大学 | 基于dtw曲线的运动数据动作分类方法 |
| CN105913062A (zh) * | 2016-04-26 | 2016-08-31 | 深圳前海云汉金融科技有限公司 | 一种基于大数据的趋势曲线局部特征的匹配方法及终端 |
Non-Patent Citations (5)
| Title |
|---|
| L.M.SARRO等: "Automatic classification of eclipsing binaries light curves using neural networks", 《ARXIV:ASTRO-PH/0511346V1》 * |
| QIANG ZHU等: "A Novel Approximation to Dynamic Time Warping allows Anytime Clustering of Massive Time Series Datasets", 《SIAM》 * |
| 佚名: "Light Curves and What They Can Tell Us", 《HTTPS://IMAGINE.GSFC.NASA.GOV/SCIENCE/TOOLBOX/TIMING1.HTML》 * |
| 张立云: "晚型食双星磁活动的观测研究", 《中国博士学位论文全文数据库 基础科学辑》 * |
| 陈思 等: "基于归一化光变函数的空间目标识别研究", 《飞行器测控学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009477A (zh) * | 2017-11-10 | 2018-05-08 | 东软集团股份有限公司 | 图像的人流数量检测方法、装置、存储介质及电子设备 |
| CN108009477B (zh) * | 2017-11-10 | 2020-08-21 | 东软集团股份有限公司 | 图像的人流数量检测方法、装置、存储介质及电子设备 |
| CN109993092A (zh) * | 2019-03-25 | 2019-07-09 | 清华大学 | 光变异常的实时高灵敏早期识别方法及装置 |
| CN109993092B (zh) * | 2019-03-25 | 2021-03-16 | 清华大学 | 光变异常的实时高灵敏早期识别方法及装置 |
| CN110427996A (zh) * | 2019-07-24 | 2019-11-08 | 清华大学 | 基于模糊匹配的时间序列异常模式识别方法及装置 |
| CN110515796A (zh) * | 2019-07-30 | 2019-11-29 | 平安科技（深圳）有限公司 | 一种基于皮质学习的异常检测方法、装置及终端设备 |
| CN110515796B (zh) * | 2019-07-30 | 2022-07-01 | 平安科技（深圳）有限公司 | 一种基于皮质学习的异常检测方法、装置及终端设备 |
| CN110609756A (zh) * | 2019-08-15 | 2019-12-24 | 中国平安人寿保险股份有限公司 | 读数方法、电子装置、计算机设备及存储介质 |
| CN110879874A (zh) * | 2019-11-15 | 2020-03-13 | 北京工业大学 | 一种天文大数据光变曲线异常检测方法 |
| CN112925950A (zh) * | 2021-01-27 | 2021-06-08 | 中国人民大学 | 一种面向连续星表数据的数据质量控制方法及系统 |
| CN113744722A (zh) * | 2021-09-13 | 2021-12-03 | 上海交通大学宁波人工智能研究院 | 一种用于有限句库的离线语音识别匹配装置与方法 |
| CN115858895A (zh) * | 2023-02-21 | 2023-03-28 | 山东优嘉环境科技有限公司 | 一种用于智慧城市的多源异构数据处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106777084B (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106777084B (zh) | 针对光变曲线在线分析及异常报警的方法及系统 | |
| CN107403154B (zh) | 一种基于动态视觉传感器的步态识别方法 | |
| CN107871324B (zh) | 一种基于双通道的目标跟踪方法及装置 | |
| Cao et al. | Precipitation nowcasting with star-bridge networks | |
| CN115086607A (zh) | 一种电力施工监控系统、监控方法、计算机设备 | |
| Guo et al. | Phase partition and online monitoring for batch process based on multiway BEAM | |
| CN118035670A (zh) | 基于Deep-Pred框架的台风风速预测方法及系统 | |
| Ma et al. | PPDTSA: Privacy-preserving deep transformation self-attention framework for object detection | |
| Tao et al. | Revolutionizing flame detection: Novelization in flame detection through transferring distillation for knowledge to pruned model | |
| Liu et al. | Object detection algorithm based on lightweight YOLOv4 for UAV | |
| CN110445966B (zh) | 一种全景相机视频拍摄方法、装置、电子设备及存储介质 | |
| KR102465437B1 (ko) | 인공지능 기반 객체 추적 장치 및 방법 | |
| CN115249281A (zh) | 图像遮挡和模型训练方法、装置、设备以及存储介质 | |
| Roth et al. | Large vocabulary continuous speech recognition of Wall Street Journal data | |
| Zhao et al. | Video-based violence detection by human action analysis with neural network | |
| CN112969057A (zh) | 一种5g mec分流的电力系统人员行为自动识别系统 | |
| Qiu et al. | NFD: Toward real-time mining of short-timescale gravitational microlensing events | |
| Borwarnginn et al. | Water Level Detection from CCTV Cameras using a Deep Learning Approach | |
| Piazzesi et al. | Algorithm for real time flare detection. | |
| CN116958945B (zh) | 面向智能座舱的司机视线估计方法和相关设备 | |
| Nguyen et al. | Multi-modal abnormality detection in video with unknown data segmentation | |
| Wei et al. | Attention-Based Transformer Thermal Infrared Tracker | |
| CN117152668B (zh) | 一种基于物联网的智慧后勤实现方法、装置及设备 | |
| Zheng et al. | Infrared target detection method using adaptive feature fusion | |
| Shi et al. | Target Detection in Remote Sensing Images Based on Multi-scale Fusion Faster RCNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |