CN117786417A - 一种模型训练方法、瞬变源的识别方法、装置及电子设备 - Google Patents
一种模型训练方法、瞬变源的识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117786417A CN117786417A CN202410223117.XA CN202410223117A CN117786417A CN 117786417 A CN117786417 A CN 117786417A CN 202410223117 A CN202410223117 A CN 202410223117A CN 117786417 A CN117786417 A CN 117786417A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- sequence data
- historical time
- covered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001052 transient effect Effects 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012549 training Methods 0.000 title claims abstract description 49
- 238000013145 classification model Methods 0.000 claims abstract description 130
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000036962 time dependent Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005293 physical law Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000003758 nuclear fuel Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书公开了一种模型训练方法、瞬变源的识别方法、装置及电子设备。在此方法中,针对每个历史时序数据,通过对该历史时序数据进行预处理,得到处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据,然后,对拼接后数据中的部分数据进行遮盖后,使用遮盖后数据输入到待训练的分类模型中,以使待训练的分类模型可以根据遮盖后数据提取出的特征数据,预测出遮盖后数据中被遮盖的数据以及判别结果,而后,以最小化预测出的遮盖后数据中被遮盖的数据与遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化判别结果与实际判别结果之间的偏差为优化目标,对分类模型进行训练。
Description
技术领域
本说明书涉及天文大数据处理技术领域,尤其涉及一种模型训练方法、瞬变源的识别方法、装置及电子设备。
背景技术
瞬变天文事件是指持续时间很短暂的天文事件,发生瞬变天文事件的天体或天体系统称为瞬变源。并且,在瞬变天文事件发生时可能会由于它们内部的物理过程或与其他天体的相互作用导致天体亮度突然发生变化。
目前,在天文领域中,通常使用光变曲线记录天体亮度随时间的变化情况,并可以通过对光变曲线进行分类,来判断是否有瞬变源。进而,通过对瞬变源的研究,我们可以更好地了解宇宙中天体的性质和行为,探索宇宙中各种奇特的现象和物理规律。同时,瞬变源的发现和研究也有助于推动天文学和相关领域的发展。
所以,如何准确的对光变曲线进行分类,是一个亟待解决的问题。
发明内容
本说明书实施例提供一种模型训练方法、瞬变源的识别方法、装置及电子设备,以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案:
本说明书提供的一种模型训练方法,包括:
获取各历史时序数据,针对每个历史时序数据,该历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系;
针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据;
对所述拼接后数据中的部分数据进行遮盖,得到遮盖后数据;
将所述遮盖后数据输入到待训练的分类模型中,以使所述分类模型根据从所述遮盖后数据提取出的特征数据,预测所述遮盖后数据中被遮盖的数据以及判别结果,所述判别结果用于表征所述分类模型预测出的该历史时序数据与所述其他历史时序数据是否属于同一瞬变源;
以最小化预测出的所述遮盖后数据中被遮盖的数据与所述遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化所述判别结果与实际判别结果之间的偏差为优化目标,对所述分类模型进行训练。
可选地,针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,具体包括:
针对每个历史时序数据,确定该历史时序数据对应的各通道数据,并将该历史时序数据对应的各通道数据作为该历史时序数据对应的处理后时序数据。
可选地,针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,具体包括:
针对每个历史时序数据,在该历史时序数据中将从该历史时序数据中的初始时刻起设定时长的数据删除,以得到该历史时序数据对应的处理后时序数据。
可选地,针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,具体包括:
针对每个历史时序数据,将该历史时序数据中包含的每个时刻对应的亮度值调整至预设的亮度范围,以得到该历史时序数据对应的处理后时序数据。
可选地,所述方法还包括:
获取有标签的各历史时序数据,针对每个有标签的历史时序数据,该有标签的历史时序数据用于表征该有标签的历史时序数据对应的瞬变源类型所对应的天体的亮度随时间的变化关系;
针对每个有标签的历史时序数据,对该有标签的历史时序数据进行预处理,得到该有标签的历史时序数据对应的处理后时序数据;
将该有标签的历史时序数据对应的处理后数据输入到训练后的分类模型中,得到分类结果,所述分类结果用于表示所述训练后的分类模型预测出的该有标签的历史时序数据对应的瞬变源类型;
以最小化所述分类结果与该有标签的历史时序数据对应的标签分类结果之间的偏差为优化目标,对所述训练后的分类模型进行再训练。
本说明书提供了一种瞬变源的识别方法,包括:
获取待识别时序数据;
将所述待识别时序数据输入到预先训练的分类模型中,以使所述分类模型从所述待识别时序数据中提取出特征数据,并根据所述特征数据,得到分类结果,所述分类模型是通过上述模型训练方法训练得到的;
根据所述分类结果,进行瞬变源识别。
可选地,根据所述分类结果,进行瞬变源识别,具体包括:
根据所述分类结果,确定所述待识别时序数据所属的瞬变源类型,作为目标瞬变源类型,并确定所述待识别时序数据属于所述目标瞬变源类型的概率,作为目标概率;
获取针对所述目标瞬变源类型的历史概率分布,所述历史概率分布是将历史上属于所述目标瞬变源类型的各时序数据输入到所述分类模型中后,通过所述分类模型输出的各时序数据属于所述目标瞬变源类型的概率而确定的;
确定所述目标概率在所述历史概率分布的分布位置,并根据所述分布位置,确定针对所述待识别时序数据的判别值;
根据所述判别值与预设的判别阈值,进行瞬变源识别。
本说明书提供的一种模型训练装置,包括:
获取模块,用于获取各历史时序数据,针对每个历史时序数据,该历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系;
拼接模块,用于针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据;
处理模块,用于对所述拼接后数据中的部分数据进行遮盖,得到遮盖后数据;
预测模块,用于将所述遮盖后数据输入到待训练的分类模型中,以使所述分类模型根据从所述遮盖后数据提取出的特征数据,预测所述遮盖后数据中被遮盖的数据以及判别结果,所述判别结果用于表征所述分类模型预测出的该历史时序数据与所述其他历史时序数据是否属于同一瞬变源;
训练模块,用于以最小化预测出的所述遮盖后数据中被遮盖的数据与所述遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化所述判别结果与实际判别结果之间的偏差为优化目标,对所述分类模型进行训练。
本说明书提供的一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的一种模型训练方法或一种瞬变源的识别方法。
本说明书提供的一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的一种模型训练方法或一种瞬变源的识别方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本说明书实施例中针对每个历史时序数据,通过对该历史时序数据进行预处理,得到处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据,然后,对拼接后数据中的部分数据进行遮盖后,使用遮盖后数据输入到待训练的分类模型中,以使待训练的分类模型可以根据遮盖后数据提取出的特征数据,预测出遮盖后数据中被遮盖的数据以及判别结果,而后,以最小化预测出的遮盖后数据中被遮盖的数据与遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化判别结果与实际判别结果之间的偏差为优化目标,对分类模型进行训练。
在此方法中,通过预测遮盖后数据中被遮盖的数据,以及预测遮盖后数据中该历史时序数据与其他历史时序数据是否属于同一瞬变源类型,得到判别结果,进而,使得分类模型在训练过程中能够更加全面地学习到不同瞬变源之间的区别特征,以及同一瞬变源类型对应的时序数据之间本身存在的内在特征,极大程度地提高了分类结果的准确性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书实施例提供的一种模型训练方法的流程示意图;
图2为本说明书实施例提供的一种模型训练方法中使用到的时序数据的数据形式示意图;
图3为本说明书实施例提供的一种瞬变源的识别方法的流程示意图;
图4为本说明书实施例提供的一种瞬变源的识别方法的整体流程示意图;
图5为本说明书实施例提供的一种模型训练装置的结构示意图;
图6为本说明书实施例提供的一种瞬变源的识别装置的结构示意图;
图7为本说明书实施例提供的一种对应于图1或图3的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的一种数据存储方法的流程示意图,包括:
S100:获取各历史时序数据,针对每个历史时序数据,该历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系。
在天文现象研究中,通常将持续时间从几秒到若干年的现象称为瞬变天文事件,将发生瞬变天文事件的天体或是天体系统称为瞬变源。如,恒星演化的最后阶段,恒星核心的核燃料耗尽后,恒星发生剧烈爆炸产生的超新星爆发,以及由于恒星或黑洞等天体在合并或旋转时释放出的高能量电磁辐射造成的伽马射线暴等。
这些瞬变源的共同特点是可能会由于它们内部的物理过程或与其他天体的相互作用,而导致天体亮度突然发生变化。因此,通过对瞬变源的研究,可以更好地了解宇宙中天体的性质和行为,探索宇宙中各种奇特的现象和物理规律,同时,瞬变源的发下和研究有助于推动天文学和相关领域的发展。
目前,在天文领域中,通常使用光变曲线记录天体亮度随时间的变化情况,并可以通过对光变曲线进行分类,来判断是否有瞬变源,从而可以获取天体的各种物理信息。通常情况下,使用图像相减法对光变曲线进行分类,即,通过比较不同时刻的星像中星体光度的差异,来获取天体的时变信息,可以准确找出发生变化的天体。
但是,由于在实际操作中不可避免的受到各种因素的干扰,如,仪器影响、卷积异常等因素,造成分类结果不准确以及分类效率低的后果。
综合上述问题,虽然现有技术也可以对光变曲线进行分类来判断是否有瞬变源,但仍会造成分类结果不准确的问题。为了解决上述问题,在本说明书实施例中,针对每个历史时序数据,通过对该历史时序数据进行预处理,得到处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据,然后,对拼接后数据中的部分数据进行遮盖后,使用遮盖后数据输入到待训练的分类模型中,以使待训练的分类模型可以根据遮盖后数据提取出的特征数据,预测出遮盖后数据中被遮盖的数据以及判别结果,而后,以最小化预测出的遮盖后数据中被遮盖的数据与遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化判别结果与实际判别结果之间的偏差为优化目标,对分类模型进行训练。
在此方法中,通过预测遮盖后数据中被遮盖的数据,以及预测遮盖后数据中该历史时序数据与其他历史时序数据是否属于同一瞬变源,得到判别结果,进而,使得分类模型在训练过程中能够更加全面地学习到不同瞬变源之间的区别特征,以及瞬变源对应的时序数据之间的内在特征,极大程度地提高了分类结果的准确性。
对于本说明书提供的一种模型训练方法来说,可以通过诸如台式电脑、笔记本电脑等终端设备作为执行主体,也可以通过服务器作为执行主体。而为了便于描述,下面仅以终端设备为执行主体,对本说明书提供的一种模型训练方法进行描述。
首先,终端设备需要先对分类模型进行训练。
具体的,在本说明书实施例中,终端设备获取各历史时序数据。其中,每个历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系,并且,通过历史时序数据对应的天体的亮度随时间的变化关系来判断是否有瞬变源,即,是否发生了瞬变天文现象。
需要说明的是,为了使得分类模型能够更加全面地学习到不同瞬变源之间的特征表达能力,那么,在实际训练过程中,可以获取包含有各种类型瞬变源对应的历史时序数据集以及非瞬变源对应的历史时序数据集等无标签的各历史时序数据。
这样一来,通过使用历史时序数据集对分类模型进行训练,使得分类模型既可以学习到不同类型瞬变源之间的区别特征,也可以学习到同一瞬变源类型对应的时序数据本身存在的内在特征,以及,瞬变源与非瞬变源的历史时序数据之间的区别特征,进而,分类模型可以针对各种待识别的时序数据进行分类,给出与之对应的分类结果,从而能够保证分类结果的准确性。
S102:针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据。
在本说明书实施例中,为了使得分类模型可以有更加准确的分类结果,终端设备需要对每个历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,而后,将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据。
具体的,在本说明书中,终端设备可以有三种方式对各历史时序数据进行预处理。
第一种方式:针对每个历史时序数据,根据该历史时序数据对应的各通道数据,将该历史时序数据对应的各通道数据作为该历史时序数据对应的处理后时序数据。
第二种方式:针对每个历史时序数据将该历史时序数据中包含的每个时刻对应的亮度值调整至预设的亮度范围,以得到该历史时序数据对应的处理后时序数据。之所以将历史时序数据中包含的每个时刻对应的亮度值调整至预设的亮度范围,是为了确保亮度值不会出现过高或是过低的情况,便于后续分类模型进行数据分析,能够提高模型的处理效率。
第三种方式:针对每个历史时序数据,在该历史时序数据中将从该历史时序数据中的初始时刻起设定时长的数据删除,以得到该历史时序数据对应的处理后时序数据。使用这样方式进行预处理,可以减少初始时间中可能存在的噪声,以此来减低对模型训练的影响。
图2为本说明书实施例提供的模型训练方法中使用到的时序数据的数据形式示意图。以图2所示的时序数据为例,表示为获取到的每个历史时序数据所对应的数据形式,每个时序数据均包含有六个通道,分别为u通道、g通道、r通道、i通道、z通道、y通道,针对任意一个通道的时序数据来说,该通道下的时序数据实际上记录了在该图像通道下每个时刻对应的亮度值,图中的横坐标表示为时间,单位是毫秒(ms),纵坐标表示为不同时刻对应的亮度值,单位是尔格/每平方厘米/每秒(erg / cm^2 / s)。
若以第一种方式对历史时序数据进行预处理,则是将历史时序数据按照不同的通道所对应的时序数据进行预处理。即,一个历史时序数据按照通道对应的时序数据分开存储,得到六个通道数据。
若以第二种方式对历史时序数据进行预处理,则是将历史时序数据中包含的每个时刻对应的亮度值进行预处理。如,将每个时刻对应的亮度值按照预设范围的亮度区间进行划分,每个亮度区间按照不同的处理方式,得到对应的在预设的亮度范围内的处理后时序数据。
若以第三种方式对历史时序数据进行预处理,则是将历史时序数据中从初始时刻起的一段数据删除,得到对应的处理后时序数据。
使用上述方法得到各历史时序数据对应的处理后时序数据后,从各处理后时序数据随机选取两个进行拼接,得到拼接后数据,同时,对每个拼接后数据中包含的两个处理后时序数据进行判断是否属于同一瞬变源类型,作为实际判别结果,如,若拼接后数据中包含的两个处理后时序数据属于同一瞬变源类型,则实际判别结果记作+1,若拼接后数据中包含的两个处理后时序数据不属于同一瞬变源类型,则实际判别结果记作-1。通过对历史时序数据进行预处理,来提高分类模型的性能和准确性,进一步提高分类模型的泛化能力和精度。
当然,也可以结合三种方式来对历史时序数据进行预处理,例如,在获取到历史时序数据后,先将上述历史时序数据中从初始时刻起的一段数据删除,而后,将剩余的时序数据中包含的各时刻的亮度值按照预设的亮度范围进行调整,得到调整后的剩余时序数据,最后,将调整后的剩余时序数据按照不同的通道进行划分,从而得到各通道的时序数据,即作为得到的处理后时序数据。
当然,除了上述提到的预处理方式以外,还可以使用其他的预处理方式,例如,为了保证分类模型的数据处理效率,可以将历史时序数据中各时刻的数值进行调整,如,将各时刻减去一个固定数值,从而得到调整时刻后的时序数据,由于时刻在数值上有所缩减,可以使得分类模型在后续的数据处理过程中,能够在一定程度上提高效率。而需要强调的是,调整时刻并不会对亮度值造成影响,由于减去的是一个固定数值,所以,调整时刻后的时序数据依然是按照与调整前的时序数据相同的时间间隔,来记录亮度值的变化情况。
S104:对所述拼接后数据中的部分数据进行遮盖,得到遮盖后数据。
通过上述方法得到各历史时序数据对应的处理后时序数据,终端设备针对拼接后数据中的部分数据进行遮盖,得到遮盖后数据,使用遮盖后数据对分类模型进行训练,以便于分类模型可以学习到瞬变源对应的时序数据本身存在的一些内在特征。
需要注意的是,由于分类模型主要是针对历史时序数据中的每个时刻对应的亮度值之间的特征来进行学习,因此,在对拼接后数据进行数据遮盖时,可以仅针对拼接后数据中包含的每个时刻对应的亮度值进行的部分遮盖,如,将拼接后数据中包含的每个时刻对应的亮度值中的20%的数据进行遮盖。
通过使用遮盖后数据对分类模型进行训练,以使分类模型可以更好地学习到瞬变源对应的时序数据本身存在的内在特征。
S106:将所述遮盖后数据输入到待训练的分类模型中,以使所述分类模型根据从所述遮盖后数据提取出的特征数据,预测所述遮盖后数据中被遮盖的数据以及判别结果,所述判别结果用于表征所述分类模型预测出的该历史时序数据与所述其他历史时序数据是否属于同一瞬变源。
在本说明书实施例中,终端设备将遮盖后数据输入到待训练的分类模型中,进行特征提取,以使分类模型根据特征提取,来预测遮盖后数据中被遮盖的数据进行预测,同时,针对该历史时序数据与其他历史时序数据是否属于同一瞬变源类型,来进行预测,得到判别结果。
其中,这里所说的判断该历史时序数据与其他历史时序数据是否属于同一瞬变源指的是,遮盖后数据中进行拼接的处理后数据是否是同一瞬变源类型。
通过使分类模型对遮盖后数据中被遮盖数据进行预测,来使分类模型学习到同一瞬变源类型对应的时序数据之间的内在特征,同时,对遮盖后数据中进行拼接的处理后数据是否属于同一瞬变源类型进行判别,使得分类模型学习到不同瞬变源之间的区别特征。
S108:以最小化预测出的所述遮盖后数据中被遮盖的数据与所述遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化所述判别结果与实际判别结果之间的偏差为优化目标,对所述分类模型进行训练。
在本说明书中,终端设备以最小化预测出的遮盖后数据中被遮盖的数据与遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化判别结果与实际判别结果之间的偏差为优化目标,对待训练的分类模型进行训练。其中,这里提到的判别结果用于表示待训练的分类模型对遮盖后数据中进行拼接的处理后数据是否是同一瞬变源类型的判别结果。
并且,通过上述方法得到训练后的分类模型后,为了确保训练后的分类模型的分类结果的准确性,需要终端设备对训练后的分类模型进一步微调,以解决训练后分类模型中可能存在的问题,从而改善训练后的分类模型的性能。
具体的,终端设备获取有标签的各历史时序数据,其中,该有标签的历史时序数据用于表征该有标签的历史时序数据对应的瞬变源类型所对应的天体的亮度随时间的变化关系。
针对每个有标签的历史时序数据,对该有标签的历史时序数据进行预处理,得到该有标签的历史时序数据对应的处理后时序数据,将该有标签的历史时序数据对应的处理后数据输入到训练后的分类模型中,得到分类结果,以最小化分类结果与该有标签的历史时序数据对应的标签分类结果之间的偏差为优化目标,对训练后的分类模型进行再训练。其中,分类结果用于表示训练后的分类模型预测出的该有标签的历史时序数据对应的瞬变源类型。
需要注意的是,这里提到的对有标签的历史时序数据进行预处理的方式与上述提到的预处理方式相同,并将处理后时序数据作为同一整体输入到训练后的分类模型中,得到有标签的历史时序数据对应的分类结果。
例如,获取到有标签的历史时序数据后,先将有标签的历史时序数据中从初始时刻起的一段数据删除,而后,将剩余的时序数据中包含的各时刻的亮度值按照预设的亮度范围进行调整,得到调整后的剩余时序数据,最后,将调整后的剩余时序数据按照不同的通道进行划分,从而得到各通道的时序数据,即,作为得到的处理后时序数据,进而,将该有标签的历史时序数据对应的处理后时序数据拼接在一起,作为一个整体输入到训练后的分类模型中,进而对训练后的分类模型进行后续的调整。通过使用有标签的历史时序数据,对训练后的分类模型进行进一步调整,来确保训练后的分类模型的分类结果的准确性。
根据上述一种模型训练方法,得到预先训练的分类模型,进而可以得到一种瞬变源的识别方法,具体过程如下图3所示。
图3为本说明书实施例提供的一种瞬变源的识别方法的流程示意图。
S300:获取待识别时序数据。
在本说明书实施例中,将观测到的时序数据作为待识别时序数据,并使用预先训练的分类模型对待识别时序数据进行分类。
S302:将所述待识别时序数据输入到预先训练的分类模型中,以使所述分类模型从所述待识别时序数据中提取出特征数据,并根据所述特征数据,得到分类结果,所述分类模型是通过上述模型训练方法训练得到的。
在本说明书实施例中,终端设备在将待识别时序数据输入到预先训练的分类模型中之前,需要先对待识别时序数据进行预处理后,从而,使用预先训练的分类模型对待识别时序数据进行分类。
具体的,终端设备对待识别时序数据进行预处理与上述终端设备对历史时序数据的预处理方式相同。例如,可以先对待识别时序数据中包含的每个时刻对应的亮度值调整至预设的亮度范围,再对待识别时序数据中将从待识别时序数据中的初始时刻起设定时长的数据删除,并在此基础上,对待识别时序数据进行不同通道的划分,从而将各通道的时序数据作为得到的处理后时序数据。
需要注意的是,待识别时序数据的数据形式也如图2所示,待识别时序数据包含有六个通道,针对任意一个通道的时序数据来说,该通道下的时序数据实际上记录了在该图像通道下每个时刻对应的亮度值,图中的横坐标表示为时间,单位是毫秒(ms),纵坐标表示为不同时刻对应的亮度值,单位是尔格/每平方厘米/每秒(erg / cm^2 / s)。
通过对待识别时序数据进行预处理,来减少待识别数据中心可能存在的异常值或是噪声等问题,来提高数据的质量和一致性,从而提高分类模型的分类结果的准确性。
S304:根据所述分类结果,进行瞬变源识别。
在本说明书实施例中,终端设备根据预先训练的分类模型输出的分类结果,进一步根据该分类结果,来得到待识别时序数据的瞬变源类型。其中,在本说明书中,在终端设备根据预先训练的分类模型的分类结果,进行瞬变源识别时,可以使用共形推断算法进行识别。
具体的,在终端设备根据分类结果进行瞬变源识别之前,需要使用预先训练的分类模型对已知瞬变源类型的历史时序数据进行分类,得到对应的分类结果,得到所属瞬变源类型,并将所属瞬变源类型对应的概率,作为历史概率,进而,将同一瞬变源类型对应的概率作为该类型瞬变源的历史概率分布。
进一步地,终端设备根据待识别时序数据对应的分类结果,来得到待识别时序数据所属的瞬变源类型,并作为目标瞬变源类型,同时,将待识别时序数据属于目标瞬变源类型的概率,作为目标概率。而后,根据目标概率在对应目标瞬变源的历史概率分布中的分布位置,来得到针对待识别时序数据的判别值,从而,将判别值与预设的判别阈值进行比较,来确定预先训练的分类模型针对待识别时序数据输出的分类结果是否准确,以此来进行瞬变源识别。
展开来讲,若待识别时序数据对应的判别值大于预设的判别阈值,则说明待识别时序数据是已知的瞬变源类型,预先训练的分类模型的分类结果是正确的;若待识别时序数据对应的判别值小于预设的判别阈值,则可能表示有三种情况。
第一种情况可能是待识别时序数据对应的瞬变源类型是未知的瞬变源类型;第二种情况可能是预先训练的分类模型的分类结果表明待识别时序数据是某种类型的瞬变源,但是实际上待识别时序数据并不是瞬变源所产生的,即,待识别时序数据对应的天体并不是瞬变源;第三种情况可能是待识别时序数据实际所属的瞬变源类型并不是预先训练的分类模型给出的分类结果所表明的瞬变源类型,而是另一种已知的瞬变源类型,如,预先训练的分类模型给出的待识别时序数据所属的是瞬变源类型A,但是,实际上待识别时序数据所属的是瞬变源类型B。
为了更加清楚的描述本说明书提供的方法,这里通过一个例子来说明。例如,待识别时序数据属于瞬变源类型A(即目标瞬变源类型)的概率为0.8,在历史上,属于瞬变源类型A的时序数据有100个,分类模型对这100个时序数据进行分类后,可以分别得到分类模型对这100个时序数据属于瞬变源类型A的概率,进而通过这100个概率,针对瞬变源类型A的历史概率分布。
而后,可以将目标概率与瞬变源类型A对应的历史概率分布中所包含的概率进行比较,得到目标概率在对应瞬变源类型A的历史概率分布中的分布位置为第90位,则针对待识别时序数据的判别值为0.9,从而,将判别值与预设的判别阈值进行比较,来判断预先训练的分类模型针对待识别时序数据给出的分类结果是否准确。
其中,针对待识别时序数据对应的判别值小于预设的判别阈值这种情况,会对待识别时序数据对应的天体进行重新观测,并收集对应的光谱数据,进一步通过研究人员来根据光谱数据判别待识别时序数据对应的天体是否为未知的星体。
从上述内容可以看出,通过预测遮盖后数据中被遮盖的数据,以及预测遮盖后数据中该历史时序数据与其他历史时序数据是否属于同一瞬变源类型,得到判别结果,进而,使得分类模型在训练过程中能够更加全面地学习到不同类型瞬变源之间的区别特征,以及同一瞬变源类型对应的时序数据之间本身存在的内在特征,极大程度地提高了分类结果的准确性。
图4为本说明书实施例提供的一种瞬变源的识别方法的整体流程示意图。
在本说明书中,为了对待识别时序数据进行更加准确的分类,得到对应的准确的瞬变源类型,首先,需要终端设备对待训练的分类模型进行训练,进而,使用预先训练好的分类模型对待识别时序数据进行分类,以确定待识别时序数据所属的瞬变源类型,并针对分类模型的分类结果所得到的瞬变源类型,进行进一步确认,来判断分类结果是否准确。
具体的,使用各历史时序数据对待训练的分类模型进行训练,在训练开始之前,需要先对各历史时序数据进行数据预处理,以得到处理后数据,并对处理后数据进行进一步处理,得到遮盖后数据,将遮盖后数据输入到待训练的分类模型中,以使用遮盖后数据对待训练的分类模型进行训练,得到训练后的分类模型,并使用有标签的各历史时序数据对训练后的分类模型进一步微调,即,以最小化分类结果与该有标签的历史时序数据对应的标签分类结果之间的偏差为优化目标,对训练后的分类模型进行再训练,得到预先训练的分类模型。
进而,使用预先训练的分类模型对待识别时序数据进行识别,得到分类结果,即待识别时序数据所属的瞬变源类型,在此基础上,使用瞬变源识别方法根据该分类结果进行瞬变源识别,来判断分类结果是否准确。
通过对数据进行预处理,来提高分类模型的泛化能力和精度,并通过对训练后的分类模型进行微调,改善训练后的分类模型的性能和泛化能力,来进一步提高分类模型的准确性和运行效率,同时,使用瞬变源识别方法对预先训练的分类模型的输出的分类结果进行进一步确认,来保证待识别时序数据所属的瞬变源类型是否准确,进而,确保是否有瞬变天文事件发生,来对待识别时序数据对应的天体进行进一步研究。
以上为本说明书实施例提供的一个或多个实施一种模型训练方法以及一种瞬变源的识别方法,基于同样的思路,本说明书还提供了相应的一种模型训练装置以及一种瞬变源的识别装置,如图5、图6所示。
图5为本说明书实施例提供的一种模型训练装置的结构示意图,所述装置包括:
获取模块501,用于获取各历史时序数据,针对每个历史时序数据,该历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系;
拼接模块502,用于针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据;
处理模块503,用于对所述拼接后数据中的部分数据进行遮盖,得到遮盖后数据;
预测模块504,用于将所述遮盖后数据输入到待训练的分类模型中,以使所述分类模型根据从所述遮盖后数据提取出的特征数据,预测所述遮盖后数据中被遮盖的数据以及判别结果,所述判别结果用于表征所述分类模型预测出的该历史时序数据与所述其他历史时序数据是否属于同一瞬变源;
训练模块505,用于以最小化预测出的所述遮盖后数据中被遮盖的数据与所述遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化所述判别结果与实际判别结果之间的偏差为优化目标,对所述分类模型进行训练。
可选地,所述拼接模块502具体用于,针对每个历史时序数据,确定该历史时序数据对应的各通道数据,并将该历史时序数据对应的各通道数据作为该历史时序数据对应的处理后时序数据。
可选地,所述拼接模块502具体用于,针对每个历史时序数据,在该历史时序数据中将从该历史时序数据中的初始时刻起设定时长的数据删除,以得到该历史时序数据对应的处理后时序数据。
可选地,所述拼接模块502具体用于,针对每个历史时序数据,将该历史时序数据中包含的每个时刻对应的亮度值调整至预设的亮度范围,以得到该历史时序数据对应的处理后时序数据。
可选地,所述方法还用于,获取有标签的各历史时序数据,针对每个有标签的历史时序数据,该有标签的历史时序数据用于表征该有标签的历史时序数据对应的瞬变源类型所对应的天体的亮度随时间的变化关系;针对每个有标签的历史时序数据,对该有标签的历史时序数据进行预处理,得到该有标签的历史时序数据对应的处理后时序数据;将该有标签的历史时序数据对应的处理后数据输入到训练后的分类模型中,得到分类结果,所述分类结果用于表示所述训练后的分类模型预测出的该有标签的历史时序数据对应的瞬变源类型;以最小化所述分类结果与该有标签的历史时序数据对应的标签分类结果之间的偏差为优化目标,对所述训练后的分类模型进行再训练。
图6为本说明书实施例提供的一种瞬变源的识别装置的结构示意图,包括:
获取模块601,用于获取待识别时序数据;
输出模块602,用于将所述待识别时序数据输入到预先训练的分类模型中,以使所述分类模型从所述待识别时序数据中提取出特征数据,并根据所述特征数据,得到分类结果,所述分类模型是通过上述模型训练方法训练得到的;
识别模块603,用于根据所述分类结果,进行瞬变源识别。
可选地,所述识别模块603具体用于,根据所述分类结果,确定所述待识别时序数据所属的瞬变源类型,作为目标瞬变源类型,并确定所述待识别时序数据属于所述目标瞬变源类型的概率,作为目标概率;获取针对所述目标瞬变源类型的历史概率分布,所述历史概率分布是将历史上属于所述目标瞬变源类型的各时序数据输入到所述分类模型中后,通过所述分类模型输出的各时序数据属于所述目标瞬变源类型的概率而确定的;确定所述目标概率在所述历史概率分布的分布位置,并根据所述分布位置,确定针对所述待识别时序数据的判别值;根据所述判别值与预设的判别阈值,进行瞬变源识别。
本说明书还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可用于执行上述图1提供的一种模型训练方法或图3提供的一种瞬变源的识别方法。
基于图1所示的一种模型训练方法或是基于图3所示的一种瞬变源的识别方法,本说明书实施例还提供了图7所示的一种对应于图1或图3的电子设备的结构示意图。如图7,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的一种模型训练方法或图3所述的一种瞬变源的识别方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种模型训练方法,其特征在于,包括:
获取各历史时序数据,针对每个历史时序数据,该历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系;
针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据;
对所述拼接后数据中的部分数据进行遮盖,得到遮盖后数据;
将所述遮盖后数据输入到待训练的分类模型中,以使所述分类模型根据从所述遮盖后数据提取出的特征数据,预测所述遮盖后数据中被遮盖的数据以及判别结果,所述判别结果用于表征所述分类模型预测出的该历史时序数据与所述其他历史时序数据是否属于同一瞬变源;
以最小化预测出的所述遮盖后数据中被遮盖的数据与所述遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化所述判别结果与实际判别结果之间的偏差为优化目标,对所述分类模型进行训练。
2.如权利要求1所述的方法,其特征在于,针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,具体包括:
针对每个历史时序数据,确定该历史时序数据对应的各通道数据,并将该历史时序数据对应的各通道数据作为该历史时序数据对应的处理后时序数据。
3.如权利要求1所述的方法,其特征在于,针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,具体包括:
针对每个历史时序数据,在该历史时序数据中将从该历史时序数据中的初始时刻起设定时长的数据删除,以得到该历史时序数据对应的处理后时序数据。
4.如权利要求1所述的方法,其特征在于,针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,具体包括:
针对每个历史时序数据,将该历史时序数据中包含的每个时刻对应的亮度值调整至预设的亮度范围,以得到该历史时序数据对应的处理后时序数据。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取有标签的各历史时序数据,针对每个有标签的历史时序数据,该有标签的历史时序数据用于表征该有标签的历史时序数据对应的瞬变源类型所对应的天体的亮度随时间的变化关系;
针对每个有标签的历史时序数据,对该有标签的历史时序数据进行预处理,得到该有标签的历史时序数据对应的处理后时序数据;
将该有标签的历史时序数据对应的处理后数据输入到训练后的分类模型中,得到分类结果,所述分类结果用于表示所述训练后的分类模型预测出的该有标签的历史时序数据对应的瞬变源类型;
以最小化所述分类结果与该有标签的历史时序数据对应的标签分类结果之间的偏差为优化目标,对所述训练后的分类模型进行再训练。
6.一种瞬变源的识别方法,其特征在于,包括:
获取待识别时序数据;
将所述待识别时序数据输入到预先训练的分类模型中,以使所述分类模型从所述待识别时序数据中提取出特征数据,并根据所述特征数据,得到分类结果,所述分类模型是通过如权利要求1~5任一项所述的方法训练得到的;
根据所述分类结果,进行瞬变源识别。
7.如权利要求6所述的方法,其特征在于,根据所述分类结果,进行瞬变源识别,具体包括:
根据所述分类结果,确定所述待识别时序数据所属的瞬变源类型,作为目标瞬变源类型,并确定所述待识别时序数据属于所述目标瞬变源类型的概率,作为目标概率;
获取针对所述目标瞬变源类型的历史概率分布,所述历史概率分布是将历史上属于所述目标瞬变源类型的各时序数据输入到所述分类模型中后,通过所述分类模型输出的各时序数据属于所述目标瞬变源类型的概率而确定的;
确定所述目标概率在所述历史概率分布的分布位置,并根据所述分布位置,确定针对所述待识别时序数据的判别值;
根据所述判别值与预设的判别阈值,进行瞬变源识别。
8.一种模型训练装置,其特征在于,包括:
获取模块,用于获取各历史时序数据,针对每个历史时序数据,该历史时序数据用于表征该历史时序数据对应的天体的亮度随时间的变化关系;
拼接模块,用于针对每个历史时序数据,对该历史时序数据进行预处理,得到该历史时序数据对应的处理后时序数据,并将该历史时序数据对应的处理后时序数据与其他历史时序数据对应的处理后时序数据进行拼接,得到拼接后数据;
处理模块,用于对所述拼接后数据中的部分数据进行遮盖,得到遮盖后数据;
预测模块,用于将所述遮盖后数据输入到待训练的分类模型中,以使所述分类模型根据从所述遮盖后数据提取出的特征数据,预测所述遮盖后数据中被遮盖的数据以及判别结果,所述判别结果用于表征所述分类模型预测出的该历史时序数据与所述其他历史时序数据是否属于同一瞬变源;
训练模块,用于以最小化预测出的所述遮盖后数据中被遮盖的数据与所述遮盖后数据中被遮盖的实际数据之间的偏差,以及最小化所述判别结果与实际判别结果之间的偏差为优化目标,对所述分类模型进行训练。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410223117.XA CN117786417B (zh) | 2024-02-28 | 2024-02-28 | 一种模型训练方法、瞬变源的识别方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410223117.XA CN117786417B (zh) | 2024-02-28 | 2024-02-28 | 一种模型训练方法、瞬变源的识别方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117786417A true CN117786417A (zh) | 2024-03-29 |
CN117786417B CN117786417B (zh) | 2024-05-10 |
Family
ID=90400407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410223117.XA Active CN117786417B (zh) | 2024-02-28 | 2024-02-28 | 一种模型训练方法、瞬变源的识别方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117786417B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203462A (zh) * | 2016-06-23 | 2016-12-07 | 中国科学院国家天文台 | 基于机器学习的天文光学瞬变源快速自动识别方法及系统 |
EP3648044A1 (en) * | 2017-12-27 | 2020-05-06 | Alibaba Group Holding Limited | Method, apparatus, and device for training risk control model and risk control |
CN112966186A (zh) * | 2021-03-30 | 2021-06-15 | 北京三快在线科技有限公司 | 一种模型训练和信息推荐的方法及装置 |
CN113837783A (zh) * | 2020-06-24 | 2021-12-24 | 上海顺如丰来技术有限公司 | 时间序列模型参数优化方法、装置、计算机设备 |
CN114298735A (zh) * | 2021-12-07 | 2022-04-08 | 北京三快在线科技有限公司 | 一种模型训练的方法、信息推送的方法及装置 |
CN114519430A (zh) * | 2022-04-20 | 2022-05-20 | 南京大学 | 一种软量子神经网络系统及模式识别方法 |
WO2022142026A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技(深圳)有限公司 | 分类网络构建方法以及基于分类网络的分类方法 |
KR20220122566A (ko) * | 2022-03-22 | 2022-09-02 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 텍스트 인식 모델의 트레이닝 방법, 텍스트 인식 방법 및 장치 |
WO2022252960A1 (zh) * | 2021-06-01 | 2022-12-08 | 京东城市(北京)数字科技有限公司 | 预测模型的训练方法、装置、计算机设备及存储介质 |
CN115545002A (zh) * | 2022-11-29 | 2022-12-30 | 支付宝(杭州)信息技术有限公司 | 一种模型训练和业务处理的方法、装置、存储介质及设备 |
CN117150237A (zh) * | 2023-08-09 | 2023-12-01 | 新奥新智科技有限公司 | 时序数据预测方法、装置、设备及计算机可读存储介质 |
WO2023231785A1 (zh) * | 2022-05-31 | 2023-12-07 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
WO2023246393A1 (zh) * | 2022-06-22 | 2023-12-28 | 支付宝(杭州)信息技术有限公司 | 意图识别模型训练及用户意图识别 |
CN117390585A (zh) * | 2023-12-12 | 2024-01-12 | 之江实验室 | 基于三维全连接融合的时序数据预测方法及模型训练方法 |
CN117454100A (zh) * | 2023-09-19 | 2024-01-26 | 深圳市路桥建设集团有限公司 | 一种面向工程结构的缺失数据重构方法 |
-
2024
- 2024-02-28 CN CN202410223117.XA patent/CN117786417B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203462A (zh) * | 2016-06-23 | 2016-12-07 | 中国科学院国家天文台 | 基于机器学习的天文光学瞬变源快速自动识别方法及系统 |
EP3648044A1 (en) * | 2017-12-27 | 2020-05-06 | Alibaba Group Holding Limited | Method, apparatus, and device for training risk control model and risk control |
CN113837783A (zh) * | 2020-06-24 | 2021-12-24 | 上海顺如丰来技术有限公司 | 时间序列模型参数优化方法、装置、计算机设备 |
WO2022142026A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技(深圳)有限公司 | 分类网络构建方法以及基于分类网络的分类方法 |
CN112966186A (zh) * | 2021-03-30 | 2021-06-15 | 北京三快在线科技有限公司 | 一种模型训练和信息推荐的方法及装置 |
WO2022252960A1 (zh) * | 2021-06-01 | 2022-12-08 | 京东城市(北京)数字科技有限公司 | 预测模型的训练方法、装置、计算机设备及存储介质 |
CN114298735A (zh) * | 2021-12-07 | 2022-04-08 | 北京三快在线科技有限公司 | 一种模型训练的方法、信息推送的方法及装置 |
KR20220122566A (ko) * | 2022-03-22 | 2022-09-02 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 텍스트 인식 모델의 트레이닝 방법, 텍스트 인식 방법 및 장치 |
CN114519430A (zh) * | 2022-04-20 | 2022-05-20 | 南京大学 | 一种软量子神经网络系统及模式识别方法 |
WO2023231785A1 (zh) * | 2022-05-31 | 2023-12-07 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
WO2023246393A1 (zh) * | 2022-06-22 | 2023-12-28 | 支付宝(杭州)信息技术有限公司 | 意图识别模型训练及用户意图识别 |
CN115545002A (zh) * | 2022-11-29 | 2022-12-30 | 支付宝(杭州)信息技术有限公司 | 一种模型训练和业务处理的方法、装置、存储介质及设备 |
CN117150237A (zh) * | 2023-08-09 | 2023-12-01 | 新奥新智科技有限公司 | 时序数据预测方法、装置、设备及计算机可读存储介质 |
CN117454100A (zh) * | 2023-09-19 | 2024-01-26 | 深圳市路桥建设集团有限公司 | 一种面向工程结构的缺失数据重构方法 |
CN117390585A (zh) * | 2023-12-12 | 2024-01-12 | 之江实验室 | 基于三维全连接融合的时序数据预测方法及模型训练方法 |
Non-Patent Citations (2)
Title |
---|
B. CHENG;D. WIGGINS;MIT LINCOLN LABORATORY;L. BERGER; LABN CONSULTING, L.L.C.;: "DLEP Traffic Classification Data Item draft-ietf-manet-dlep-traffic-classification-00", IETF, 2 August 2018 (2018-08-02) * |
陈媛;沈湘衡;王安邦;宋元章;: "似然关系模型在航天软件缺陷预测中的应用", 光学精密工程, no. 07, 15 July 2013 (2013-07-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN117786417B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115618964B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN112417093B (zh) | 一种模型训练的方法及装置 | |
CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
CN115618748B (zh) | 一种模型优化的方法、装置、设备及存储介质 | |
CN116152933A (zh) | 一种异常检测模型的训练方法、装置、设备及存储介质 | |
CN117197781A (zh) | 一种交通标志识别的方法、装置、存储介质及电子设备 | |
CN117786417B (zh) | 一种模型训练方法、瞬变源的识别方法、装置及电子设备 | |
CN117113174A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN111242195B (zh) | 模型、保险风控模型训练方法、装置及电子设备 | |
CN112397073B (zh) | 一种音频数据处理方法及装置 | |
CN114926437A (zh) | 一种图像质量评价方法及装置 | |
CN117746193B (zh) | 一种标签优化方法、装置、存储介质及电子设备 | |
CN116188919B (zh) | 一种测试方法、装置、可读存储介质及电子设备 | |
CN116434787B (zh) | 一种语音情感识别的方法、装置、存储介质及电子设备 | |
CN116109008B (zh) | 一种业务执行的方法、装置、存储介质及电子设备 | |
CN115423485B (zh) | 数据处理方法、装置及设备 | |
CN116501852B (zh) | 一种可控对话模型训练方法、装置、存储介质及电子设备 | |
CN117407690B (zh) | 一种基于模型迁移性评估的任务执行方法、装置及设备 | |
CN118015316B (zh) | 一种图像匹配模型训练的方法、装置、存储介质、设备 | |
CN116861976A (zh) | 一种异常检测模型的训练方法、装置、设备及存储介质 | |
CN117743824A (zh) | 一种模型训练、业务执行方法、装置、存储介质及设备 | |
CN116776114A (zh) | 一种风险检测的方法、装置、存储介质及电子设备 | |
CN117079274A (zh) | 一种识别模型的训练方法、装置、存储介质及电子设备 | |
CN116401541A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN117313739A (zh) | 一种语言模型的训练方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |