CN111444151B - 数据监控方法、装置、计算机设备和存储介质 - Google Patents

数据监控方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111444151B
CN111444151B CN202010235236.9A CN202010235236A CN111444151B CN 111444151 B CN111444151 B CN 111444151B CN 202010235236 A CN202010235236 A CN 202010235236A CN 111444151 B CN111444151 B CN 111444151B
Authority
CN
China
Prior art keywords
sequencing
file
data
sequencing result
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010235236.9A
Other languages
English (en)
Other versions
CN111444151A (zh
Inventor
王沫
秦宏斌
崔洲洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhiben Medical Laboratory Co ltd
Origimed Technology Shanghai Co ltd
Original Assignee
Shanghai Zhiben Medical Laboratory Co ltd
Origimed Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhiben Medical Laboratory Co ltd, Origimed Technology Shanghai Co ltd filed Critical Shanghai Zhiben Medical Laboratory Co ltd
Priority to CN202010235236.9A priority Critical patent/CN111444151B/zh
Publication of CN111444151A publication Critical patent/CN111444151A/zh
Application granted granted Critical
Publication of CN111444151B publication Critical patent/CN111444151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions

Abstract

本申请涉及一种数据监控方法、装置、计算机设备和存储介质。所述方法包括:获取服务器中用于存储测序结果文件的目录地址;测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至服务器的文件;对服务器中目录地址下存储的数据进行监测;当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;测序完成文件为测序仪对样本测序完成后所生成的、且传输至服务器的文件;当监测到数据中包括测序完成文件时,触发对接的处理节点基于数据中的测序结果文件进行相应的业务处理。采用本方法能够提高样本的检测效率。

Description

数据监控方法、装置、计算机设备和存储介质
技术领域
本申请涉及生物信息技术领域,特别是涉及一种数据监控方法、装置、计算机设备和存储介质。
背景技术
随着生物信息技术的发展,出现了DNA(Deoxyribonucleic acid,脱氧核糖核酸)测序技术,DNA测序技术通过分析特定DNA片段的碱基序列,也就是分析腺嘌呤(A)、胸腺嘧啶(T)、胞嘧啶(C)和鸟嘌呤的(G)排列方式来破解基因密码。目前,DNA测序技术在医疗健康、环境保护、新能源、新材料和现代农业等领域发挥重要作用。传统的DNA测序方式是通过多台测序设备对样本进行上机测序,并将对应的测序结果传输给其他流程。其中,需要通过人工来监测测序结果的传输情况。
然而,当发生网络中断或服务器宕机等情况,而导致测序结果的传输发生异常时,采用传统的通过人工来监测测序结果传输情况的方式,工作人员可能无法及时发现测序结果的传输异常,因而存在样本检测效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高检测效率的数据监控方法、装置、计算机设备和存储介质。
一种数据监控方法,所述方法包括:
获取服务器中用于存储测序结果文件的目录地址;所述测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至所述服务器的文件;
对所述服务器中所述目录地址下存储的数据进行监测;
当监测到所述数据中未包括测序完成文件、且所述数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;所述测序完成文件为所述测序仪对样本测序完成后所生成的、且传输至所述服务器的文件;
当监测到所述数据中包括所述测序完成文件时,触发对接的处理节点基于所述数据中的测序结果文件进行相应的业务处理。
一种数据监控装置,所述装置包括:
获取模块,用于获取服务器中用于存储测序结果文件的目录地址;所述测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至所述服务器的文件;
监测模块,用于对所述服务器中所述目录地址下存储的数据进行监测;
告警模块,用于当监测到所述数据中未包括测序完成文件、且所述数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;所述测序完成文件为所述测序仪对样本测序完成后所生成的、且传输至所述服务器的文件;
处理模块,用于当监测到所述数据中包括所述测序完成文件时,触发对接的处理节点基于所述数据中的测序结果文件进行相应的业务处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述数据监控方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述数据监控方法的步骤。
上述数据监控方法、装置、计算机设备和存储介质,通过获取服务器中用于存储测序结果文件的目录地址,从而对服务器中目录地址下的存储的数据进行监测,以获取测序结果文件的传输情况。当监测到测序结果文件的文件大小满足告警条件时,自动触发告警信息来通知相关人员,避免了由于没有及时发现传输异常而导致样本检测时间过长的问题,这不仅提高了故障处理的效率,还提高了样本检测的效率。当监测到服务器中目录地址下包括测序完成文件时,触发对应的处理节点以自动进行后续工作,实现了工作流程实现自动化,也大大提高了样本检测的效率。
附图说明
图1为一个实施例中数据监控方法的应用环境图;
图2为一个实施例中数据监控方法的流程示意图;
图3为另一个实施例中数据监控方法的流程示意图;
图4为又一个实施例中数据监控方法的流程示意图;
图5为一个实施例中数据监控装置的结构框图;
图6为另一个实施例中数据监控装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据监控方法,可以应用于如图1所示的应用环境中。其中,测序仪110通过网络与服务器120进行通信,服务器120通过网络与监控平台130进行通信,监控平台130通过网络与业务系统140进行通信。其中,测序仪110具体可以通过终端或服务器实现,其中服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。监控平台130具体可以通过终端或服务器实现,其中服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。业务系统140具体可以通过终端或服务器实现,其中服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
可以理解,监控平台130获取服务器120中用于存储测序结果文件的目录地址,测序结果文件是测序仪110对样本进行测序处理后所得到的、并传输至服务器120的文件。监控平台130对服务器120中目录地址下存储的数据进行监测。当监控平台130监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,监控平台130触发告警动作,测序完成文件为测序仪110对样本测序完成后所生成的、且传输至服务器120的文件。当监控平台130监测到数据中包括测序完成文件时,监控平台130触发业务系统140中对接的处理节点基于数据中的测序结果文件进行相应的业务处理。
在一个实施例中,如图2所示,提供了一种数据监控方法,以该方法应用于图1中的监控平台130为例进行说明,该数据监控方法包括以下步骤:
S202,获取服务器中用于存储测序结果文件的目录地址;测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至服务器的文件。
其中,测序结果文件是对样本进行测序处理,得到的所有样本的测序结果的合集。测序仪是对样本进行测序处理的仪器。其中,样本可以是生物样本,比如患者的生理器官的病灶或者血液等。对应的样本信息具体可以是样本来源、取样部位、取样方法、样本类型及样本所属患者的姓名、年龄、性别及身份证号等信息。
在一个实施例中,通过测序仪对同一测序批次的样本进行测序处理,从而得到对应的结果数据,将所有的样本对应的结果数据存入服务器中对应的目录地址下,也就是该目标地址所对应的存储空间用来存储测序结果文件,并将目录地址下的所有结果数据作为一个测序结果文件。
在一个实施例中,测序仪对样本进行测序处理,具体是对DNA片段进行测序,从而将对应的全部碱基序列作为测序结果文件。如CCCTGCGGTCGCTGA等。
在一个实施例中,监控平台按预设时间间隔与服务器建立连接,并从服务器中获取用于存储测序结果文件的目录地址。在一个实施例中,预设时间间隔可以是一个具体的时间段,如15min(minute,分钟),监控平台每隔15min与服务器建立连接,并从服务器中获取用于存储测序结果文件的目录地址。
S204,对服务器中目录地址下存储的数据进行监测。
在一个实施例中,监控平台每隔预设时间间隔,如每隔15min对服务器中目录地址下存储的数据进行监测。监控平台通过监测目录地址下存储的数据,来确定测序结果文件的传输状况。
在一个实施例中,监控平台通过监测该目录地址下的数据中是否包含测序完成文件,从而确定对应测序批次的测序结果文件的传输状况。当监控平台监测到数据中包括测序完成文件时,表示当前测序批次中所有的样本已完成测序处理。当监控平台监测到数据中未包括测序完成文件时,表示当前测序批次中的样本仍然处于测序处理过程中。
S206,当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;测序完成文件为测序仪对样本测序完成后所生成的、且传输至服务器的文件。
其中,测序完成文件是由测序仪生成的,表示测序已完成的文件。测序完成文件可以是一个空的文件,如文件名为SequenceComplete.txt的文件。告警条件是可能导致传输异常的条件,具体可以是测序结果文件的文件大小在一段时间内变化差异较小。
具体地,当监控平台监测到数据中未包括测序完成文件时,监控平台确定数据中测序结果文件的文件大小,当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,监控平台会生成相应的告警信息,并将告警信息发送至业务系统。
在一个实施例中,不同的测序批次对应服务器中不同的目录地址。因而每个测序批次的测序完成文件会存储在对应的目录地址下。如当监控平台在A测序批次对应的目录中监测到测序完成文件,则代表A测序批次的所有样本均已完成了测序处理。
在一个实施例中,当监控平台监测到目录地址下的数据中并未包括测序完成文件时,监控平台计算目录地址下的测序结果文件的文件大小,并确定相应的监测时间。监控平台将每次监测到的结果文件大小与相应的监测时间进行关联,并存储在对应的业务系统中。
在一个实施例中,步骤S206,也就是当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,触发告警动作的步骤,具体包括:当监测到数据中未包括测序完成文件时,查找在预设时间周期之前的测序结果文件的文件大小、及当前的测序结果文件的文件大小;预设时间周期大于预设时间间隔;当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,判定数据中的测序结果文件的文件大小满足告警条件;当监测到数据中的测序结果文件的文件大小满足告警条件时,触发告警动作。
在一个实施例中,当监控平台监测到数据中未包括测序完成文件时,监控平台可从业务系统中查找所存储的预设时间周期之前测序结果文件的文件大小以及当前的测序结果文件的文件大小。其中,预设时间周期是一个固定的时间长度,如2h(hour,小时)。如监控平台每隔15min与业务系统建立连接,当监控平台监测到数据中未包括测序完成文件时,且从业务系统中查找2h之前的测序结果文件的文件大小以及当前的测序结果文件的文件大小。
在一个实施例中,监控平台从业务系统中查找所存储的预设时间周期之前测序结果文件的文件大小、以及当前的测序结果文件的文件大小。当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,判定数据中的测序结果文件的文件大小满足告警条件,并触发告警动作。其中,预设阈值是一个固定值,如1KB(KiloByte,千字节)。
上述实施例中,当监控平台监测到数据中未包括测序完成文件,以及预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,监控平台触发告警动作。以使得相应的监控人员可以及时发现测序结果文件传输异常,提高处理故障的及时性,从而提高样本检测的效率。
在一个实施例中,步骤S206,也就是当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,触发告警动作的步骤,具体包括:当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,生成对应的告警信息;将告警信息发送至业务系统;发送至业务系统的告警信息用于指示业务系统将告警信息存储至数据库中的信息表,以触发告警设备执行与告警信息对应的告警动作。
在一个实施例中,监控平台采用AOP(Aspect Oriented Programming,面向切面编程)技术,使得业务系统将监控平台生成的告警信息存储至对应数据库中的信息表中。其中,AOP技术通过预编译方式和运行期间动态代理方式来实现程序功能的统一维护的一种技术。
在一个实施例中,告警信息包括对应的通知人员和通知内容。当监控平台监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,监控平台生成包括对应的通知人员和通知内容的告警信息,并将告警信息发送至业务系统,以使得业务系统将该告警信息存储至对应数据库中的信息表中,并由相应的消息发送平台定时从信息表中获取告警信息并发送至对应的通知人员。其中,消息发送平台可以是微信平台,如监控平台通过调用微信平台的消息发送接口,从业务系统的消息表中获取待发送的告警信息并将告警信息发送至对应的通知人员。
在一个实施例中,监控平台可预先与对应的告警设备进行关联,如预先在告警设备上设置账号或手机号,并将设置的账号或手机号与监控平台关联,从而实现该告警设备与监控平台相关联。当监控平台判定数据中的测序结果文件的文件大小满足告警条件,监控平台可通过网络向与告警设备上设置的账号或手机号发送告警信息。
在一个实施例中,当监控平台判定数据中的测序结果文件的文件大小满足告警条件,监控平台可触发声音报警,如监控平台自动发出提示音,以提醒相应的监控人员及时发现测序结果文件传输异常。或者监控平台可通过网络向告警设备进行声音告警,如告警设备自动发出提示音,以提醒相应的接收人员及时发现测序结果文件传输异常。
上述实施例中,当监控平台监测到数据中的测序结果文件的文件大小满足告警条件时,监控平台可生成对应的告警信息并发送至业务系统以进行相应处理。以使得相关的通知人员可及时发现测序结果文件传输异常,提高处理故障的及时性,从而提高样本检测的效率。
S208,当监测到数据中包括测序完成文件时,触发对接的处理节点基于数据中的测序结果文件进行相应的业务处理。
其中,对接的处理节点是测序处理完成之后的节点任务,如生信分析节点。因而相应的业务处理可以是对测序结果文件进行相应的生信分析。生信分析具体是将样本中的碱基序列与人类参考基因组序列进行比对,经过一系列的算法得出样本中存在的有关基因突变的信息数据。
具体地,当监控平台监控到数据中包括测序完成文件时,监控平台可以向业务系统发送测序完成信息,从而触发对应的业务系统对当前的流程节点进行更新,如可以将流程节点从测序节点更新为生信分析节点。
在一个实施例中,步骤S208,也就是当监测到数据中包括测序完成文件时,触发对接的处理节点基于数据中的测序结果文件进行相应的业务处理的步骤,具体包括:当监测到数据中包括测序完成文件时,触发对应的业务系统对当前的流程节点进行更新;从业务系统中获取与测序结果文件对应的样本信息;根据样本信息生成对应的样本信息表,并将样本信息表发送至生信分析设备以进行生信分析。
在一个实施例中,当监控平台监测到目录地址下的数据中包括测序完成文件时,可以触发对应的业务系统,以使得业务系统对当前的流程节点进行更新,如可以将流程节点从测序节点更新为生信分析节点。
举例说明,当样本A在进行测序处理之前,业务系统中的测序节点上存在样本A的待办项;当样本A在完成测序处理后,监控平台触发对应的业务系统,以使得业务系统将流程节点从测序节点更新为生信分析节点,因而样本A进入到测序节点的已办项中,同时业务系统中的生信节点上存在样本A的待办项。
在一个实施例中,每个样本都有独立的样本编号,通过双人核对的方式对测序仪上进行测序的样本所对应的样本编号、测序批次和样本信息进行确认,并将样本对应的样本编号、测序批次和样本信息记录到业务系统中。
在一个实施例中,当监控平台监测到目录地址下的数据中包括测序完成文件时,监控平台通过查看测序结果文件所在目录名称,确定测序结果文件所对应的测序批次名称,并通过在对应的业务系统中获取相对应的测序批次名称,从而获取与测序结果文件对应的样本信息。
在一个实施例中,监控平台根据获取的与测序结果文件对应的样本信息,按照规定的格式生成对应的样本信息表,并将生成的样本信息表发送给生信分析设备进行处理。其中,样本信息表是进行生信分析处理时所需的参数文件。具体包括所有样本编号及其对应的、进行生信分析处理时所需的其他内容。
在一个实施例中,当对应的业务系统对当前的流程节点进行更新,如将流程节点从测序节点更新为生信分析节点时,生信分析设备上自动启动生信分析程序,并通过生信分析程序获取监控平台所监测的已经完成测序处理的测序结果文件。
上述实施例中,当监控平台监测到目录地址下的数据中包括测序完成文件时,触发对应的处理节点以自动进行后续工作,无需人工更新流程节点,节省了大量的人力资源成本,不仅实现了工作流程实现自动化,还大大提高了样本检测的效率。
上述数据监控方法中,通过获取服务器中用于存储测序结果文件的目录地址,从而对服务器中目录地址下的存储的数据进行监测,以获取测序结果文件的传输情况。当监测到测序结果文件的文件大小满足告警条件时,自动触发告警信息来通知相关人员,避免了由于没有及时发现传输异常而导致样本检测时间过长的问题,这不仅提高了故障处理的效率,还提高了样本检测的效率。当监测到服务器中目录地址下包括测序完成文件时,触发对应的处理节点以自动进行后续工作,实现了工作流程实现自动化,也大大提高了样本检测的效率。
在一个实施例中,该数据监控方法还包括:按预设时间间隔获取待处理的样本所对应的测序批次名称;确定服务器中与测序批次名称相对应的目录名称;确定服务器中与目录名称对应的目录地址;目标地址用于存储与样本对应的测序结果文件。
具体地,监控平台每隔预设的时间间隔从对应的业务系统中获取待处理的测序批次名称,并根据测序批次名称在监测的服务器中查找相匹配的目录名称,从而获取与目录名称相对应的目录地址。
在一个实施例中,监控平台每隔预设时间间隔自动启动运行监控程序,每次启动运行监控程序时,监控程序可与对应的业务系统进行连接,并从业务系统中获取待处理的测序批次名称。其中,预设时间间隔是一个可变的时间长度,如预设时间间隔可以是15min,也可以是30min,本申请实施例对此不做限定。待处理的测序批次名称可以是在业务系统中处于测序节点的所有测序批次对应的名称。
在一个实施例中,测序仪根据人工录入的测序日期,并按照相应的命名规则来生成对应的测序批次名称。测序批次命名规则可以是日期_测序仪编号_测序批次编号,如20200101_01_1/2,表示在2020年01月01日,由01号测序仪处理的两个测序批次中的第一测序批次。其中,测序仪通常支持最多两个测序批次同时进行测序处理。
在一个实施例中,测序仪根据生成的测序批次名称,生成存储相应的测序结果文件的目录名称。如测序批次名称可以与存储相应的测序结果文件的目录名称相同,当测序批次名称为20200101_01_1/2时,对应的存储相应测序结果文件的目录名称也为20200101_01_1/2。
在一个实施例中,测序仪可通过数据传输平台与指定的服务器连接,并通过数据传输平台将相同测序批次中所有样本的测序结果存储到对应服务器中对应的目录。
在一个实施例中,监控平台每隔预设时间间隔自动启动运行监控程序,每次启动运行监控程序时,监控程序可与所监测的服务器进行连接,并在服务器中查询与测序批次名称相应的目录名称所对应的目录地址。
上述实施例中,监控平台每隔预设时间间隔获取待处理的测序批次名称,从而在服务器中获取与测序批次名称相匹配的目录所在的地址。通过这样的方式获取待处理的测序批次存储对应测序结果的目录地址,使得监控平台可以有效查看对应目录地址下的存储数据,提高了监控平台的准确性。
在一个实施例中,步骤S204,也就是对服务器中目录地址下存储的数据进行监测的步骤,具体包括:按预设时间间隔,对服务器中目录地址下存储的数据进行监测。步骤S206之前,该数据监控方法还包括存储数据的步骤,该存储数据的步骤具体包括:在每次监测过程中,当监测到数据中未包括测序完成文件时,确定数据中的测序结果文件的文件大小,并将每次监测到的文件大小与对应的监测时间进行关联存储。
在一个实施例中,监控平台每隔预设时间间隔与所监测的服务器建立连接,并对与测序批次名称相应的目录地址下的数据进行监测,监控平台通过监测该目录地址下的数据中是否包含测序完成文件,从而确定对应测序批次的测序结果文件的传输状况。
在一个实施例中,当监控平台监测到目录地址下的数据中并未包括测序完成文件时,监控平台计算目录地址下的测序结果文件的文件大小,并确定相应的监测时间。监控平台将每次监测到的结果文件大小与相应的监测时间进行关联,并存储在对应的业务系统中。
上述实施例中,监控平台每隔预设时间间隔对服务器中目录地址下的存储数据进行监测,并将每次监测到的测序结果文件和对应的监测时间进行关联存储。通过这样的存储数据的方式,可保存各监测时间下对应的监测结果,从而有效地判断对应测序批次的测序结果文件的传输状况。
在一个实施例中,该数据监控方法还包括确定告警时间点的步骤,该确定告警时间点的步骤具体包括:确定上一次向业务系统发送告警信息的时间点;计算当前时间点与上一次发送告警信息的时间点之间的时间差值;当时间差值大于等于预设时间差值时,执行将告警信息发送至业务系统。
在一个实施例中,监控平台向业务系统发送告警信息之前,先从业务系统中查找上一次发送告警信息的时间点,并计算当前时间点与上一次发送告警信息的时间点之间的时间差值,当时间差值大于等于预设时间差值时,监控平台再将告警信息发送给业务系统。其中,预设时间差值是一个固定的时间长度,如1h。
在一个实施例中,当监控平台计算得到当前时间点与上一次发送告警信息的时间点之间的时间差值小于预设时间差值时,监控平台并不向业务系统发送告警信息。比如,监控平台计算得到当前时间点与上一次发送告警信息的时间点之间的时间差值为45min,而预设时间差值为1h时,监控平台生成对应的告警信息,但并不执行将告警信息发送至业务系统。
上述实施例中,监控平台通过计算当前时间点与上一次发送告警信息的时间点之间的时间差值,当时间差值大于等于预设时间差值时,发送告警信息。通过这样确定告警时间点的方式,可避免频繁报警,从而减少网络资源的浪费,以及减少人工处理告警信息的时间,进而提高样本检测的效率。
在一个实施例中,参考图3,当监控平台上自动运行监控程序后,可从业务系统中获取待处理的测序批次名称,从而获取服务器中与测序批次名称相应的目录地址。监控平台可按预设时间间隔对服务器中目录地址下存储的数据进行监测,并判断存储的数据中是否包含测序完成文件。当监控平台监测到数据中未包括测序完成文件时,判断测序结果文件的文件大小是否发生变化。当测序结果文件的文件大小发生变化时,监控平台将每次监测到的文件大小与对应的监测时间进行关联存储。当测序结果文件的文件大小没有发生变化时,判断测序结果文件在2h内是否发生变化。当测序结果文件在2h内的变化差异较小时,判断当前时间点与上一次发送告警信息的时间点之间的时间差值是否大于1h。当时间差值大于1h时,发送告警信息。当监控平台监测到数据中包括测序完成文件时,触发对应的业务系统对当前的流程节点进行更新,并根据业务系统中获取与测序结果文件对应的样本信息来生成对应的样本信息表,以发送至生信分析设备而进行生信分析。
参考图4,在一个具体的实施例中,该数据监控方法包括以下步骤:
S402,按预设时间间隔获取待处理的测序批次名称。
S404,确定服务器中与测序批次名称相对应的目录名称。
S406,确定服务器中与目录名称对应的目录地址;所述目标地址用于存储与所述样本对应的测序结果文件;测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至服务器的文件。
S408,按预设时间间隔,对服务器中目录地址下存储的数据进行监测。
S410,在每次监测过程中,当监测到数据中未包括测序完成文件时,确定数据中的测序结果文件的文件大小,并将每次监测到的文件大小与对应的监测时间进行关联存储。
S412,当监测到数据中未包括测序完成文件时,查找在预设时间周期之前的测序结果文件的文件大小、及当前的测序结果文件的文件大小;预设时间周期大于预设时间间隔。
S414,当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,判定数据中的测序结果文件的文件大小满足告警条件。
S416,当监测到数据中的测序结果文件的文件大小满足告警条件时,生成对应的告警信息。
S418,确定上一次向业务系统发送告警信息的时间点。
S420,计算当前时间点与上一次发送告警信息的时间点之间的时间差值。
S422,当时间差值大于等于预设时间差值时,将告警信息发送至业务系统;发送至业务系统的告警信息用于指示业务系统将告警信息存储至数据库中的信息表,以触发告警设备执行与告警信息对应的告警动作。
S424,当监测到数据中包括测序完成文件时,触发对应的业务系统对当前的流程节点进行更新。
S426,从业务系统中获取与测序结果文件对应的样本信息。
S428,根据样本信息生成对应的样本信息表,并将样本信息表发送至生信分析设备以进行生信分析。
上述数据监控方法中,通过获取服务器中用于存储测序结果文件的目录地址,从而对服务器中目录地址下的存储的数据进行监测,以获取测序结果文件的传输情况。当监测到测序结果文件的文件大小满足告警条件时,自动触发告警信息来通知相关人员,避免了由于没有及时发现传输异常而导致样本检测时间过长的问题,这不仅提高了故障处理的效率,还提高了样本检测的效率。当监测到服务器中目录地址下包括测序完成文件时,触发对应的处理节点以自动进行后续工作,实现了工作流程实现自动化,也大大提高了样本检测的效率。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种数据监控装置500,包括:获取模块501、监测模块502、告警模块503和处理模块504,其中:
获取模块501,用于获取服务器中用于存储测序结果文件的目录地址;测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至服务器的文件。
监测模块502,用于对服务器中目录地址下存储的数据进行监测。
告警模块503,用于当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;测序完成文件为测序仪对样本测序完成后所生成的、且传输至服务器的文件。
处理模块504,用于当监测到数据中包括测序完成文件时,触发对接的处理节点基于数据中的测序结果文件进行相应的业务处理。
在一个实施例中,获取模块501还用于按预设时间间隔获取待处理的样本所对应的测序批次名称;确定服务器中与测序批次名称相对应的目录名称;确定服务器中与目录名称对应的目录地址;目标地址用于存储与样本对应的测序结果文件。
在一个实施例中,监测模块502还用于按预设时间间隔,对服务器中目录地址下存储的数据进行监测。参考图6,该数据监控装置500还包括存储模块505,用于在每次监测过程中,当监测到数据中未包括测序完成文件时,确定数据中的测序结果文件的文件大小,并将每次监测到的文件大小与对应的监测时间进行关联存储。
在一个实施例中,告警模块503还用于当监测到数据中未包括测序完成文件时,查找在预设时间周期之前的测序结果文件的文件大小、及当前的测序结果文件的文件大小;预设时间周期大于预设时间间隔;当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,判定数据中的测序结果文件的文件大小满足告警条件;当监测到数据中的测序结果文件的文件大小满足告警条件时,触发告警动作。
在一个实施例中,告警模块503还用于当监测到数据中未包括测序完成文件、且数据中的测序结果文件的文件大小满足告警条件时,生成对应的告警信息;将告警信息发送至业务系统;发送至业务系统的告警信息用于指示业务系统将告警信息存储至数据库中的信息表,以触发告警设备执行与告警信息对应的告警动作。
在一个实施例中,该数据监控装置500还包括确定模块506,用于确定上一次向业务系统发送告警信息的时间点;计算当前时间点与上一次发送告警信息的时间点之间的时间差值;当时间差值大于等于预设时间差值时,执行将告警信息发送至业务系统。
在一个实施例中,处理模块504还用于当监测到数据中包括测序完成文件时,触发对应的业务系统对当前的流程节点进行更新;从业务系统中获取与测序结果文件对应的样本信息;根据样本信息生成对应的样本信息表,并将样本信息表发送至生信分析设备以进行生信分析。
上述数据监控装置,通过获取服务器中用于存储测序结果文件的目录地址,从而对服务器中目录地址下的存储的数据进行监测,以获取测序结果文件的传输情况。当监测到测序结果文件的文件大小满足告警条件时,自动触发告警信息来通知相关人员,避免了由于没有及时发现传输异常而导致样本检测时间过长的问题,这不仅提高了故障处理的效率,还提高了样本检测的效率。当监测到服务器中目录地址下包括测序完成文件时,触发对应的处理节点以自动进行后续工作,实现了工作流程实现自动化,也大大提高了样本检测的效率。
关于数据监控装置的具体限定可以参见上文中对于数据监控方法的限定,在此不再赘述。上述数据监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备具体可以是上述图1中的监控平台,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和通信接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI(Wireless Fidelity,无线局域网)、运营商网络、NFC(Near Field Communication,近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据监控方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述数据监控方法的步骤。此处数据监控方法的步骤可以是上述各个实施例的数据监控方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述数据监控方法的步骤。此处数据监控方法的步骤可以是上述各个实施例的数据监控方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据监控方法,其特征在于,所述方法包括:
获取服务器中用于存储测序结果文件的目录地址;所述测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至所述服务器的文件;
对所述服务器中所述目录地址下存储的数据进行监测;在每次监测过程中,当监测到所述数据中未包括测序完成文件时,确定所述数据中的测序结果文件的文件大小,并将每次监测到的所述文件大小与对应的监测时间进行关联存储;
当监测到所述数据中未包括测序完成文件时,查找在预设时间周期之前的测序结果文件的文件大小、及当前的测序结果文件的文件大小;所述预设时间周期大于所述预设时间间隔;当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,判定所述数据中的测序结果文件的文件大小满足告警条件,当监测到所述数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;所述测序完成文件为所述测序仪对样本测序完成后所生成的、且传输至所述服务器的文件;
当监测到所述数据中包括所述测序完成文件时,触发对接的处理节点基于所述数据中的测序结果文件进行相应的业务处理。
2.根据权利要求1所述的方法,其特征在于,所述获取服务器中用于存储测序结果文件的目录地址,包括:
按预设时间间隔获取待处理的样本所对应的测序批次名称;
确定服务器中与所述测序批次名称相对应的目录名称;
确定所述服务器中与所述目录名称对应的目录地址;目标地址用于存储与所述样本对应的测序结果文件。
3.根据权利要求1所述的方法,其特征在于,所述对所述服务器中所述目录地址下存储的数据进行监测,包括:
按预设时间间隔,对所述服务器中所述目录地址下存储的数据进行监测。
4.根据权利要求1所述的方法,其特征在于,所述当监测到所述数据中未包括测序完成文件、且所述数据中的测序结果文件的文件大小满足告警条件时,触发告警动作,包括:
当监测到所述数据中未包括测序完成文件、且所述数据中的测序结果文件的文件大小满足告警条件时,生成对应的告警信息;
将所述告警信息发送至业务系统;发送至所述业务系统的告警信息用于指示所述业务系统将所述告警信息存储至数据库中的信息表,以触发告警设备执行与所述告警信息对应的告警动作。
5.根据权利要求4所述的方法,其特征在于,所述将所述告警信息发送至业务系统之前,所述方法还包括:
确定上一次向业务系统发送告警信息的时间点;
计算当前时间点与上一次发送告警信息的时间点之间的时间差值;
当所述时间差值大于等于预设时间差值时,执行将所述告警信息发送至业务系统。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述当监测到所述数据中包括所述测序完成文件时,触发对接的处理节点基于所述数据中的测序结果文件进行相应的业务处理,包括:
当监测到所述数据中包括所述测序完成文件时,触发对应的业务系统对当前的流程节点进行更新;
从所述业务系统中获取与所述测序结果文件对应的样本信息;
根据所述样本信息生成对应的样本信息表,并将所述样本信息表发送至生信分析设备以进行生信分析。
7.一种数据监控装置,其特征在于,所述装置包括:
获取模块,用于获取服务器中用于存储测序结果文件的目录地址;所述测序结果文件是测序仪对样本进行测序处理后所得到的、并传输至所述服务器的文件;
监测模块,用于对所述服务器中所述目录地址下存储的数据进行监测;在每次监测过程中,当监测到所述数据中未包括测序完成文件时,确定所述数据中的测序结果文件的文件大小,并将每次监测到的所述文件大小与对应的监测时间进行关联存储;
告警模块,用于当监测到所述数据中未包括测序完成文件时,查找在预设时间周期之前的测序结果文件的文件大小、及当前的测序结果文件的文件大小;所述预设时间周期大于所述预设时间间隔;当预设时间周期之前的测序结果文件的文件大小与当前的测序结果文件的文件大小的差异小于预设阈值时,判定所述数据中的测序结果文件的文件大小满足告警条件,当监测到所述数据中的测序结果文件的文件大小满足告警条件时,触发告警动作;所述测序完成文件为所述测序仪对样本测序完成后所生成的、且传输至所述服务器的文件;
处理模块,用于当监测到所述数据中包括所述测序完成文件时,触发对接的处理节点基于所述数据中的测序结果文件进行相应的业务处理。
8.根据权利要求7所述的装置,其特征在于,所述获取模块还用于按预设时间间隔获取待处理的样本所对应的测序批次名称;确定服务器中与所述测序批次名称相对应的目录名称;确定所述服务器中与所述目录名称对应的目录地址;目标地址用于存储与所述样本对应的测序结果文件。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010235236.9A 2020-03-30 2020-03-30 数据监控方法、装置、计算机设备和存储介质 Active CN111444151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010235236.9A CN111444151B (zh) 2020-03-30 2020-03-30 数据监控方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010235236.9A CN111444151B (zh) 2020-03-30 2020-03-30 数据监控方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111444151A CN111444151A (zh) 2020-07-24
CN111444151B true CN111444151B (zh) 2022-04-15

Family

ID=71649302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010235236.9A Active CN111444151B (zh) 2020-03-30 2020-03-30 数据监控方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111444151B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463883A (zh) * 2020-11-20 2021-03-09 广东电网有限责任公司广州供电局 基于大数据同步平台的可靠性监控方法、装置、设备
CN113051330A (zh) * 2021-04-13 2021-06-29 福州外语外贸学院 基于大数据的实时环境监控方法、装置及计算机设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101560564A (zh) * 2009-04-08 2009-10-21 北京华生恒业科技有限公司 一种检测装置及系统
CN105321018A (zh) * 2014-07-18 2016-02-10 中国农业科学院作物科学研究所 一种自动化dna测序管理系统
US9761119B1 (en) * 2015-03-12 2017-09-12 Alarm.Com Incorporated Mission critical signaling failover in cloud computing ecosystem
CN108064054B (zh) * 2016-11-09 2020-10-02 大唐移动通信设备有限公司 一种lte系统中的ftp文件传输监控方法及系统
CN109801030A (zh) * 2017-11-17 2019-05-24 至本医疗科技(上海)有限公司 基因测序医疗服务系统以及相应的方法
CN107947998B (zh) * 2017-12-19 2021-03-12 河南信安通信技术股份有限公司 一种基于应用系统的实时监测系统
CN109714196B (zh) * 2018-12-11 2021-12-14 中国联合网络通信集团有限公司 数据监控方法及平台
CN110096408A (zh) * 2019-03-11 2019-08-06 中国平安人寿保险股份有限公司 告警监测方法、装置、电子设备及计算机可读存储介质
CN110086649B (zh) * 2019-03-19 2023-06-16 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111444151A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111444151B (zh) 数据监控方法、装置、计算机设备和存储介质
CN110162976B (zh) 风险评估方法、装置及终端
CN112052247B (zh) 搜索引擎的索引更新系统、方法、装置、电子设备、存储介质
CN111460329A (zh) 信息查询方法、系统、终端及计算机存储介质
CN110544508B (zh) 一种单基因遗传病基因的分析方法、装置及电子设备
WO2012081006A1 (en) System and method for analyzing and controlling epidemics
CN111552607A (zh) 应用程序的健康评估方法、装置、设备及存储介质
CN109815085B (zh) 告警数据的分类方法、装置和电子设备及存储介质
CN113299401B (zh) 传染病数据的传播监测方法、装置、计算机设备及介质
CN112817814A (zh) 异常监控方法、系统、存储介质及电子装置
CN116072277A (zh) 公共场所自动体外除颤仪推荐方法、装置、设备及介质
CN108804574B (zh) 告警提示方法、装置、计算机可读存储介质及电子设备
CN110457903A (zh) 一种病毒分析方法、装置、设备及介质
CN112631687A (zh) 一种服务集群的配置方法、装置及设备
CN113628707B (zh) 一种患者病历数据的处理方法、装置、设备和存储介质
CN113448747B (zh) 数据传输方法、装置、计算机设备和存储介质
CN114373552A (zh) 食物中毒与传染病的应急管理方法、系统及设备
CN114492994A (zh) 一种基于电力大数据的电力信息处理系统、方法及装置
CN110909288B (zh) 业务数据处理方法、装置、平台、业务端、系统及介质
CN112565025A (zh) 数据传输方法及装置
CN114332931A (zh) 宠物关系图谱更新方法、装置、设备和计算机可读存储介质
JP7167714B2 (ja) 異常判定装置、異常判定方法、及び異常判定プログラム
CN111382035A (zh) 一种运维系统的告警触发规则的全局匹配装置及方法
CN111210910A (zh) 猪只疾病诊断方法及系统
CN109450700B (zh) 可视化的业务检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant