CN115795991A - 滑坡预测方法、装置、电子设备和可读存储介质 - Google Patents
滑坡预测方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN115795991A CN115795991A CN202111060013.4A CN202111060013A CN115795991A CN 115795991 A CN115795991 A CN 115795991A CN 202111060013 A CN202111060013 A CN 202111060013A CN 115795991 A CN115795991 A CN 115795991A
- Authority
- CN
- China
- Prior art keywords
- data
- landslide
- slope
- model
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
Landscapes
- Testing Or Calibration Of Command Recording Devices (AREA)
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
Abstract
本发明提供一种滑坡风险预警方法、装置、电子设备和可读存储介质。滑坡预测方法包括获取坡面的状态数据;将状态输入滑坡风险预警模型获得坡面的滑坡风险数据,其中,滑坡风险预警模型包括风险因子模型和传感器数据模型,风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对状态数据的预测结果为输出的模型,滑膜风险数据包括坡面发生滑坡的概率、状态数据的异常结果和掉状态数据的预测结果;根据滑坡风险数据生成滑坡预测结果。这样,本发明实施例能够提高对于滑坡风险预测的准确程度。
Description
技术领域
本发明实施例涉及物联网技术领域,尤其涉及一种滑坡预测方法、装置、电子设备和可读存储介质。
背景技术
山体滑坡是一种危害性较大的自然灾害,现有对于滑坡的预测方式通常需要对地质结构进行考察分析,并结合考察结果获得发生山体滑坡的风险,这种方式对于滑坡风险预测的准确性较低。
发明内容
本发明实施例提供一种滑坡预测方法、装置、电子设备和可读存储介质,以解决对于滑坡风险预测的准确性较低的问题。
为解决上述问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种滑坡预测方法,包括以下步骤:
获取坡面的状态数据;
将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,其中,所述滑坡风险预警模型包括风险因子模型和传感器数据模型,所述风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,所述传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对所述状态数据的预测结果为输出的模型,所述滑膜风险数据包括所述坡面发生滑坡的概率、所述状态数据的异常结果和掉所述状态数据的预测结果;
根据所述滑坡风险数据生成滑坡预测结果。
在一些实施例中,将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据之前,还包括:
获取历史滑坡数据;
将所述历史滑坡数据划分为训练集数据和测试集数据;
以所述历史滑坡数据中的坡面状态为输入,以滑坡发生次数为回归目标,通过所述训练集数据和所述测试集数据进行模型训练获得风险因子模型。
在一些实施例中,所述传感器数据模型包括用于生成所述预测结果的时间序列数据模型,将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据之前,还包括:
获取坡面的历史位移变化量数据;
根据所述历史位移变化量数据中的第一数据预测目标时间点的预测位移变化量;
根据所述历史位移变化量数据获取所述目标时间点的实际位移变化量;
根据所述预测位移变化量和所述实际位移变化量进行模型训练获得时间序列数据模型;
周期性迭代执行上述步骤以更新所述时间序列数据模型。
在一些实施例中,所述将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,包括:
获取坡面的历史状态数据;
计算所述历史状态数据的历史分布参数,其中,所述历史分布参数包括所述历史状态数据的均值和标准差中的一项或多项;
将所述状态数据输入所述风险因子模型获得所述状态数据对应的当前滑坡概率;
根据所述当前滑坡概率和所述历史分布参数确定参数分布区间;
根据所述状态数据在所述参数分布区间中的分布状态确定所述当前状态数据中的异常数据。
在一些实施例中,所述获取坡面的状态数据,包括:
获取设置于所述坡面的传感器周期性发送的状态数据,其中,所述传感器包括位移传感器,
在一些实施例中,所述传感器还包括地下水传感器、雨量传感器、倾斜传感器和土壤含水量传感器中的一项或多项。
在一些实施例中,所述滑坡风险预警方法应用于边缘服务器,所述边缘服务器通过窄带物联网与所述传感器通信连接。
第二方面,本发明实施例提供了一种滑坡预测装置,包括:
获取模块,用于获取坡面的状态数据;
输入模块,用于将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,其中,所述滑坡风险预警模型包括风险因子模型和传感器数据模型,所述风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,所述传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对所述状态数据的预测结果为输出的模型,所述滑膜风险数据包括所述坡面发生滑坡的概率、所述状态数据的异常结果和掉所述状态数据的预测结果;
生成模块,用于根据所述滑坡风险数据生成滑坡预测结果。
第三方面,本发明实施例提供了一种电子设备,包括:收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器,用于读取存储器中的程序实现如第一方面中任一项所述的滑坡风险预警方法中的步骤。
第四方面,本发明实施例提供了一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如第一方面中任一项所述的滑坡风险预警方法中的步骤。
在本发明实施例的滑坡预测方法包括获取坡面的状态数据;将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,其中,所述滑坡风险预警模型包括风险因子模型和传感器数据模型,所述风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,所述传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对所述状态数据的预测结果为输出的模型,所述滑膜风险数据包括所述坡面发生滑坡的概率、所述状态数据的异常结果和掉所述状态数据的预测结果;根据所述滑坡风险数据生成滑坡预测结果。这样,本发明实施例通过设置预测发生滑坡概率的风险因子模型、以及对数据进行预测和对异常数据进行分析的传感器数据模型,并综合各模型的结构综合获得滑坡风险,能够提高对于滑坡风险预测的准确程度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是实现本发明实施例提供的硬件结构示意图;
图2是本发明实施例中采样装置的结构示意图;
图3是本发明实施例提供的滑坡风险预警方法的流程图;
图4是本发明实施例中风险因子模型的训练示意图;
图5是本发明实施例中数据处理流程图;
图6是本发明实施例滑坡风险预警模型的结构图;
图7是本发明实施例中坡面位移示意图;
图8是本发明实施例中时间序列数据模型的训练示意图;
图9是本发明实施例中位移变化预测示意图
图10是本发明实施例中数据分布示意图;
图11是本发明实施例提供的滑坡风险预警装置的结构图;
图12是本发明实施提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,本申请中使用“和/或”表示所连接对象的至少其中之一,例如A和/或B和/或C,表示包含单独A,单独B,单独C,以及A和B都存在,B和C都存在,A和C都存在,以及A、B和C都存在的7种情况。
本发明实施例提供了一种滑坡预测方法。
如图1所示,本发明的技术方案实现的硬件结构主要包括边缘服务器和传感器,边缘服务器与传感器通信连接,其中,传感器直接安防于坡面的不同位置以采集坡面的状态数据,服务器根据坡面的状态数据进行分析,从而获得该坡面的滑坡风险。本实施例中示例性的示出了两个坡面,实施时,可以根据需要将不同的地区归类至不同的坡面,并分别分析其滑坡风险。
在一些实施例中,还包括云平台,云平台与边缘服务器通信连接,云平台可以汇总各边缘服务器的预测结构,并根据需要发送预警信息等。
在一些实施例中,传感器需要包括位移传感器,传感器还可以包括地下水传感器、雨量传感器、倾斜传感器和土壤含水量传感器中的一项或多项。
上述传感器本身可以选择现有的或改进的传感器,本实施例中不对传感器的具体结构做进一步限定。
在一些实施例中,边缘服务器通过窄带物联网(NB-IoT)与传感器通信连接,有助于降低功耗。在一些实施例中,各传感器定时采集数据,并将采集到的数据缓存集中,然后定期上传,以降低联网频率,从而降低功耗。这样,有助于实现长时间采集数据,减少维护次数和维护成本。采集到的数据在边缘服务器中长时间保存,以便后续使用。
基于NB-IoT技术,可以实现广覆盖、低功耗、低成本、大连接,非常适合滑坡预警这种户外大范围传感器部署场景
传感器部署在现场覆盖整个监测坡面,具体布置位置可以参考专业人士的意见,此处不做进一步限定。
传感器可以与微控制器MCU集成,由MCU产生定时中断触发采样,经过转换后,包装形成上报数据,并利用NB-IoT模块进行数据无线传输。多个传感器可以集成到一个微控制器上。
集成传感器的MCU可利用无线网络与边缘服务器进行通信,一方面可以上传采集的数据和自身状态,另一方面可以接收并响应边缘服务器下发的控制指令。MCU只有在主动上报数据的同时,通过网络接收边缘服务器指令,传输结束后进入休眠,不会维持与服务器的长连接。
MCU选择支持低功耗工作模式的MCU,大多数状况下MCU休眠在低功耗模式,定时中断触发采集后可根据配置缓存或上传采样数据。供电采用电池与太阳能结合的形式供给,有助于提高传感器的续航。
传感器的采样、上报频率可以根须需要设定,检测数据正常时采样、上报频率可与控制的相对较低,有利于延长待机时间,在出现异常时,例如边缘服务器判断数据异常时,可以提高采样上报频率,有利于提高数据实时性及端边交互,保证及时响应下发的指令。
如图2所示,采样装置的整体设计如下图所示,主要包括微控制器MCU,存储模块、电源管理模块(通过电池或太阳能供电等)、通信模块UART、多个传感器等模块。MCU按照配置采样频率定时采样各传感器信号,数字化转换AD量化后将采样值、时间戳、采样装置的ID信息等通过NB-IoT模块,利用CoAP协议(一种传输协议)等传输协议上传至边缘服务器。
在每次上传采样数据的同时,MCU可以上报自身状态,例如运行情况、电量、网络状态等,为边缘服务器提供采样装置的工作状况信息。
当服务器连续一段时间未接收到设备上传信息,认为设备侧工作状态异常,可以触发预警,并显示风险水平为异常,以便通知工作人员到现场进行设备故障排查。
当由于网络抖动等问题造成数据暂时无法上传时,采样数据将保存到存储模块,等待网络恢复后再尝试上传。传感器的采样频率不高,设备侧功耗较低,使用电池和太阳能的形式进行供电。
设备侧在每次数据上传的通信过程中可以同时接收边缘服务器推送的信息,形成上报、决策、控制的反馈闭环。正常状况下设备侧可以工作在低功耗模式,由定时器中断触发低频率采样和数据上传,当边缘服务器预测滑坡风险为异常或临滑时,可以通知设备侧退出低功耗模式,提高采样频率,随时准备与边缘服务器进行信息交互,提升系统响应实时性。特殊情况下,边缘服务器可以主动下发指令驱动传感器采样并上报当前实时指标,支撑用户进行人工排查决策,减少噪声引起的错误警报。
边缘服务器可以采用服务器或小型集群的模式,它管理坡面、工作人员及传感器,负责数据的感知,分析和决策。同时边缘服务器与云平台保持通信,交互模型数据及预警信息等。
边缘服务器与传感器通信,管理传感器的接入、数据传输、控制等。它是传感器通信的服务器端,来自坡面的采样数据在这里汇聚,下发到传感器的控制指令也由边缘服务器发出。同一坡面的所有传感器从属于同一边缘服务器,一个边缘服务器可以同时负责与一个或数个边坡,维护边坡及对应传感器关联信息,形成网关—边坡—传感器的树形结构。
边缘服务器用于管理坡面相关信息。它维护坡面的地理位置、地质特点,传感器部署状况,风险预警等信息。这些信息可以用于可视化展示,部分也参与到坡面滑坡风险评估计算中。这部分信息是由工作人员在添加新的检测坡面时输入。
边缘服务器还可以用于管理人员的相关信息。每个坡面的检测对应相关工作人员,以维护坡面与工作人员员的关联关系。坡面的传感器接入/维护、数据采集控制、数据展示、风险预警等由相关负责人控制权限。
工作人员可以与边缘服务器交互,可查询到边坡的坡面信息/人员管理信息/传感器关联信息/风险预警信息/传感器数据/传感器工作状态等各类信息,全面把握坡面状况。工作人员与边缘服务器交互,可查询到边坡的坡面信息/人员管理信息/传感器关联信息/风险预警信息/传感器数据/传感器工作状态等各类信息,全面把握坡面状况。
边缘服务器还用于分析、存储、可视化传感器采样数据,并利用模型对滑坡风险量化。边缘服务器对坡面上报的数据进行存储,定时利用模型进行分析,维护风险量化结果。同时可展示传感器时间序列数据曲线、风险量化等信息。
边缘服务器在滑坡风险高时以适当的方式通知工作人员及时响应。边缘服务器可以与云平台交互信息,更新风险量化模型上报预警险情等。
云平台是服务器集群组成的SaaS(Software-as-a-Service,软件即服务)平台,它对边缘服务器进行统一管理,并实现对边缘服务器的支持。云平台汇聚来自各个边缘服务器的数据信息,边缘服务器可以根据自身实际情况决定同步哪些信息到云平台。由于各个坡面在传感器选用/配置等各个方面的差异化,直接在云平台对接并管理所有传感器难度较高且效率较低。通过在边缘侧完成数据接入可以有效解决异构问题。
同时每个坡面本身的传感器数据模型也可以是个性化的,在边缘侧管理数据和模型可以更好地匹配实际场景。通过设置边缘服务器,可以在云平台实现标准化的部分,边缘服务器处实现个性化,对接现场传感器和模型。一方面可以高效决策实时响应,另一方面也可以分布处理降低云平台的负载。原始数据可以进一步在边缘服务器进行初步整理脱敏后再汇聚到云平台,保证数据的隐私安全。
实施时,边缘服务器可以上报数据到云平台存储分析,也可借助云平台的计算资源更新所需的各种模型。
云平台用于管理边缘服务器,边缘服务器可以看作云平台的分布式扩展。风险预警可以看作运行在边缘服务器的应用,云平台可以管理整个应用的生命周期。云平台还可以实现信息的融合,可以从更高层面去把握全局状况。利用来自各边缘服务器的数据,云平台在更高层面进一步统计分析,并迭代、更新推送所需的各模型到边缘服务器,有助于推进模型的优化。
本提案采用边缘平台/云平台部署的方式,更加灵活可靠,可行性高成本更低。不但能缓解流量压力,同时在数据安全数据隐私及个性化等有明显优势。
如图3所示,在一些实施例中,滑坡预测方法包括以下步骤:
步骤301:获取坡面的状态数据。
本实施例中的坡面的状态数据指的是利用上述传感器采集到的各种坡面的岩性、水文、气候、土质、植被、坡度等地质学参数等。
状态数据可以定时采集并实时传送,在一些实施例中,该步骤101也可以包括:获取设置于所述坡面的传感器周期性发送的状态数据。周期性发送状态数据有助于提高采样装置的续航时间。
步骤302:将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据。
本实施例中,滑坡风险预警模型包括风险因子模型和传感器数据模型。
风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,将所获得的状态数据输入该风险因子模型,即可获得坡面发生滑坡的预测概率。
如图4所示,该风险因子模型是通过预先进行的模型训练获得的。
在一些实施例中,进行模型训练获得风险因子模型的步骤包括:
获取历史滑坡数据;
将所述历史滑坡数据划分为训练集数据和测试集数据;
以所述历史滑坡数据中的坡面状态为输入,以滑坡发生次数为回归目标,通过所述训练集数据和所述测试集数据进行模型训练获得风险因子模型。
本实施例中,历史滑坡数据包括以往检测到的坡面的状态数据以及发生的滑坡结果。
本实施例中,基于该历史滑坡数据生成训练数据。如图5所示,本实施例中首先对于历史滑坡数据首先对数据进行预处理,然后利用预处理之后的数据进行模型训练。预处理过程中,首先对原始数据进行筛选,应当理解的是,所选用的历史滑坡数据主要为发生滑坡的时间段对应的状态数据,显然,进行模型训练也需要选用一些正常状态下的数据,本实施例中将其称作正常数据。
接下来对数据进行清洗,在选取了所需的历史滑坡数据之后,可以进一步对这些数据进行完善,具体可以包括针对重复的数据进行去重,针对缺少的数据或格式错误的数据进行修复等。
下一步,对处理完成的数据进行聚合,例如,可以以时间为维度exposure period,以地点作为区分值key对数据进行聚合,从而获得包括各时间维度各地点的滑坡数据合。
接下来,对集合中的数据做进一步处理,具体的,以各项特征作为因子,分别进行编码,示例性的,可以进行一位有效One-Hot编码,对于其中的离散数据可以直接进行处理,而对于连续数据(例如坡度)可以首先进行离散处理,然后进行处理。所统计的数据的回归目标为产生滑坡的次数。
在完成滑坡数据的处理之后,建立数据集,将其划分成训练集数据和测试集数据,这里,训练集数据直接用于进行模型训练,而测试集数据用于对训练完成的模型进行测试。训练集数据和测试集数据的数据量可以根据需要设定,一般来说,训练集的数据量多于测试集,本实施例中将训练集和测试集的数据比例设定为7:3,显然,实施时,其具体数据量可以根据需要设定,本实施例中不做进一步限定和描述。这样就获得了包括训练集数据和测试集数据的训练数据。
最后进行广义线性模型GLM参数估计及评估。
本实施例中,粗略的认为滑坡频率满足泊松分布,以坡面地质学特征为风险因子,利用GLM计算因子回归系数,并利用测试进行评估。GLM根据分布假设的最大似然回归各因子系数,一般会用数值计算的方法迭代求解。实际操作时会在每个特征维度上,选取最常见的一项作为基线(截断)base(intercept),从特征矩阵中去掉该列,它们对应的因子权重直接置为1。利用训练集数据形成的特征矩阵和目标向量拟合回归GLM系数。回归结果会包含基线截断项及各特征维度对应的系数,预测时只要将intercept值与各特征对应的系数相乘即可得到结果。
模型的评估可以用测试集数据中预测值与实际值的均方差值MSE来量化,MSE越小模型越准确。预测时GLM会提供置信区间信息,置信区间与建模的数据直接相关,一般而言有效数据量越大,模型越精确,置信区间越窄。
利用大量样本建立的GLM模型可以量化坡面的先验风险,只要把坡面对应的特征带入模型,就可以预测其滑坡频率,频率越高的实际发生滑坡的风险也越高。
模型训练的过程可以理解为以所述历史滑坡数据中的坡面状态为输入,以滑坡发生次数为回归目标,通过所述训练集数据和所述测试集数据进行模型训练获得风险因子模型。
训练过程中,首先将测试数据输入训练模型,例如,将产生滑坡的历史滑坡数据输入模型,则输出结果的期望值应当为产生了滑坡,如果将正常数据输入模型,则输出结果的期望值应当为未产生滑坡,训练数据中包含了输入数据对应的真实值,通过将真实值与期望值进行对比,并构建损失函数,根据损失值调整模型的参数,在每次完成对模型的参数的调整之后,可以利用测试集数据对模型进行测试,然后进一步进行训练,这样,不断对模型进行迭代优化,最终将训练完成的模型作为风险因子模型,并部署模型至各边缘服务器。
当边缘服务器接收到各传感器采集到的状态数据之后,将状态数据输入至该模型,生成对于滑坡风险的预测结果,并可以进一步根据需要对该预测结果进行可视化处理或发出预警信息等。
如图4所示,应当理解的是,上述模型训练的过程可以通过离线任务预先完成,然后再将训练完成的风险因子模型部署至边缘服务器,在使用过中,还可以不断利用所采集到的状态数据参考上述训练过程对风险因子模型进行不断的训练优化,有助于提高对于风险因子模型的预测结果的准确性。
预测过程中,所获得的状态数据同样可以参考上述过程进行预处理,有助于提高风险因子模型的预测结果的准确性。
传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对状态数据的预测结果为输出的模型,滑膜风险数据包括坡面发生滑坡的概率、状态数据的异常结果和掉状态数据的预测结果。
如图6所示,在一些实施例中,可以理解为传感器数据模型由两个模型构成,具体的,传感器数据模型由时间序列数据模型和统计异常检测模型构成。
时间序列数据模型以坡面的状态数据为输入,以对于状态数据的预测结果为输出。时间序列数据模型根据传感器采集的状态数据预测未来一段时间数值的变化趋势,当达到预设的阈值时认为此时滑坡风险较高,可以理解为,该时间序列数据模型用于预测可能发生滑坡的时间信息。该时间序列数据模型主要是针对位移监测值,因为位移随时间的变化趋势一般是单向发展的,特殊情况下,例如一天内可能会因温度引起测量值的局部变化,但整体趋势仍是位移随时间逐步变大,通过建立位移和时间的关系,能够更加直接的预测滑坡风险。
本实施例中,可以利用拉线位移计和倾斜仪常等位移传感器测量位移,其中,拉线位移计主要用于用来测量坡面表面位移,倾斜仪常用于测量深层位移。
如图7所示,以拉线位移计为例做示例性说明。坡面表面随时间流逝,在重力的作用下渐渐发生移动。在整个滑坡发展过程汇总,一般累计位移随时间变化的曲线大致分为初始变形、等速变形和加速变形三个阶段。
初始变形和等速变形阶段坡面较为稳定,位移的变化也趋于平稳,在加速变形阶段位移会突然加速变化,直至发生滑坡。原始的位移信号采样频率约为数小时一次,采样的结果通过网络上报边缘网关。服务器存储原始数据,并定期启动建模任务。建模时抽取传感器相关的历史数据,数据的形式是x为采样时刻,y为位移采样值的时间序列数据。利用数据驱动模型参数估计更新模型。更新后的模型经过评估,可用于推理。模型会输出未来指定一段时间的采样预测值,以及对应的置信区间。
本实施例中,可以不断地累积数据进行模型的迭代,有助于提高预测精度。可以避免初期由于缺乏数据造成建模数据与实际数据分布差异,从而形成的过拟合问题。通过迭代可以有效提高传感器数据模型的预测精度。
如图8所示,整体的流程大致如下图所示,可以分为预测和训练两个任务。
在一些实施例中,训练任务主要包括以下步骤:
获取坡面的历史位移变化量数据;
根据所述历史位移变化量数据中的第一数据预测目标时间点的预测位移变化量;
根据所述历史位移变化量数据获取所述目标时间点的实际位移变化量;
根据所述预测位移变化量和所述实际位移变化量进行模型训练获得时间序列数据模型;
周期性迭代执行上述步骤以更新所述时间序列数据模型。
本实施例中,可以首先获取一定的历史位移变化量数据,并利用该位移变化量数据进行模型训练,获得时间序列数据模型。
边缘网关定时启动训练任务,查询建模所需数据,建立训练和测试数据集并利用训练集开始模型拟合。模型训练的过程可以概括为,以位移为输入,以对于后续一个或多个目标时间点的位移预测结果为输出进行模型训练,根据模型输出的预测值和历史位移变化量数据中的真实值的差异,也就是上述预测位移变化量和实际位移变化量的差异调整模型的差异,构建损失函数,进行模型训练,将训练完成的模型作为时间序列数据模型。
如图8所示,在使用过程中,不断利用位移传感器获得采样值,采样值上传的同时,也将原始数据存储在边缘服务器本地,存储的原始数据作为新的历史位移变化量数据对时间序列数据模型进行再训练,这样,不断的评估模型和更新模型,并通过该时间序列数据模型获得对于位移的预测结果,该预测结果可以与后续采集到的真实值进行对比,并可以进一步根据对比结果对模型再次进行训练,依次不断迭代,能够在使用过程中不断的优化、更新和完善时间序列数据模型。
应当理解的是,上述训练任务可以在边缘服务器进行,如果计算资源有限也可以由边缘服务器提交训练任务到云平台进行,计算完成再下发回边缘服务器。
在一些实施例中,时间序列数据模型可以采用指数衰减模型以拟合位移的累积,时间序列数据模型可以概括为以下公式:
上述公式中,h(t)为位移的累积量,φ为常数项截距intercept term,θ和β为确定模型邪斜率的随机参数,θ为对数正态分布lognormal-distributed,β为高斯分布Gaussian-distributed,在每个时间步,θ和β将根据h(t)的最近一次采样观察后验更新,∈为高斯白噪声,满足∈~N(0,σ2),满足:
E[h(t)|θ,β]=φ+θexp(βt)。
时间序列数据模型利用历史数据进行拟合,每次收到新的数据进行预测,同时更新模型后验。随着数据的累积迭代,模型的预测会越来越准确。每个位移传感器可以预先设定一个警戒阈值,利用时间序列数据模型可以估计出当前距离达到阈值还有多长时间。将各个传感器模型对应估计时间进行统计,能够获得对于滑坡时间的估计结果。
实施时,可以利用加权平均对各个传感器模型对应估计时间进行统计,加权权重与模型评估的精确度相关,更准确的模型相对权重越高,有助提高对于滑坡时间的估计精度。
利用位移时间曲线及其预测序列时,主要关注两方面:一是未来一段时间的预测值是否达到阈值水平,如果预测值超过预先设定的阈值则认为风险水平为异常;二是当前累积数据的位移时间曲线,当发现末端进入加速变形阶段时认为风险水平为异常或临滑。实施时,可以对数据进行重采样统一时间步,并使用曲线中匀速变形阶段先对曲线进行归一化。
匀速变形阶段位移速度为v,位移量S=v*t,利用位移S除以速度v将S-t曲线的纵坐标变换为与横坐标相同的时间量纲:
请同时参阅图9,其中ΔS(i)为某一单位时间段内斜坡位移变化量,具体可以是一天、一周等不同的时间段;v为等速变形阶段的位移速率;T(i)为变换后与时间相同量纲的纵坐标。
时间序列数据模型的输出结果可以进一步可视化输出,以作为应对灾害的预警数据。
统计异常检测模型构成以坡面的状态数据为输入,以坡面的状态数据的异常结果为输出。统计异常检测模型主要针对土壤含水量、雨量、地下水的孔隙水压等数据的监测值的异常进行检测。一般说来,这类监测值是在正常范围内波动,与环境变化相关性高,而时间上比较随机。针对这些数据,当检测值波动超过了正常水平时,认为滑坡风险较高。
在一些实施例中,所述将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,包括:
获取坡面的历史状态数据;
计算所述历史状态数据的历史分布参数,其中,所述历史分布参数包括所述历史状态数据的均值和标准差中的一项或多项;
将所述状态数据输入所述风险因子模型获得所述状态数据对应的当前滑坡概率;
根据所述当前滑坡概率和所述历史分布参数确定参数分布区间;
根据所述状态数据在所述参数分布区间中的分布状态确定所述当前状态数据中的异常数据。
针对温度、孔隙水压、雨量、土壤含水等数据,其采样值随时间变化不规律,主要受到气象过程等环境随机影响。这类数据一般受到多方面影响并在正常范围内波动,如图10所示,本实施例中,认为其大致满足正态分布,因此利用其统计指标设计异常检测模型。
本宿舍里中,对各传感器分别按照时间维度对采样值进行统计得到均值和标准差,示例性的,可以以月份为维度,统计不同年度各月份的采样值,这样,相同月份的气候近似,更具有参考价值。
进行异常检测时,首先利用风险因子模型确定坡面的风险水平,选取风险水平对应的阈值参数k。一般来说,风险因子预测的滑坡频率越高,对异常检测要求越敏感,k值越小。
接下来,然后选取当前时间在上述时间维度对应的统计指标均值S1和标准差S2,比对当前采样值S0是否在[S1-kS2,S1+kS2]范围内,如果超过波动范围,进行风险预警,风险水平为异常。
步骤303:根据所述滑坡风险数据生成滑坡预测结果。
综合以上获得的滑坡风险数据,能够获得对于当前坡面滑坡风险的预测结果,示例性的,可以根据其不同组合,将滑坡风险划分为正常、异常、临滑等几个风险级别。当达到异常、临滑等相对较高的风险级别时,还可以进一步推送预警信息给相关工作人员,以便及时应对可能出现的险情,保证生命和财产安全。
本发明实施例通过利用历史统计数据对坡面的多项地质学特征进行风险因子估计,回归得到滑坡发生的风险频率,同时结合实地部署的传感器数据,综合利用统计异常检测和时间序列预测等技术,评估滑坡风险。两者结合能提高预测的性能,同时生成的预警信息中包含估计的滑坡时间信息,有助于提高对于风险的预测效果。
本发明实施例还提供了一种滑坡预测装置。
如图11所示,在一个实施例中,该滑坡预测装置1100包括:
获取模块1101,用于获取坡面的状态数据;
输入模块1102,用于将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,其中,所述滑坡风险预警模型包括风险因子模型和传感器数据模型,所述风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,所述传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对所述状态数据的预测结果为输出的模型,所述滑膜风险数据包括所述坡面发生滑坡的概率、所述状态数据的异常结果和掉所述状态数据的预测结果;
生成模块1103,用于根据所述滑坡风险数据生成滑坡预测结果。
在一些实施例中,还包括:
历史滑坡数据获取模块,用于获取历史滑坡数据;
数据集划分模块,用于将所述历史滑坡数据划分为训练集数据和测试集数据;
第一训练模块,用于以所述历史滑坡数据中的坡面状态为输入,以滑坡发生次数为回归目标,通过所述训练集数据和所述测试集数据进行模型训练获得风险因子模型。
在一些实施例中,所述传感器数据模型包括用于生成所述预测结果的时间序列数据模型,还包括:
历史位移变化量获取模块,用于获取坡面的历史位移变化量数据;
预测模块,用于根据所述历史位移变化量数据中的第一数据预测目标时间点的预测位移变化量;
实际位移变化量获取模块,用于根据所述历史位移变化量数据获取所述目标时间点的实际位移变化量;
第二训练模块,用于根据所述预测位移变化量和所述实际位移变化量进行模型训练获得时间序列数据模型;
迭代模块,用于周期性迭代执行上述步骤以更新所述时间序列数据模型。
在一些实施例中,所述输入模块1102包括:
获取子模块,用于获取坡面的历史状态数据;
计算子模块,用于计算所述历史状态数据的历史分布参数,其中,所述历史分布参数包括所述历史状态数据的均值和标准差中的一项或多项;
输入子模块,用于将所述状态数据输入所述风险因子模型获得所述状态数据对应的当前滑坡概率;
区间确定子模块,用于根据所述当前滑坡概率和所述历史分布参数确定参数分布区间;
异常确定子模块,用于根据所述状态数据在所述参数分布区间中的分布状态确定所述当前状态数据中的异常数据。
在一些实施例中,所述获取模块1101,具体用于获取设置于所述坡面的传感器周期性发送的状态数据,其中,所述传感器包括位移传感器,
在一些实施例中,所述传感器还包括地下水传感器、雨量传感器、倾斜传感器和土壤含水量传感器中的一项或多项。
在一些实施例中,所述滑坡风险预警方法应用于边缘服务器,所述边缘服务器通过窄带物联网与所述传感器通信连接。
本实施例的滑坡风险预警装置1100能够实现上述滑坡风险预警方法实施例的各个步骤,并能实现基本相同的技术效果,此处不再赘述。
本发明实施例还提供一种电子设备。请参见图12,电子设备可以包括处理器1201、存储器1202及存储在存储器1202上并可在处理器1201上运行的程序12021。
在电子设备为终端的情况下,程序12021被处理器1201执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。
在电子设备为网络侧设备的情况下,程序12021被处理器1201执行时可实现图12对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成,所述的程序可以存储于一可读取介质中。
本发明实施例还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
所述的存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
以上所述是本发明实施例的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种滑坡预测方法,其特征在于,包括以下步骤:
获取坡面的状态数据;
将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,其中,所述滑坡风险预警模型包括风险因子模型和传感器数据模型,所述风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,所述传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对所述状态数据的预测结果为输出的模型,所述滑膜风险数据包括所述坡面发生滑坡的概率、所述状态数据的异常结果和掉所述状态数据的预测结果;
根据所述滑坡风险数据生成滑坡预测结果。
2.根据权利要求1所述的滑方法,其特征在于,将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据之前,还包括:
获取历史滑坡数据;
将所述历史滑坡数据划分为训练集数据和测试集数据;
以所述历史滑坡数据中的坡面状态为输入,以滑坡发生次数为回归目标,通过所述训练集数据和所述测试集数据进行模型训练获得风险因子模型。
3.根据权利要求1所述的滑方法,其特征在于,所述传感器数据模型包括用于生成所述预测结果的时间序列数据模型,将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据之前,还包括:
获取坡面的历史位移变化量数据;
根据所述历史位移变化量数据中的第一数据预测目标时间点的预测位移变化量;
根据所述历史位移变化量数据获取所述目标时间点的实际位移变化量;
根据所述预测位移变化量和所述实际位移变化量进行模型训练获得时间序列数据模型;
周期性迭代执行上述步骤以更新所述时间序列数据模型。
4.根据权利要求1所述的滑方法,其特征在于,所述将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,包括:
获取坡面的历史状态数据;
计算所述历史状态数据的历史分布参数,其中,所述历史分布参数包括所述历史状态数据的均值和标准差中的一项或多项;
将所述状态数据输入所述风险因子模型获得所述状态数据对应的当前滑坡概率;
根据所述当前滑坡概率和所述历史分布参数确定参数分布区间;
根据所述状态数据在所述参数分布区间中的分布状态确定所述当前状态数据中的异常数据。
5.根据权利要求1至4中任一项所述的滑方法,其特征在于,所述获取坡面的状态数据,包括:
获取设置于所述坡面的传感器周期性发送的状态数据,其中,所述传感器包括位移传感器。
6.根据权利要求5所述的滑方法,其特征在于,所述传感器还包括地下水传感器、雨量传感器、倾斜传感器和土壤含水量传感器中的一项或多项。
7.根据权利要求6所述的滑方法,其特征在于,所述滑坡风险预警方法应用于边缘服务器,所述边缘服务器通过窄带物联网与所述传感器通信连接。
8.一种滑坡预测装置,其特征在于,包括:
获取模块,用于获取坡面的状态数据;
输入模块,用于将所述状态数据输入滑坡风险预警模型获得所述坡面的滑坡风险数据,其中,所述滑坡风险预警模型包括风险因子模型和传感器数据模型,所述风险因子模型是以坡面的状态数据为输入,以坡面发生滑坡的概率为输出的模型,所述传感器数据模型是以坡面的状态数据为输入,以坡面的状态数据的异常结果和对所述状态数据的预测结果为输出的模型,所述滑膜风险数据包括所述坡面发生滑坡的概率、所述状态数据的异常结果和掉所述状态数据的预测结果;
生成模块,用于根据所述滑坡风险数据生成滑坡预测结果。
9.一种电子设备,包括:收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,所述处理器,用于读取存储器中的程序实现如权利要求1至7中任一项所述的滑坡风险预警方法中的步骤。
10.一种可读存储介质,用于存储程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的滑坡风险预警方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111060013.4A CN115795991A (zh) | 2021-09-10 | 2021-09-10 | 滑坡预测方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111060013.4A CN115795991A (zh) | 2021-09-10 | 2021-09-10 | 滑坡预测方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115795991A true CN115795991A (zh) | 2023-03-14 |
Family
ID=85473523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111060013.4A Pending CN115795991A (zh) | 2021-09-10 | 2021-09-10 | 滑坡预测方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115795991A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116663106A (zh) * | 2023-05-18 | 2023-08-29 | 重庆市规划和自然资源调查监测院 | 使用海量数据分析高速公路的边坡修复实施的工作方法 |
CN117833237A (zh) * | 2024-01-08 | 2024-04-05 | 广西北部湾陆海新能源股份有限公司 | 一种基于模型出力预测序列预测光伏电站出力方法及系统 |
-
2021
- 2021-09-10 CN CN202111060013.4A patent/CN115795991A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116663106A (zh) * | 2023-05-18 | 2023-08-29 | 重庆市规划和自然资源调查监测院 | 使用海量数据分析高速公路的边坡修复实施的工作方法 |
CN116663106B (zh) * | 2023-05-18 | 2024-05-14 | 重庆市规划和自然资源调查监测院 | 使用海量数据分析高速公路的边坡修复实施的工作方法 |
CN117833237A (zh) * | 2024-01-08 | 2024-04-05 | 广西北部湾陆海新能源股份有限公司 | 一种基于模型出力预测序列预测光伏电站出力方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11232368B2 (en) | System for predicting equipment failure events and optimizing manufacturing operations | |
CN108418841A (zh) | 基于ai的下一代关键信息基础设施网络安全态势感知系统 | |
CN115795991A (zh) | 滑坡预测方法、装置、电子设备和可读存储介质 | |
CN112541028B (zh) | 水环境大数据监控系统及方法 | |
CN108763729A (zh) | 基于网络结构熵的流程工业机电系统耦合状态评估方法 | |
CN109471698B (zh) | 云环境下虚拟机异常行为检测系统和方法 | |
CN114611778B (zh) | 一种基于入库流量的水库水位预警方法及系统 | |
CN110865924B (zh) | 电力信息系统内部服务器健康度诊断方法与健康诊断框架 | |
JP7297816B2 (ja) | 資産の予測健全性解析を実行するための方法およびコンピューティングシステム | |
CN117878925B (zh) | 一种智能电网的输电数据控制方法及系统 | |
CN112270429A (zh) | 基于云边协同的动力电池极片制造设备维护方法和系统 | |
CN110703743A (zh) | 设备故障预测与检测系统和方法 | |
CN118075791A (zh) | 无线通信网络故障预测方法及系统 | |
CN118152993A (zh) | 一种基于物联网的智能水利资源感知系统 | |
CN115146230A (zh) | 一种古建筑健康监测系统、方法及设备 | |
CN117113157B (zh) | 一种基于人工智能的台区用电故障检测系统 | |
CN117989074A (zh) | 一种基于感知计算协同的海上风电机组智能化监测方法 | |
CN117494009A (zh) | 基于绝缘材料热解分析的电气设备状态评估方法及云平台 | |
CN110455370B (zh) | 防汛抗旱远程遥测显示系统 | |
Aman et al. | Influence-driven model for time series prediction from partial observations | |
CN108345996B (zh) | 一种降低风电功率考核电量的系统及方法 | |
CN115936663A (zh) | 一种电力系统的维护方法及装置 | |
CN118568412B (zh) | 一种扬尘预警方法 | |
CN118378844B (zh) | 一种智慧园区管理方法及系统 | |
CN118517769B (zh) | 一种高效节能空调机房的运行管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |