CN113160518A - 一种基于边缘计算的预警系统以及预警方法 - Google Patents

Abstract

本申请公开了一种基于边缘计算的预警系统以及预警方法，所述的预警系统包括：多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。本申请中的多模态采集装置将采集的多模态数据发送给边缘设备，边缘设备根据多模态数据确定被监护者的状态数据，这样将计算过程转移至边缘设备，无需将被监护者相关的多模态数据发送给云端运算，从而可以提高用户多模态数据的安全性。

Description

一种基于边缘计算的预警系统以及预警方法

技术领域

本申请涉及人员健康检测安全系统技术领域，特别涉及一种基于边缘计算的预警系统以及预警方法。

背景技术

目前市场的监护设备越来越多，并且功能也各不相同。但是，现有的监控设备普遍是基于单一信息进行监护，并且只能起到记录现场状况、用于事后追溯的用途。并且，在记录现场状况时，会将采集数据传输到云端运算和存储,这样可能会造成被监护者丢失而影响被监护者的隐私安全性。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于边缘计算的预警系统以及预警方法。

为了解决上述技术问题，本申请实施例第一方面提供了一种基于边缘计算的预警系统，所述的预警系统包括：多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。

所述基于边缘计算的预警系统，其中，所述监控平台与所述多模态采集装置相连接，以调取所述多模态采集装置采集的多模态数据。

所述基于边缘计算的预警系统，其中，所述多模态采集装置包括图像采集模块、音频采集模块以及人体信息采集模块，所述图像采集模块用于采集被监护者所处场景的场景图像；所述音频采集模块用于采集被监护者所处场景的场景音频；所述人体信息采集模块用于采集被监护者的生命特征信息。

所述基于边缘计算的预警系统，其中，所述人体信息采集模块包括血压传感器、脉搏传感器、心跳传感器以及体温传感器中的一种或者多种。

所述基于边缘计算的预警系统，其中，所述边缘设备配置有多模态预警模型，所述多模态预警模型用于基于所述多模态数据确定被监护者的预警信息。

所述基于边缘计算的预警系统，其中，所述的预警系统包括数据中心，所述数据中心用于接收并存储所述监控平台发送的预警信息。

所述基于边缘计算的预警系统，其中，所述的预警系统还包括预警设备，所述预警设备与所述监控平台相连接，并基于所述监控平台接收到的预警信息进行预警。

所述基于边缘计算的预警系统，其中，所述的预警系统还包括呼叫设备，所述呼叫设备与所述监控平台相连接，以将呼叫信息发送至所述监控平台。

本申请实施例第二方面提供了一种基于边缘计算的预警方法，所述预警方法包括：

获取多模态采集装置采集的多模态数据，并基于所述多模态数据确定被监护者的预警信息；

将所述预警信息发送至监控平台，以通过所述监控平台将所述预警信息反馈给监护者。

所述基于边缘计算的预警方法，其中，所述基于所述多模态数据确定被监护者的预警信息具体包括：

将所述多模态数据输入经过训练的多模态预警模型，通过所述多模态预警模型确定所述被监护者的预警信息，其中，所述多模态数据包括场景图像、场景音频以及生命特征数据中的一种或者多种。

有益效果：与现有技术相比，本申请提供了一种基于边缘计算的预警系统，所述的预警系统包括：多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。本申请中的多模态采集装置将采集的多模态数据发送给边缘设备，边缘设备根据多模态数据确定被监护者的状态数据，这样将计算过程转移至边缘设备，无需将被监护者相关的多模态数据发送给云端运算，从而可以提高用户多模态数据的安全性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的基于边缘计算的预警系统的结构原理图。

图2为本申请提供的基于边缘计算的预警方法中多模态预警模型的结构原理图。

图3为本申请提供的基于边缘计算的预警方法的流程图。

具体实施方式

本申请提供一种基于边缘计算的预警系统以及预警方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

发明人经过研究发现，目前市场的监护设备越来越多，并且功能也各不相同。但是，现有的监控设备普遍是基于单一信息进行监护，并且只能起到记录现场状况、用于事后追溯的用途。并且，在记录现场状况时，会将采集数据传输到云端运算和存储,这样可能会造成被监护者丢失而影响被监护者的隐私安全性。

为了解决上述问题，在本申请实施例中，所述的预警系统包括多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。本申请中的多模态采集装置将采集的多模态数据发送给边缘设备，边缘设备根据多模态数据确定被监护者的状态数据，这样将计算过程转移至边缘设备，无需将被监护者相关的多模态数据发送给云端运算，从而可以提高用户多模态数据的安全性。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了一种基于边缘计算的预警系统，如图1所示，所述预警系统包括多模态采集装置100、边缘设备200以及监控平台300；所述多模态采集装置100与边缘设备200相连接，所述边缘设备200与所述监控平台300相连接，所述多模态采集装置100用于采集被监护者的多模态数据，并将采集到多模态数据发送至边缘设备200。所述边缘设备200用于接收多模态采集装置100发送的多模态数据，基于接收到的多模态数据确定被监护者的预警信息，以及将确定的预警信息发送至监控平台300。所述监控平台300用于接收边缘设备200发送的预警信息，并将所述预警信息反馈给监护者，以使得监护者可以获取到被监护者的信息。本实施例在多模态采集装置与监控平台之间配置边缘设备，通过边缘设备基于多模态数据确定被监护者的状态数据，这样将计算过程转移至边缘设备，无需将被监护者相关的多模态数据发送给云端运算，从而可以提高用户多模态数据的安全性。

在本实施例的一个实现方式中，所述多模态采集装置100包括图像采集模块、音频采集模块以及人体信息采集模块中的一种或者多种，其中，所述图像采集模块用于采集被监护者所处场景的场景图像；所述音频采集模块用于采集被监护者所处场景的场景音频；所述人体信息采集模块用于采集被监护者的生命特征信息。由此，所述多模态数据可以包括场景图像、场景音频以及生命特征信息中的一种或者多种，并且多模态数据包括的信息种类与多模态采集装置包括的模块种类相对应，这是由于多模态数据是由多模态采集装置采集得到的。例如，多模态采集装置包括图像采集模块、音频采集模块以及人体信息采集模块，那么多模态数据可以包括场景图像、场景音频以及生命特征信息；又如，多模态采集装置包括图像采集模块和音频采集模块，那么多模态数据可以包括场景图像和场景音频。

所述图像采集模块可以为监控摄像头等拍摄设备，监控摄像头可以布置于被监护者所处房间或者活动区域等，通过监控摄像头来采集其自身所处场景的场景图像，这样当被监护者处于监控摄像头所处场景时，监控摄像头拍摄到携带有被监护者的场景图像，从而基于该场景图像可以识别被监护者的状态数据，例如，被监护者的所处状态。当然，在实际应用中，所述图像采集设备可以为配置有拍摄装置(例如，摄像头等)的机器人，机器人跟随被监护者，并每间隔没有时间拍摄一张被监护者所处场景的场景图像，拍摄到的场景图像携带有被监护者，以便于基于拍摄得到的场景图像获取被监护者的状态数据。

所述音频采集模块可以为音频拾取器、具有联网功能的录音笔以及其他具有录音功能的装置等。在一个具体实现方式中，音频采集模块为音频拾取器，音频拾取器可以布置于被监护者所处房间或者活动区域等，通过音频拾取器来采集其自身所处场景的场景音频，这样当被监护者处于音频拾取器所处场景时，音频拾取器拾取被监护者所形成的场景音频，从而基于该场景音频可以识别被监护者的状态数据，例如，被监护者的呼叫声音，被监护者的呻吟声音等。例如，音频采集模块针对被监护者对话和语音进行本地，在呼救和求助时能将音频信息发送至边缘设备。

当然，在实际应用中，所述音频采集模块与所述图像采集模块可以为一体结构，换句话说，所述音频采集模块可以装配于所述图像采集模块上，在通过图像采集模块采集场景图像的同时，通过音频采集模块采集场景音频。例如，音频采集模块为音频拾取器，图像采集模块为配置有拍摄装置(例如，摄像头等)的机器人，那么音频拾取器可以装配于机器人上，当机器人跟随被监护者时，可以通过拍摄装置拍摄场景图像，通过音频拾取器拾取场景音频。

所述人体信息采集模块可以包括生命体征监测床垫、可穿戴智能设备，以及其他传感器等，其中，生命体征监测床垫实现对身体活动状态和睡眠状态的检测，可穿戴智能设备包括智能手环和智能手表，用于检测被看护者的身体状况，所述传感器包括血压传感器，脉搏传感器，心跳传感器以及体温传感器。所述人体信息采集模块可以包括血压传感器、脉搏传感器、心跳传感器以及体温传感器中的一种或者多种，通过血压传感器、脉搏传感器、心跳传感器以及体温传感器等采集人体生命特征，以得到生命特征数据，例如，当人体信息采集模块包括血压传感器时，所述生命特征数据包括血压数据。在本实施例的一个实现方式中，所述人体信息采集模块可以采用穿戴形式，换句话说，所述人体信息采集模块可以穿戴于被监护者身体上，当被监护者移动时，可以带动人体信息采集模块同步运动，以使得人体信息采集模块可以实时采集被监护者的生命特征信息。例如，生命体征监护探知人体的心跳、呼吸、脉搏身体活动等所产生的振动等。

在本实施例的一个实现方式中，所述多模态采集装置100可以与监控平台相连接，并将采集到的多模态数据发送至监控平台，或者是，监控平台根据接收到调取指令调取多模态采集装置采集的多模态数据，这当需要回顾或者追溯数据时，可以通过调度到的多模态数据来进行事件还原或者事件回顾，增加了预警系统的功能。当然，在实际应用中，为了避免占用监控平台的存储空间，监控平台中存储的多模态数据在存储时长达到预设时间后，会自动清除以释放其所占用的存储空间。此外，在监控平台的存储空间不足时，可以按照多模态数据的采集时间从前向后清除多模态数据，以保留最近时间存储的多模态数据。

所述边缘设备200可以布置于用户侧的电子设备，边缘设备200可以通过无线网络分别与多模态采集装置100以及监控平台300连接，当多模态采集装置100采集到多模态数据后，可以通过边缘设备200确定该多模态数据对应的预警信息，这样可以通过布置于用户侧的边缘设备确定预警信息，使得涉及被监护者隐私的多模态数据无需发送至云端，从而可以提高涉及被监护者隐私的多模态数据的安全性。在本实施例的一个实现方式中，所述边缘设备200可以采用RI SC-V边缘计算的芯片，所述RI SC-V边缘计算的芯片可以与多模态采集装置采用一体化结构，例如，RI SC-V边缘计算的芯片集成在图像采集模块、音频采集模块或者人体信息采集模块上，又如，RI SC-V边缘计算的芯片、图像采集模块、音频采集模块以及人体信息采集模块均装配于以电子设备上等。

所述边缘设备200配置有多模态预警模型，所述多模态预警模型用于基于所述多模态数据确定被监护者的预警信息。其中，所述多模态预警模型可以为经过深度学习的神经网络模型，多模态预警模型的输入项可以为多模态数据，输出数据可以为预警信息，在获取到多模态数据后，可以直接将多模态数据输入多模态预警模型，通过所述多模态预警模型输出预警信息。

在本实施例的一个实现方式中，如图2所示，多模态预警模型可以基于预设训练样本集训练得到，预设训练样本集包括若干训练数据组，若干训练数据组中的每个训练数据组均包括训练多模态数据以及目标预警信息。在训练过程中，可以将训练多模态数据输入预设神经网络模型，通过预设神经网络模型输出预测预警信息，在基于预测预警信息以及目标预警信息确定损失函数值，最后基于损失函数值对预设神经网络模型进行反向学习，以得到多模态预警模型。在实际应用中，所述预警系统还可以包括算法平台400，所述边缘设备200与所述算法平台400相连接，所述算法平台400用于训练多模态预警模型，所述边缘设备200通过所述算法平台获取多模态预警模型，并将使用过程中获取到的多模态数据以及多模态数据对应的预警信息反馈给算法平台400，以使得算法平台400可以基于边缘设备200反馈的多模态数据以及多模态数据对应的预警信息对多模态预警模型进行在线训练，以提高多模态预警模型的精确度以及与被监护者的匹配度，从而为各被监控者训练各自对应的多模态预警模型，进一步提高边缘设备确定的预警信息的准确性。

在本实施例的一个实现方式中，所述的预警系统包括数据中心500，所述数据中心500用于接收并存储所述监控平台300发送的预警信息。数据中心500接收到预警信息后，可以将预警信息发送给外部设备600，以使得持有外部设备600的监护者可以获取到预警信息，其中，所述外部设备600可以为手机、平板、电脑或智能穿戴式设备等。此外，监控平台300还可以将调取到的多模态数据存储于数据中心500，通过数据中心500备份该多模态数据，这样当监控平台中存储的多模态数据删除、损坏或者丢失时，可以通过数据中心获取多模态数据，进一步提高多模态数据的安全性。

在本实施的一个实现方式中，所述的预警系统还包括预警设备700，所述预警设备700与所述监控平台300相连接，并基于所述监控平台300接收到的预警信息进行预警。例如，所述预警设备700为智能音箱，所述智能音箱用于提醒被监护者需要注意事项，如，厨房煤气未关闭,人体血压过高需要及时吃药等。当然，在实际应用中，所述的预警系统还包括呼叫设备，所述呼叫设备与所述监控平台相连接，以将呼叫信息发送至所述监控平台，这样被监护者在感觉自身不舒服时，可以通过呼叫设备向所述监控平台发送呼叫信息，以通过监控平台将所述呼叫信息发给监护者。

举例说明：图像采集模型为摄像头，边缘设备基于摄像头采集的场景图像对被监护者活动进行检测,在被监护者长时间离家不归，或者分析出摔倒,长时间无意识时；发送预警信号和场景图像到监控平台，同时，监控平台主动调用摄像头采集实时图像进行人工监控，并且可以通过智能音箱对人员进行语音提醒和确认。

在本实施例的一个实现方式中，所述监控平台300可以包括设备管理模块，人员管理模块，数据管理模块，以及规则配置模块等，设备管理模块可以提供到设备运维方，用于设备检修和更换。人员管理模块可以提供到监护者，让其了解被监护者身体和居住环境状态。数据管理模块和规则配置模块可以提供待到平台服务中心，用于统一管理和看护，这样通过监控平台可以控制多模态采集装置以及数据中心连接的外部设备的身份信息等，从而对预警系统的集中管理。

综上所述，本实施例提供了一种基于边缘计算的预警系统，所述的预警系统包括：多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。本申请中的多模态采集装置将采集的多模态数据发送给边缘设备，边缘设备根据多模态数据确定被监护者的状态数据，这样将计算过程转移至边缘设备，无需将被监护者相关的多模态数据发送给云端运算，从而可以提高用户多模态数据的安全性。

基于上述基于边缘计算的预警系统，本实施例还提供了一种基于边缘计算的预警方法，如图3所示，所述预警方法包括：

S10、获取多模态采集装置采集的多模态数据，并基于所述多模态数据确定被监护者的预警信息；

S20、将所述预警信息发送至监控平台，以通过所述监控平台将所述预警信息反馈给监护者。

具体地，所述多模态采集装置包括图像采集模块、音频采集模块以及人体信息采集模块中的一种或者多种，其中，所述图像采集模块用于采集被监护者所处场景的场景图像；所述音频采集模块用于采集被监护者所处场景的场景音频；所述人体信息采集模块用于采集被监护者的生命特征信息。由此，所述多模态数据可以包括场景图像、场景音频以及生命特征信息中的一种或者多种，并且多模态数据包括的信息种类与多模态采集装置包括的模块种类相对应，这是由于多模态数据是由多模态采集装置采集得到的。例如，多模态采集装置包括图像采集模块、音频采集模块以及人体信息采集模块，那么多模态数据可以包括场景图像、场景音频以及生命特征信息；又如，多模态采集装置包括图像采集模块和音频采集模块，那么多模态数据可以包括场景图像和场景音频。

在本实施例的一个实现方式中，所述预警信信息可以是通过经过训练的多模态预警模型得到，所述多模态预警模型的输入项为多模态数据，输出项为预警信息。相应的，所述基于所述多模态数据确定被监护者的预警信息具体包括：

将所述多模态数据输入经过训练的多模态预警模型，通过所述多模态预警模型确定所述被监护者的预警信息。

具体地，所述多模态数据通过多模态采集模块获取得到的，所述多模态数据可以包括场景图像、场景音频以及生命特征数据中的一种或者多种。例如，多模态数据包括场景图像以及场景音频，又如，多模态数据包括生命特征数据等。所述预警信息可以包括提示吃药、提示跌到、提示需要照顾等。所述多模态预警模型可以预先配置若干默认预警信息类别，在获取到多模态数据后，将多模态数据输入多模态预警模型，通过多模态预警模型确定多模态数据对应的默认预警信息类别，并将默认预警信息类别对应的预警信息作为多模态数据对应的预警信息，并将该预警信息作为述被监护者的预警信息。

在本实施例的一个实现方式中，所述将所述预警信息发送至监控平台，以通过所述监控平台将所述预警信息反馈给监护者具体为：

将所述预警信息发送至监控平台，通过所述监控平台将所述预警信息发送给数据中心，以通过所述数据中心将所述预警信息发送至外部设备。

具体地，所述数据中心可以通过无线网络与外部设备连接，可以通过短信、电话或者邮件方式将预警信息发送给外部设备，以使得外部设备可以获取到该预警信息，并将预警详细显示给所述被监护者对应的监护者。可以理解的是，所述外部设备为所述被监护者对应的监护者所拥有的电子设备，当预警信息发送至该外部设备时，所述被监护者对应的监护者可以通过该外部设备获取到预警信息。例如，外部设备为智能手机、平板电话以及智能穿戴设备等等。

此外，上述基于边缘计算的预警方法应用上述的基于边缘计算的预警系统，基于边缘计算的预警方法所采用的各装置均与上述基于边缘计算的预警系统中的各装置相同，具体可以参照上述基于边缘计算的预警系统的说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于边缘计算的预警系统，其特征在于，所述的预警系统包括：多模态采集装置、边缘设备以及监控平台，所述多模采集装置与所述边缘设备相连接，所述边缘设备与所述监控平台相连接，所述多模采集装置采用被监护者的多模态数据，并将采集到多模态数据发送至边缘设备，所述边缘设备基于所述多模态数据确定被监护者的预警信息，并将所述预警信息发送监控平台，所述监控平台将预警信息反馈给监护者。

2.根据权利要求1所述基于边缘计算的预警系统，其特征在于，所述监控平台与所述多模态采集装置相连接，以调取所述多模态采集装置采集的多模态数据。

3.根据权利要求1或2所述基于边缘计算的预警系统，其特征在于，所述多模态采集装置包括图像采集模块、音频采集模块以及人体信息采集模块，所述图像采集模块用于采集被监护者所处场景的场景图像；所述音频采集模块用于采集被监护者所处场景的场景音频；所述人体信息采集模块用于采集被监护者的生命特征信息。

4.根据权利要求3所述基于边缘计算的预警系统，其特征在于，所述人体信息采集模块包括血压传感器、脉搏传感器、心跳传感器以及体温传感器中的一种或者多种。

5.根据权利要求1所述于边缘计算的预警系统，其特征在于，所述边缘设备配置有多模态预警模型，所述多模态预警模型用于基于所述多模态数据确定被监护者的预警信息。

6.根据权利要求1所述基于边缘计算的预警系统，其特征在于，所述的预警系统包括数据中心，所述数据中心用于接收并存储所述监控平台发送的预警信息。

7.根据权利要求1所述基于边缘计算的预警系统，其特征在于，所述的预警系统还包括预警设备，所述预警设备与所述监控平台相连接，并基于所述监控平台接收到的预警信息进行预警。

8.根据权利要求1所述基于边缘计算的预警系统，其特征在于，所述的预警系统还包括呼叫设备，所述呼叫设备与所述监控平台相连接，以将呼叫信息发送至所述监控平台。

9.一种基于边缘计算的预警方法，其特征在于，所述预警方法包括：

获取多模态采集装置采集的多模态数据，并基于所述多模态数据确定被监护者的预警信息；

将所述预警信息发送至监控平台，以通过所述监控平台将所述预警信息反馈给监护者。

10.根据权利要求9所述基于边缘计算的预警方法，其特征在于，所述基于所述多模态数据确定被监护者的预警信息具体包括：

将所述多模态数据输入经过训练的多模态预警模型，通过所述多模态预警模型确定所述被监护者的预警信息，其中，所述多模态数据包括场景图像、场景音频以及生命特征数据中的一种或者多种。

Images