CN117576632A - 基于多模态ai大模型的电网监控火灾预警系统及方法 - Google Patents

基于多模态ai大模型的电网监控火灾预警系统及方法 Download PDF

Info

Publication number
CN117576632A
CN117576632A CN202410057541.1A CN202410057541A CN117576632A CN 117576632 A CN117576632 A CN 117576632A CN 202410057541 A CN202410057541 A CN 202410057541A CN 117576632 A CN117576632 A CN 117576632A
Authority
CN
China
Prior art keywords
image
early warning
fire
power grid
large model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410057541.1A
Other languages
English (en)
Other versions
CN117576632B (zh
Inventor
刘忠祖
王文强
刘艳晓
王爱民
刘天喜
李增辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jinqiao Security Equipment Co ltd
Original Assignee
Shandong Jinqiao Security Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jinqiao Security Equipment Co ltd filed Critical Shandong Jinqiao Security Equipment Co ltd
Priority to CN202410057541.1A priority Critical patent/CN117576632B/zh
Publication of CN117576632A publication Critical patent/CN117576632A/zh
Application granted granted Critical
Publication of CN117576632B publication Critical patent/CN117576632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及电网环境中的火灾预警技术领域，尤其涉及一种基于多模态AI大模型的电网监控火灾预警系统及方法。包括以下步骤：采集电网运行状态下的环境视频，进行抽帧图像质量增强，并将其按照标准参数进行封装，保存为统一的格式；将处理好的图像使用视觉大模型进行智能分析，得到对图像内容的文字化描述；将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。能够对电网环境下采集到的图像质量进行增强，利用多模态AI大模型对增强后的电网监控图像进行分析、研判。

Description

基于多模态AI大模型的电网监控火灾预警系统及方法
技术领域
本发明涉及电网环境中的火灾预警技术领域，尤其涉及一种基于多模态AI大模型的电网监控火灾预警系统及方法。
背景技术
电网是国家基础设施的重要组成部分，其安全运行对社会经济活动至关重要，由于电网环境的复杂性和易燃性材料的普遍存在，火灾风险一直是电网安全管理中的一个主要问题。传统的火灾预警系统依赖于简单的传感器和人工监控，这在处理复杂的环境和迅速变化的情况时，常常显示出反应迟缓和识别不准确的问题，此外，传统系统在分析大规模视频数据时面临着巨大的挑战，包括数据处理效率低下和误报率高等。在这种背景下，AI大模型的应用提供了明显的优势，这些模型利用先进的机器学习算法，能够从复杂的视频数据中提取关键信息，并进行高效的实时分析。
因此，本发明利用大模态AI大模型的综合能力，克服传统火灾预警系统的局限性，为电网环境提供一个更智能、更可靠的火灾预警解决方案。
发明内容
本发明针对现有技术的不足，研制一种基于多模态AI大模型的电网监控火灾预警系统及方法，主要目的在于实现电网环境中利用视频监控对火灾风险进行智能预警。
本发明解决技术问题的技术方案为：一方面，本发明提供了一种基于多模态AI大模型的电网监控火灾预警方法，其包括以下步骤：
S1.采集电网运行状态下的环境视频，按照一定频率进行抽帧，结合图像增强技术提升弱光条件下的图像质量，并将其按照标准参数进行封装，保存为统一的格式；
S2.将处理好的图像使用视觉大模型进行智能分析，得到对图像内容的文字化描述；
S3. 将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；
S4.当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S1具体包括以下步骤：
S1.1视频采集与抽帧：视频通过可见光摄像机实时采集，按照预定的频率从视频中抽取关键帧，在满足实时性预警的前提下减少数据量和处理需求:
，
其中，表示抽取的帧集合，/>表示第/>个抽取的帧，/>表示根据采集频率和视频持续时间确定的总帧数；
S1.2图像质量增强：
（1）自适应直方图均衡化：
a. 分割图像:通过将图像分割成多个小的、重叠的区块，来保证区块覆盖整个图像，以及每个像素都在某个区块的中心；
b. 计算局部直方图: 在每个区块中通过统计该区块内每个亮度级出现的频率，计算其直方图 />：
，
其中，表示区块中第i个像素的亮度值，/>表示计算集合中元素数量的函数;
c. 计算累积分布函数：对于每个小区块的直方图，计算其累积分布函数：
，
其中，表示亮度级/>及其以下的累积频次，/>表示亮度级为/>的直方图;
d. 应用均衡化：通过每个区块的累积分布函数对该区块内每个像素的亮度值进行调整，得到新的亮度值/>，计算公式为：
,
其中，L表图像中亮度级别的数量，表示该区块中最小的累积频率，表示该区块中的最大累积频率，/>表示取整操作；
e. 应用均衡化:通过在每个小区块上应用上述均衡化过程，并将所有区块的结果进行组合来重建整个图像，通过取平均值决定最终像素值；
（2）非局部均值去噪：
a. 定义邻域和搜索窗口：对于图像中的每个像素，定义一个围绕该像素的小区块，称为邻域/>,邻域/>通常是一个小的正方形窗口，包含中心像素/>及其周围的像素，然后对每个邻域/>,定义一个更大的围绕/>的搜索窗口/>,搜索窗口/>包含邻域/>及其周围的更多像素；
b. 计算权重：计算像素中邻域/>和搜索窗口/>中邻域/>的权重/>,
该权重反映了和/>之间的相似度，权重计算过程如下：
,
其中，表示/>和/>之间的欧几里得距离，/>表示用于调整相似性敏感度的平滑参数，q表示邻域/>中的像素；
c. 计算去噪后的像素值：搜索窗口内所有邻域的加权平均，通过权重/>估计每个像素/>的去噪值：
,
其中，表示原始图像中像素/>的值，/>表示去噪后像素/>的值；
d. 重建图像：将上述步骤应用于图像中的每个像素，通过计算每个像素的去噪值来重建整个去噪后的图像；
S1.3图像封装：完成图像质量增强和去噪处理后，将处理后的图像封装成最终的文件格式。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S2具体如下：使用视觉大模型对处理后的图像/>进行分析，输出描述图像内容的文字化描述，计算公式为：
，
其中，表示输入的预处理后的图像，/>表示用于图像理解的AI模型。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S3具体如下：将视觉模型生成的文字描述作为输入，使用文本大模型/>进行语义分析，进行评估火灾风险/>，计算公式为:
,
其中，表示关于火灾风险的评估，对应火灾风险的分类,包括“高风险”、“中风险”、“低风险”、“无风险”。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S4具体如下：使用文本大模型结合火灾风险的评估/>和文字描述/>生成告警内容/>，使用音频大模型/>将告警内容转换为告警语音/>,计算公式为：
,
,
其中，示由文本大模型生成的告警内容，包括火灾风险等级和图像内容的综合描述，/>表示火灾风险的评估/>和文字描述/>进行字符串合并。
另一方面，本发明的实施例提供了一种基于多模态AI大模型的电网监控火灾预警系统，其包括监控视频采集与处理模块、多模态AI大型智能分析模块和火灾风险预警模块；
监控视频采集与处理模块通过可见光摄像头获取实时的监控视频，得到电网运行状态下的环境视频数据，并对这些视频数据进行初步处理，对获取的视频数据进行抽帧，并通过自适应直方图均衡化和非局部均值去噪进行图像质量增强；
智能分析模块采用视觉大模型进行智能分析，得到对图像内容的文字化描述，将其作为输入使用文本大模型进行语义分析，研判火灾风险；
火灾风险预警模块用于基于智能分析模块的分析结果，结合文本大模型和音频大模型，生成并发出语音预警信号。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：
本发明提供了一种基于多模态AI大模型的电网监控火灾预警系统及方法，通过自适应直方图均衡化和非局部均值去噪技术，实现对电网环境下可见光摄像机采集到的图像质量进行增强；利用多模态AI大模型技术，包括视觉大模型、文本大模型，对增强后的电网监控图像进行分析、研判，并实现智能告警。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的方法流程示意图。
图2为本发明的系统结构示意图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。
实施例1 如图1所示，一种基于多模态AI大模型的电网监控火灾预警方法，其包括以下步骤：
S1.采集电网运行状态下的环境视频，按照一定频率进行抽帧，结合图像增强技术提升弱光条件下的图像质量，并将其按照标准参数进行封装，保存为统一的格式；
S2.将处理好的图像使用视觉大模型进行智能分析，得到对图像内容的文字化描述；
S3. 将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；
S4.当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S1具体包括以下步骤：
S1.1视频采集与抽帧：视频通过可见光摄像机实时采集，按照预定的频率从视频中抽取关键帧，在满足实时性预警的前提下减少数据量和处理需求:
，
其中，表示抽取的帧集合，/>表示第/>个抽取的帧，/>示根据采集频率和视频持续时间确定的总帧数；
S1.2图像质量增强：
（1）自适应直方图均衡化：
a. 分割图像:通过将图像分割成多个小的、重叠的区块，来保证区块覆盖整个图像，以及每个像素都在某个区块的中心；
b. 计算局部直方图: 在每个区块中通过统计该区块内每个亮度级出现的频率，计算其直方图/>：
,
其中，表示区块中第i个像素的亮度值，/>表示计算集合中元素数量的函数;
c. 计算累积分布函数：对于每个小区块的直方图，计算其累积分布函数：
,
其中，表示亮度级/>及其以下的累积频次，/>表示亮度级为/>的直方图;
d. 应用均衡化：通过每个区块的累积分布函数对该区块内每个像素的亮度值进行调整，得到新的亮度值/>，计算公式为：
,
其中，L表图像中亮度级别的数量，表示该区块中最小的累积频率，表示该区块中的最大累积频率，/>表示；
e. 应用均衡化:通过在每个小区块上应用上述均衡化过程，并将所有区块的结果进行组合来重建整个图像，通过取平均值决定最终像素值；
（2）非局部均值去噪：
a. 定义邻域和搜索窗口：对于图像中的每个像素，定义一个围绕该像素的小区块，称为邻域/>，邻域/>通常是一个小的正方形窗口，包含中心像素/>及其周围的像素，然后对每个邻域/>,定义一个更大的围绕/>的搜索窗口/>，搜索窗口/>包含邻域/>及其周围的更多像素；
b. 计算权重：计算像素中邻域/>和搜索窗口/>中邻域/>的权重/>，该权重反映了/>和/>之间的相似度，权重计算过程如下：
，
其中，表示/>和/>之间的欧几里得距离，/>表示用于调整相似性敏感度的平滑参数，q表示/>中的像素；
c. 计算去噪后的像素值：搜索窗口内所有邻域的加权平均，通过权重/>估计每个像素/>的去噪值：
，
其中，表示原始图像中像素/>的值，/>表示去噪后像素/>的值；
d. 重建图像：将上述步骤应用于图像中的每个像素，通过计算每个像素的去噪值来重建整个去噪后的图像；
S1.3图像封装：完成图像质量增强和去噪处理后，将处理后的图像封装成最终的文件格式。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S2具体如下：使用视觉大模型对处理后的图像/>进行分析，输出描述图像内容的文字化描述/>，计算公式为：
，
其中，表示输入的预处理后的图像，/>示用于图像理解的AI模型。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S3具体如下：将视觉模型生成的文字描述作为输入，使用文本大模型/>进行语义分析，进行评估火灾风险/>，计算公式为:
，
其中，表示关于火灾风险的评估，对应火灾风险的分类,包括“高风险”、“中风险”、“低风险”、“无风险”。
上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S4具体如下：使用文本大模型结合火灾风险的评估/>和文字描述/>生成告警内容/>，使用音频大模型/>将告警内容转换为告警语音/>，计算公式为：
，
，
其中，表示由文本大模型生成的告警内容，包括火灾风险等级和图像内容的综合描述，/>表示火灾风险的评估/>和文字描述/>进行字符串合并，随后，文本内容通过音频大模型/>转换为语音形式，通过声音告警系统传播预警信息。
实施例2 如图2所示，本实施例中，提供了一种基于多模态AI大模型的电网监控火灾预警系统，其包括监控视频采集与处理模块、多模态AI大型智能分析模块和火灾风险预警模块；
监控视频采集与处理模块通过可见光摄像头获取实时的监控视频，得到电网运行状态下的环境视频数据，并对这些视频数据进行初步处理，对获取的视频数据进行抽帧，并通过自适应直方图均衡化和非局部均值去噪进行图像质量增强；
智能分析模块采用视觉大模型进行智能分析，得到对图像内容的文字化描述，将其作为输入使用文本大模型进行语义分析，研判火灾风险；
火灾风险预警模块用于基于智能分析模块的分析结果，结合文本大模型和音频大模型，生成并发出语音预警信号。
实施例3 如表1所示，本研究利用KMU Fire & Smoke火灾视频数据集，分别使用现有基于特征的对象识别单一模型的视频分析技术和本发明提出的基于多模态AI大模型的电网火灾监控技术进行火灾风险检测，结果显示，相较现有技术，本发明所提出的技术具有更高的准确率和适应性。
表1 本发明中的方法与其他方法的对比结果
性能指标 本发明（基于多模态AI大模型） 基于单一模型的视频分析技术
准确性（综合） 94% 83%
误报率 5% 13%
测试环境适应性（不同光照下的准确性） 93%（低光照）、96%（标准光照） 73%（低光照）、85%（标准光照）
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种基于多模态AI大模型的电网监控火灾预警方法，其特征是：包括以下步骤：
S1.采集电网运行状态下的环境视频，按照一定频率进行抽帧，结合图像增强技术提升弱光条件下的图像质量，并将其按照标准参数进行封装，保存为统一的格式；
S2.将处理好的图像使用视觉大模型进行智能分析，得到对图像内容的文字化描述；
S3.将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；
S4.当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。
2.根据权利要求1所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，
S1.具体包括以下步骤：
S1.1视频采集与抽帧：视频通过可见光摄像机实时采集，按照预定的频率从视频中抽取关键帧，在满足实时性预警的前提下减少数据量和处理需求:
，
其中，表示抽取的帧集合，/>表示第 /> 个抽取的帧，/>表示根据采集频率和视频持续时间确定的总帧数；
S1.2图像质量增强：
（1）自适应直方图均衡化：
a. 分割图像:通过将图像分割成多个小的、重叠的区块，来保证区块覆盖整个图像，以及每个像素都在某个区块的中心；
b. 计算局部直方图: 在每个区块中通过统计该区块内每个亮度级出现的频率，计算其直方图/>：
,
其中，表示区块中第i个像素的亮度值，/>表示计算集合中元素数量的函数，/>表示亮度级;
c. 计算累积分布函数：对于每个小区块的直方图，计算其累积分布函数：
,
其中，表示亮度级/>及其以下的累积频次，/>表示亮度级为/>的直方图;
d. 应用均衡化：通过每个区块的累积分布函数 对该区块内每个像素的亮度值进行调整，得到新的亮度值/>,计算公式为：
,
其中，L表图像中亮度级别的数量，表示该区块中最小的累积频率，表示该区块中的最大累积频率，/>表示取整操作；
e. 应用均衡化:通过在每个小区块上应用上述均衡化过程，并将所有区块的结果进行组合来重建整个图像，通过取平均值决定最终像素值；
（2）非局部均值去噪：
a. 定义邻域和搜索窗口：对于图像中的每个像素,定义一个围绕该像素的小区块，称为邻域/>,邻域/>通常是一个小的正方形窗口，包含中心像素/>及其周围的像素，然后对每个邻域/>,定义一个更大的围绕/>的搜索窗口/>，搜索窗口/>包含邻域/>及其周围的更多像素；
b. 计算权重：计算像素中邻域/>和搜索窗口/>中邻域/>的权重/>,权重计算过程如下：
,
其中，表示/>和/>之间的欧几里得距离，/>表示用于调整相似性敏感度的平滑参数，q表示邻域/>中的像素；
c. 计算去噪后的像素值：搜索窗口内所有邻域的加权平均，通过权重/>估计每个像素 /> 的去噪值：
,
其中，表示原始图像中像素/>的值，/>表示去噪后像素/>的值；
d. 重建图像：将上述步骤应用于图像中的每个像素，通过计算每个像素的去噪值来重建整个去噪后的图像；
S1.3图像封装：完成图像质量增强和去噪处理后，将处理后的图像封装成最终的文件格式。
3.根据权利要求2所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，S2具体如下：使用视觉大模型对处理后的图像/>进行分析，输出描述图像内容的文字化描述/>，计算公式为：
，
其中，表示输入的预处理后的图像，/>表示用于图像理解的AI模型。
4.根据权利要求3所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，S3具体如下：将视觉模型生成的文字描述作为输入，使用文本大模型/>进行语义分析，进行火灾风险评估/>，计算公式为:
,
其中，表示关于火灾风险的评估，对应火灾风险的分类,包括“高风险”、“中风险”、“低风险”、“无风险”。
5.根据权利要求4所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，S4具体如下：使用文本大模型结合火灾风险的评估/>和文字描述/>生成告警内容,使用音频大模型/>将告警内容转换为告警语音/>，计算公式为：，/>，
其中，表示由文本大模型生成的告警内容，包括火灾风险等级和图像内容的综合描述，/>表示火灾风险的评估/>和文字描述/>进行字符串合并。
6.一种基于多模态AI大模型的电网监控火灾预警系统，其特征是，其包括监控视频采集与处理模块、多模态AI大型智能分析模块和火灾风险预警模块；
监控视频采集与处理模块通过可见光摄像头获取实时的监控视频，得到电网运行状态下的环境视频数据，并对这些视频数据进行初步处理，对获取的视频数据进行抽帧，并通过自适应直方图均衡化和非局部均值去噪进行图像质量增强；
智能分析模块采用视觉大模型进行智能分析，得到对图像内容的文字化描述，将其作为输入使用文本大模型进行语义分析，研判火灾风险；
火灾风险预警模块用于基于智能分析模块的分析结果，结合文本大模型和音频大模型，生成并发出语音预警信号。
CN202410057541.1A 2024-01-16 2024-01-16 基于多模态ai大模型的电网监控火灾预警系统及方法 Active CN117576632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410057541.1A CN117576632B (zh) 2024-01-16 2024-01-16 基于多模态ai大模型的电网监控火灾预警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410057541.1A CN117576632B (zh) 2024-01-16 2024-01-16 基于多模态ai大模型的电网监控火灾预警系统及方法

Publications (2)

Publication Number Publication Date
CN117576632A true CN117576632A (zh) 2024-02-20
CN117576632B CN117576632B (zh) 2024-05-03

Family

ID=89892151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410057541.1A Active CN117576632B (zh) 2024-01-16 2024-01-16 基于多模态ai大模型的电网监控火灾预警系统及方法

Country Status (1)

Country Link
CN (1) CN117576632B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764864A (zh) * 2024-02-22 2024-03-26 济南科汛智能科技有限公司 基于图像去噪的核磁共振肿瘤视觉检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196678B1 (ko) * 2011-04-29 2012-11-06 부산대학교 산학협력단 실시간 화재 감시 장치 및 방법
US20120314066A1 (en) * 2011-06-10 2012-12-13 Lee Yeu Yong Fire monitoring system and method using composite camera
CN110121053A (zh) * 2018-02-07 2019-08-13 中国石油化工股份有限公司 一种钻井现场风险分级预警的视频监控方法
CN114399816A (zh) * 2021-12-28 2022-04-26 北方工业大学 社区火灾风险感知方法及装置
CN116416281A (zh) * 2023-04-28 2023-07-11 云观智慧科技(无锡)有限公司 一种粮库ai视频监管分析方法及系统
CN116757496A (zh) * 2023-06-09 2023-09-15 紫光汇智信息技术有限公司 基于监控场景协调实时监控城市的火灾预警方法
CN117010532A (zh) * 2023-10-07 2023-11-07 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法
CN117095506A (zh) * 2023-10-18 2023-11-21 潍坊市平安消防工程有限公司 一种基于报警区域模型的消防安全监控系统及其方法
CN117253334A (zh) * 2023-08-25 2023-12-19 豪尔赛科技集团股份有限公司 电动汽车充电站烟雾火灾预警方法、装置和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196678B1 (ko) * 2011-04-29 2012-11-06 부산대학교 산학협력단 실시간 화재 감시 장치 및 방법
US20120314066A1 (en) * 2011-06-10 2012-12-13 Lee Yeu Yong Fire monitoring system and method using composite camera
CN110121053A (zh) * 2018-02-07 2019-08-13 中国石油化工股份有限公司 一种钻井现场风险分级预警的视频监控方法
CN114399816A (zh) * 2021-12-28 2022-04-26 北方工业大学 社区火灾风险感知方法及装置
CN116416281A (zh) * 2023-04-28 2023-07-11 云观智慧科技(无锡)有限公司 一种粮库ai视频监管分析方法及系统
CN116757496A (zh) * 2023-06-09 2023-09-15 紫光汇智信息技术有限公司 基于监控场景协调实时监控城市的火灾预警方法
CN117253334A (zh) * 2023-08-25 2023-12-19 豪尔赛科技集团股份有限公司 电动汽车充电站烟雾火灾预警方法、装置和设备
CN117010532A (zh) * 2023-10-07 2023-11-07 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法
CN117095506A (zh) * 2023-10-18 2023-11-21 潍坊市平安消防工程有限公司 一种基于报警区域模型的消防安全监控系统及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张乃禄;胡俊;马陇伟;容涛;李永进;张毅;: "基于视频图像的油田联合站火灾预警系统", 西安石油大学学报(自然科学版), no. 04, 25 July 2013 (2013-07-25) *
马文生;王阿川;: "基于卫星影像的图像挖掘在林火行为分析中的应用", 林业劳动安全, no. 01, 29 February 2008 (2008-02-29) *
黎小琴;: "图像识别火灾检测报警系统的设计与实现", 计算机安全, no. 11, 15 November 2010 (2010-11-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764864A (zh) * 2024-02-22 2024-03-26 济南科汛智能科技有限公司 基于图像去噪的核磁共振肿瘤视觉检测方法
CN117764864B (zh) * 2024-02-22 2024-04-26 济南科汛智能科技有限公司 基于图像去噪的核磁共振肿瘤视觉检测方法

Also Published As

Publication number Publication date
CN117576632B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN112784835B (zh) 圆形印章的真实性识别方法、装置、电子设备及存储介质
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111199238A (zh) 一种基于双流卷积神经网络的行为识别方法及设备
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN110728212B (zh) 一种基于计算机视觉的道路井盖监控装置及监控方法
WO2023035558A1 (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN116977909B (zh) 一种基于多模态数据的深度学习火灾强度识别方法及系统
CN113052234A (zh) 一种基于图像特征和深度学习技术的玉石分类方法
CN111259926A (zh) 肉品新鲜度检测方法、装置、计算设备和存储介质
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN107403192B (zh) 一种基于多分类器的快速目标检测方法及系统
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN109977891A (zh) 一种基于神经网络的目标检测与识别方法
CN114445751A (zh) 视频关键帧图像轮廓特征的提取方法和装置
CN115294556A (zh) 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法
CN111669575B (zh) 图像处理效果的测试方法、系统、电子设备、介质及终端
CN114898140A (zh) 一种基于paa算法的行为检测方法、装置及可读介质
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN113781388A (zh) 基于图像增强的输电线路通道隐患图像识别方法及装置
CN105719246A (zh) 一种检测开敞水体的光谱成像可视化前处理方法
CN114764867A (zh) 基于图像主特征提取的风机故障诊断系统、方法及应用
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant