CN116310914A - 基于人工智能的无人机监控方法及系统 - Google Patents
基于人工智能的无人机监控方法及系统 Download PDFInfo
- Publication number
- CN116310914A CN116310914A CN202310534954.XA CN202310534954A CN116310914A CN 116310914 A CN116310914 A CN 116310914A CN 202310534954 A CN202310534954 A CN 202310534954A CN 116310914 A CN116310914 A CN 116310914A
- Authority
- CN
- China
- Prior art keywords
- video
- enhanced
- characterization
- style
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的基于人工智能的无人机监控方法及系统,涉及人工智能技术领域。在本发明中,提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频;基于待处理监控视频进行目标估计操作,以形成待处理监控视频对应的目标预测视频,目标预测视频作为目标区域在待处理监控视频对应的形成时间之后的预测结果;基于目标预测视频,对目标区域进行区域异常分析操作,以形成目标区域对应的目标区域异常分析结果;基于目标区域异常分析结果,对目标区域进行异常管控操作。基于上述内容,可以在一定程度上提高异常管控的可靠度。
Description
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种基于人工智能的无人机监控方法及系统。
背景技术
人工智能(Artificial Intelligence,简称AI)的应用领域较多,例如,可以用于对图像、视频、文本进行分析,以确定出相应的需求信息。其中,在监控领域中,无人机的出现,使得监控的覆盖面更为广泛,因此,能够获取到较为全面的监控视频,但是,在现有技术中,一般是在获取到监控视频之后,基于人工智能技术,对监控视频进行异常分析,以确定是否存在异常,从而进行相应的异常管控,使得其可靠度不高。
发明内容
有鉴于此,本发明的目的在于提供一种基于人工智能的无人机监控方法及系统,以在一定程度上提高异常管控的可靠度。
为实现上述目的,本发明实施例采用如下技术方案:
一种基于人工智能的无人机监控方法,包括:
提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频,所述待处理监控视频包括至少一个待处理监控视频片段,每一个所述待处理监控视频片段包括至少一帧待处理监控视频帧;
基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频,所述目标预测视频作为所述目标区域在所述待处理监控视频对应的形成时间之后的预测结果;
基于所述目标预测视频,对所述目标区域进行区域异常分析操作,以形成所述目标区域对应的目标区域异常分析结果,所述目标区域异常分析结果用于反映所述目标区域具有的异常程度;
基于所述目标区域异常分析结果,对所述目标区域进行异常管控操作。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,包括:
基于关联视频集合,将所述待处理监控视频中的每一个待处理监控视频片段进行视频内容强化操作,以形成对应的强化监控视频片段,所述关联视频集合包括预先确定的至少一帧视频帧的至少一个相关视频帧;
将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量;
将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据;
将所述至少一个强化视频表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据;
基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述基于关联视频集合,将所述待处理监控视频中的每一个待处理监控视频片段进行视频内容强化操作,以形成对应的强化监控视频片段的步骤,包括:
确定出所述待处理监控视频中每一个所述待处理监控视频片段的每一个有效视频帧;
在配置的关联视频集合中,筛选出与每一个所述有效视频帧相关联的视频帧,以形成对应的关联视频筛选集合;
对所述关联视频筛选集合中的每一个关联视频筛选子集合和每一个所述有效视频帧进行相关性确定操作,以输出对应的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数,所述总相关性表征参数包括至少一个所述局部相关性表征参数;
依据所述总相关性表征参数,在所述关联视频筛选集合中,确定出目标比例的关联视频筛选子集合,以形成相关视频帧组合;
依据所述相关视频帧组合,将每一个所述有效视频帧进行视频帧强化操作,以输出对应的强化视频数据,以形成每一个所述待处理监控视频片段对应的所述强化监控视频片段,所述强化监控视频片段包括至少一个强化视频数据;
其中,所述将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量的步骤,包括:
将所述强化监控视频片段中的每一个强化视频数据进行关键信息挖掘操作,以输出对应的强化视频数据表征向量,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述对所述关联视频筛选集合中的每一个关联视频筛选子集合和每一个所述有效视频帧进行相关性确定操作,以输出对应的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数的步骤,包括:
确定出所述关联视频筛选集合的每一个所述关联视频筛选子集合的视频内容丰富性表征参数,以形成对应的总的视频内容丰富性表征参数;
确定出每一个所述关联视频筛选子集合和每一个所述有效视频帧之间的视频内容相似性表征参数,以形成对应的总的视频内容相似性表征参数;
基于所述总的视频内容丰富性表征参数和所述总的视频内容相似性表征参数,确定出每一个所述关联视频筛选子集合和每一个所述有效视频帧之间的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述将所述强化监控视频片段中的每一个强化视频数据进行关键信息挖掘操作,以输出对应的强化视频数据表征向量,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量的步骤,包括:
将所述强化监控视频片段中每一个所述强化视频数据的每一个所述有效视频帧进行特征空间映射操作,以形成每一个所述有效视频帧对应的有效视频帧映射向量;
将每一个所述强化视频数据的所述相关视频帧组合进行特征空间映射操作,以形成对应的相关视频帧组合映射向量;
基于所述有效视频帧映射向量和所述相关视频帧组合映射向量,分析出所述相关视频帧组合对应的重要性表征参数,以形成对应的相关视频重要性表征参数;
基于所述相关视频重要性表征参数,对所述有效视频帧映射向量和所述相关视频帧组合映射向量进行向量聚合操作,以形成对应的强化视频数据表征向量,实现对每一个所述强化视频数据的关键信息挖掘操作,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述将所述至少一个强化视频表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据的步骤,包括:
挖掘出所述至少一个强化视频表征向量的风格表征向量,以形成至少一个强化视频风格表征向量;
将所述至少一个强化视频风格表征向量和配置的参考视频风格表征向量进行级联组合操作,以形成对应的级联视频风格表征向量;
将所述级联视频风格表征向量进行重复的反馈分析操作,以输出对应的目标视频风格表征向量;
基于所述目标视频风格表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频的步骤,包括:
基于所述至少一个强化视频表征向量对应的风格表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据;
将所述强化视频内容描述数据和所述强化视频风格描述数据进行目前的聚合估计操作,以形成对应的目前第一预测视频帧;
基于所述强化视频内容描述数据,将所述目前第一预测视频帧进行风格强化操作,以形成对应的目前第二预测视频帧;
对所述优化视频风格描述数据和所述目前第二预测视频帧进行融合操作,以形成对应的目前第三预测视频帧;
进行重复聚合估计操作中的后一个聚合估计操作,并在将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作结束的情况下,形成包括至少一个目前第三预测视频帧的目标预测视频。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述基于所述至少一个强化视频表征向量对应的风格表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据的步骤,包括:
在所述至少一个强化视频表征向量中,确定出每一个有效视频帧对应的风格表征向量,以形成对应的视频帧风格表征向量;
基于所述视频帧风格表征向量进行聚焦特征分析操作,以形成所述视频帧风格表征向量对所述强化视频风格描述数据具有的影响力表征向量,以形成对应的视频帧影响力表征向量,使得形成包括至少一个视频帧影响力表征向量的视频影响力表征向量;
基于所述视频影响力表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据,所述优化视频风格描述数据和所述优化视频风格描述数据的表现形式为向量。
在一些优选的实施例中,在上述基于人工智能的无人机监控方法中,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,还包括:
通过视频预测网络,将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量;以及,通过所述视频预测网络,将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据;以及,通过所述视频预测网络,将所述至少一个强化视频表征向量进行风格分析操作,以所述至少一个强化视频表征向量对应的强化视频风格描述数据;以及,通过所述视频预测网络,基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频;
其中,在所述通过视频预测网络,将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量的步骤之前,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,还包括:
提取到典型数据集合,所述典型数据集合包括典型监控视频、实际视频风格描述数据和实际目标视频;
基于所述关联视频集合,将所述典型监控视频的每一个典型监控视频片段进行视频内容强化操作,以形成对应的典型强化监控视频片段;
通过待优化视频预测网络,将所述典型强化监控视频片段进行关键信息挖掘操作,以输出对应的典型强化视频表征向量,以形成所述典型监控视频对应的至少一个典型强化视频表征向量;
将所述至少一个典型强化视频表征向量进行内容分析操作,以输出对应的典型强化视频内容描述数据;
将所述至少一个典型强化视频表征向量进行风格分析操作,以输出对应的典型强化视频风格描述数据;
基于所述至少一个典型强化视频表征向量,将所述典型强化视频内容描述数据和所述典型强化视频风格描述数据进行聚合估计操作,以输出所述典型监控视频对应的典型目标预测视频;
基于所述典型强化视频风格描述数据与所述实际视频风格描述数据之间的区别信息,并结合所述典型目标预测视频与所述实际目标视频之间的区别信息,分析出对应的目标网络优化代价值;
基于所述目标网络优化代价值,将所述待优化视频预测网络进行网络优化操作,以形成对应的视频预测网络。
本发明实施例还提供一种基于人工智能的无人机监控系统,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的基于人工智能的无人机监控方法。
本发明实施例提供的基于人工智能的无人机监控方法及系统,可以先提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频;基于待处理监控视频进行目标估计操作,以形成待处理监控视频对应的目标预测视频,目标预测视频作为目标区域在待处理监控视频对应的形成时间之后的预测结果;基于目标预测视频,对目标区域进行区域异常分析操作,以形成目标区域对应的目标区域异常分析结果;基于目标区域异常分析结果,对目标区域进行异常管控操作。基于前述的内容,由于在进行区域异常分析之前,会基于当前的待处理监控视频进行目标估计操作,即估计出之后可能的视频,即得到目标预测视频,然后,对目标预测视频进行区域异常分析操作,也就是说,可以使得区域异常分析操作可以提前进行,从而保障异常管控操作的及时性和前瞻性,从而可以在一定程度上提高异常管控的可靠度,进而改善现有技术中存在的可靠度不高的问题。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的基于人工智能的无人机监控系统的结构框图。
图2为本发明实施例提供的基于人工智能的无人机监控方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于人工智能的无人机监控装置包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于人工智能的无人机监控系统。其中,所述基于人工智能的无人机监控系统可以包括存储器和处理器。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于人工智能的无人机监控方法。
应当理解的是,在一些具体的实施方式中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
应当理解的是,在一些具体的实施方式中,所述处理器可以是一种通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是,在一些具体的实施方式中,所述基于人工智能的无人机监控系统可以是一种具备数据处理能力的服务器。
结合图2,本发明实施例还提供一种基于人工智能的无人机监控方法,可应用于上述基于人工智能的无人机监控系统。其中,所述基于人工智能的无人机监控方法有关的流程所定义的方法步骤,可以由所述基于人工智能的无人机监控系统实现。下面将对图2所示的具体流程,进行详细阐述。
步骤S110,提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频。
在本发明实施例中,所述基于人工智能的无人机监控系统可以提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频。所述待处理监控视频包括至少一个待处理监控视频片段,每一个所述待处理监控视频片段包括至少一帧待处理监控视频帧,目标无人机在对所述目标区域进行监控以形成视频之后,可以发送给所述基于人工智能的无人机监控系统,所述待处理监控视频片段可以基于视频内容进行分割形成,所述待处理监控视频片段也可以基于时间长度进行分割形成。
步骤S120,基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频。
在本发明实施例中,所述基于人工智能的无人机监控系统可以基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频。所述目标预测视频作为所述目标区域在所述待处理监控视频对应的形成时间之后的预测结果,即之后一段时间可能的视频。
步骤S130,基于所述目标预测视频,对所述目标区域进行区域异常分析操作,以形成所述目标区域对应的目标区域异常分析结果。
在本发明实施例中,所述基于人工智能的无人机监控系统可以基于所述目标预测视频,对所述目标区域进行区域异常分析操作,以形成所述目标区域对应的目标区域异常分析结果,例如,可以基于进行网络优化形成的神经网络,对所述目标预测视频进行关键信息挖掘,然后,可以对挖掘结果进行分析,以确定出目标区域异常分析结果。所述目标区域异常分析结果用于反映所述目标区域具有的异常程度,如物体的异常或行为的异常。
步骤S140,基于所述目标区域异常分析结果,对所述目标区域进行异常管控操作。
在本发明实施例中,所述基于人工智能的无人机监控系统可以基于所述目标区域异常分析结果,对所述目标区域进行异常管控操作,例如,在所述目标区域存在异常或异常程度大于预设异常程度的情况下,对所述目标区域的异常对象进行警示或通知相应的区域管理人员。
基于前述的内容(即上述步骤S110-步骤S140对应的内容),由于在进行区域异常分析之前,会基于当前的待处理监控视频进行目标估计操作,即估计出之后可能的视频,即得到目标预测视频,然后,对目标预测视频进行区域异常分析操作,也就是说,可以使得区域异常分析操作可以提前进行,从而保障异常管控操作的及时性和前瞻性,从而可以在一定程度上提高异常管控的可靠度,进而改善现有技术中存在的可靠度不高的问题。
应当理解的是,在一些具体的实施方式中,上述描述的步骤S120,可以进一步包括以下的各项内容:
基于关联视频集合,将所述待处理监控视频中的每一个待处理监控视频片段进行视频内容强化操作,以形成对应的强化监控视频片段,所述关联视频集合包括预先确定的至少一帧视频帧的至少一个相关视频帧,例如,对于视频帧1,其具有相关视频帧1,对于视频帧2,其具有相关视频帧2;
将所述强化监控视频片段进行关键信息挖掘操作,即进行特征挖掘,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量,一个强化监控视频片段对应有一个强化视频表征向量,所述待处理监控视频包括的至少一个强化监控视频片段就对应有至少一个强化视频表征向量,如此,可以将进行聚合估计操作的依据进行丰富,以增加估计的约束,提高精度;
将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据,例如,将所述至少一个强化视频表征向量进行聚合,以形成一个强化视频内容描述数据;
将所述至少一个强化视频表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据,由于不同的风格会不影响内容的具体表现,因此,通过进行风格分析操作以得到强化视频风格描述数据,可以在后续中加以利用,进一步提高估计的精度;
基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频。
应当理解的是,在一些具体的实施方式中,所述基于关联视频集合,将所述待处理监控视频中的每一个待处理监控视频片段进行视频内容强化操作,以形成对应的强化监控视频片段的步骤,可以包括以下的各项内容:
确定出所述待处理监控视频中每一个所述待处理监控视频片段的每一个有效视频帧,有效视频帧的具体定义不受限制,例如,可以将多帧相同的视频帧中的一帧或部分帧作为有效视频帧,或者,可以将相似度较多的连续多帧视频帧中的一帧或部分帧作为有效视频帧,或者,还可以将具有特定视频内容或特定视频对象的视频帧作为有效视频帧;
在配置的关联视频集合中,筛选出与每一个所述有效视频帧相关联的视频帧,以形成对应的关联视频筛选集合,例如,通过所述关联视频集合确定出有效视频帧1与视频帧2有出现在同一个视频(还可以要求视频帧间隔小于预设长度等)中,可以将视频帧2确定为有效视频帧1相关联的视频帧,通过所述关联视频集合确定出有效视频帧3与视频帧4有出现在同一个视频中,可以将视频帧4确定为有效视频帧3相关联的视频帧;
对所述关联视频筛选集合中的每一个关联视频筛选子集合和每一个所述有效视频帧进行相关性确定操作,以输出对应的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数,所述总相关性表征参数包括至少一个所述局部相关性表征参数;
依据所述总相关性表征参数,在所述关联视频筛选集合中,确定出目标比例的关联视频筛选子集合,以形成相关视频帧组合,例如,由于局部相关性表征参数反映了每一个关联视频筛选子集合与有效视频帧的相关性程度,相关性程度低的关联视频筛选子集合属于干扰数据,而相关性程度高的关联视频筛选子集合能够辅助挖掘待处理监控视频中的潜在信息,因此,可以依据总相关性表征参数,选取目标比例个部相关性表征参数最大的关联视频筛选子集合,以组合成对应的相关视频帧组合;
依据所述相关视频帧组合,将每一个所述有效视频帧进行视频帧强化操作,以输出对应的强化视频数据,以形成每一个所述待处理监控视频片段对应的所述强化监控视频片段,所述强化监控视频片段包括至少一个强化视频数据,例如,在形成每一个有效视频帧对应的相关视频帧组合之后,可以将每一个有效视频帧与相关视频帧组合进行合并,即形成每一个有效视频帧对应的强化视频数据,从而形成每一个待处理监控视频片段对应的且包括至少一个强化视频数据的强化监控视频片段。
应当理解的是,在一些具体的实施方式中,所述对所述关联视频筛选集合中的每一个关联视频筛选子集合和每一个所述有效视频帧进行相关性确定操作,以输出对应的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数的步骤,可以进一步包括以下的各项内容:
确定出所述关联视频筛选集合的每一个所述关联视频筛选子集合的视频内容丰富性表征参数,以形成对应的总的视频内容丰富性表征参数,所述视频内容丰富性表征参数可以基于包括的每两帧视频帧之间的差异度进行累积计算以得到,如累积的差异度越大,视频内容丰富性表征参数越大,累积的差异度越小,视频内容丰富性表征参数越小,或者,还可以基于相应的神经网络进行视频内容丰富性的分析估计;
确定出每一个所述关联视频筛选子集合和每一个所述有效视频帧之间的视频内容相似性表征参数,以形成对应的总的视频内容相似性表征参数;
基于所述总的视频内容丰富性表征参数和所述总的视频内容相似性表征参数,确定出每一个所述关联视频筛选子集合和每一个所述有效视频帧之间的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数,例如,可以将所述总的视频内容丰富性表征参数和所述总的视频内容相似性表征参数进行求和或相乘,以形成总相关性表征参数,对于每一个所述关联视频筛选子集合和每一个所述有效视频帧,可以将该关联视频筛选子集合的视频内容丰富性表征参数与该关联视频筛选子集合和该有效视频帧之间的视频内容相似性表征参数进行求和或相乘,以形成该关联视频筛选子集合和该有效视频帧之间的局部相关性表征参数。
应当理解的是,在一些具体的实施方式中,所述将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量的步骤,可以进一步包括以下的各项内容:
将所述强化监控视频片段中的每一个强化视频数据进行关键信息挖掘操作,即特征挖掘操作,以输出对应的强化视频数据表征向量,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量。
应当理解的是,在一些具体的实施方式中,所述将所述强化监控视频片段中的每一个强化视频数据进行关键信息挖掘操作,以输出对应的强化视频数据表征向量,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量的步骤,可以进一步包括以下的各项内容:
将所述强化监控视频片段中每一个所述强化视频数据的每一个所述有效视频帧进行特征空间映射操作,以形成每一个所述有效视频帧对应的有效视频帧映射向量,即映射到特征空间中,用向量的形式进行表示;
将每一个所述强化视频数据的所述相关视频帧组合进行特征空间映射操作,以形成对应的相关视频帧组合映射向量,也就是说,每一个所述强化视频数据可以包括对应的有效视频帧和相关视频帧组合;
基于所述有效视频帧映射向量和所述相关视频帧组合映射向量,分析出所述相关视频帧组合对应的重要性表征参数,以形成对应的相关视频重要性表征参数,例如,可以基于所述有效视频帧映射向量,确定出所述相关视频帧组合映射向量中与所述相关视频帧组合中的每一个视频帧对应的局部映射向量对应的相关视频重要性表征参数;
基于所述相关视频重要性表征参数,对所述有效视频帧映射向量和所述相关视频帧组合映射向量进行向量聚合操作,以形成对应的强化视频数据表征向量,实现对每一个所述强化视频数据的关键信息挖掘操作,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量,例如,在得到所述相关视频帧组合映射向量中与所述相关视频帧组合中的每一个视频帧对应的局部映射向量对应的相关视频重要性表征参数之后,可以基于该相关视频重要性表征参数对与所述相关视频帧组合中的每一个视频帧对应的局部映射向量进行加权叠加,以得到对应的加权叠加向量,然后,可以对该加权叠加向量和所述有效视频帧映射向量进行叠加运算,以得到强化视频数据表征向量,其中,在进行加权叠加的过程中,还可以基于预设参数对所述相关视频重要性表征参数进行加权调整,即将两个参数的相乘结果作为对应的加权系数,另外,该预设参数可以作为相应神经网络的网络参数在优化过程中进行优化调整,并在优化结束时固定。
其中,应当理解的是,在一些具体的实施方式中,所述基于所述有效视频帧映射向量和所述相关视频帧组合映射向量,分析出所述相关视频帧组合对应的重要性表征参数,以形成对应的相关视频重要性表征参数的步骤,进一步包括以下的各项内容:
对于所述相关视频帧组合映射向量中与所述相关视频帧组合中的每一个视频帧对应的局部映射向量,可以对该局部映射向量和所述有效视频帧映射向量进行加权叠加,以输出对应的加权叠加向量,其中,进行加权叠加的加权系数可以作为相应神经网络的网络参数以通过网络优化形成;
对所述加权叠加向量进行向量参数的映射处理,以输出对应的映射加权叠加向量,然后,可以将预先确定的参考向量的转置结果和该映射加权叠加向量进行相乘,以输出对应的初始视频重要性表征参数,所述参考向量可以作为相应神经网络的网络参数以进行网络优化形成;
在得到每一个视频帧对应的局部映射向量对应的初始视频重要性表征参数之后,可以基于每一个视频帧对应的局部映射向量对应的初始视频重要性表征参数的和值,分别对每一个视频帧对应的局部映射向量对应的初始视频重要性表征参数进行归一化处理,以形成每一个视频帧对应的局部映射向量对应的相关视频重要性表征参数。
其中,应当理解的是,在一些具体的实施方式中,所述将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据的步骤,进一步包括以下的各项内容:
将所述至少一个强化视频表征向量进行级联组合操作,以形成级联的强化视频表征向量,以及,将所述级联的强化视频表征向量进行拆分,以形成多个局部的强化视频表征向量,每一个局部的强化视频帧表征向量对应所述待处理监控视频包括的至少一个强化监控视频片段的一帧视频帧;
对于每一个所述局部的强化视频表征向量,对该局部的强化视频表征向量进行自身的聚焦特征分析操作,以形成该局部的强化视频表征向量对应的聚焦的强化视频表征向量,例如,可以通过三个映射矩阵,对所述局部的强化视频表征向量进行映射操作(如进行相乘),然后,可以对三个映射操作的结果进行融合,可以得到聚焦的强化视频表征向量;
分别将每一个所述局部的强化视频表征向量和该局部的强化视频表征向量对应的聚焦的强化视频表征向量进行叠加操作,并对叠加操作的结果进行参数映射处理,如将向量参数映射到区间(0,1),以形成每一个所述局部的强化视频表征向量对应的映射视频表征向量;
对于每一个所述映射视频表征向量,可以通过多层感知器(Multi-LayerPerceptron,MLP)对该映射视频表征向量进行处理,并将处理的结果和该映射视频表征向量进行叠加操作,然后,可以对叠加操作的结果进行参数映射处理,以形成对应的优化视频表征向量;
将每一个所述优化视频表征向量进行级联组合操作,以形成所述至少一个强化视频表征向量对应的强化视频内容描述数据。
应当理解的是,在一些具体的实施方式中,所述将所述至少一个强化视频表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据的步骤,进一步包括以下的各项内容:
挖掘出所述至少一个强化视频表征向量的风格表征向量,以形成至少一个强化视频风格表征向量,例如,可以预先学习到强化视频表征向量和强化视频风格表征向量之间的映射关系,即通过相应的神经网络对典型数据进行学习以得到,然后,可以基于该映射关系,确定出每一个强化视频表征向量对应的风格表征向量,以形成至少一个强化视频风格表征向量;
将所述至少一个强化视频风格表征向量和配置的参考视频风格表征向量进行级联组合操作,以形成对应的级联视频风格表征向量,如{强化视频风格表征向量1,强化视频风格表征向量2,...,强化视频风格表征向量n,参考视频风格表征向量},另外,所述参考视频风格表征向量可以是一个随机向量,也可以是零向量,可以根据实际需求进行配置;
将所述级联视频风格表征向量进行重复的反馈分析操作,以输出对应的目标视频风格表征向量,例如,可以将所述级联视频风格表征向量进行线性或非线性的映射操作,以形成对应的映射操作结果,然后,可以将该所述级联视频风格表征向量作为新的参考视频风格表征向量,以将所述至少一个强化视频风格表征向量进行级联组合操作,然后,进行线性或非线性的映射操作,以形成对应的映射操作结果,如此循环进行多次,将最后一次形成的映射操作结果作为目标视频风格表征向量;
基于所述目标视频风格表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据,例如,可以将所述目标视频风格表征向量乘以第一参数,然后,将乘积加上第二参数,以得到强化视频风格描述数据,该第一参数和第二参数都可以作为相应神经网络的网络参数以在网络优化的过程中形成。
应当理解的是,在一些具体的实施方式中,所述基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频的步骤,可以进一步包括以下的各项内容:
基于所述至少一个强化视频表征向量对应的风格表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据;
将所述强化视频内容描述数据和所述强化视频风格描述数据进行目前的聚合估计操作,以形成对应的目前第一预测视频帧,例如,在第一次进行聚合估计操作的时候,可以将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,在第一次以外的每一次进行聚合估计操作的时候,可以将前一次的目前第一预测视频帧、所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,另外,聚合估计操作可以是指,将所述强化视频内容描述数据和所述强化视频风格描述数据进行级联组合,然后,对得到的结果进行全连接处理,并对全连接处理的结果进行激励映射输出,以得到对应的目前第一预测视频帧,其中,在将前一次的目前第一预测视频帧、所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作的过程中,可以将前一次的目前第一预测视频帧对应的全连接处理的结果、所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作;
基于所述强化视频内容描述数据,将所述目前第一预测视频帧进行风格强化操作,以形成对应的目前第二预测视频帧;
对所述优化视频风格描述数据和所述目前第二预测视频帧进行融合操作,以形成对应的目前第三预测视频帧;
进行重复聚合估计操作中的后一个聚合估计操作,并在将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作结束的情况下,形成包括至少一个目前第三预测视频帧的目标预测视频。
应当理解的是,在一些具体的实施方式中,所述基于所述至少一个强化视频表征向量对应的风格表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据的步骤,可以进一步包括以下的各项内容:
在所述至少一个强化视频表征向量中,确定出每一个有效视频帧对应的风格表征向量,以形成对应的视频帧风格表征向量;
基于所述视频帧风格表征向量进行聚焦特征分析操作,以形成所述视频帧风格表征向量对所述强化视频风格描述数据具有的影响力表征向量,以形成对应的视频帧影响力表征向量,使得形成包括至少一个视频帧影响力表征向量的视频影响力表征向量,例如,可以基于第一映射矩阵和第二映射矩阵分别对所述视频帧风格表征向量进行映射操作,以形成第一映射向量和第二映射向量,并基于第三映射矩阵对所述强化视频风格描述数据进行映射操作,以形成第三映射向量,然后,可以融合第一映射向量、第二映射向量和第三映射向量,得到对应的影响力表征向量;
基于所述视频影响力表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据,所述优化视频风格描述数据和所述优化视频风格描述数据的表现形式为向量,例如,可以将所述视频影响力表征向量和所述强化视频风格描述数据进行叠加,以得到所述优化视频风格描述数据。
其中,应当理解的是,在一些具体的实施方式中,所述基于所述强化视频内容描述数据,将所述目前第一预测视频帧进行风格强化操作,以形成对应的目前第二预测视频帧的步骤,可以进一步包括以下的各项内容:
在所述强化视频内容描述数据中,确定出每一个有效视频帧对应的局部视频内容描述数据,以形成对应的视频帧内容描述数据;
确定出所述视频帧内容描述数据的风格描述数据,以输出所述视频帧内容描述数据对应的风格强化描述数据;
基于所述风格强化描述数据,分析出所述视频帧内容描述数据对所述目前第一预测视频帧具有的影响力表征向量(如前相关描述),以形成对应的视频帧内容影响力表征向量,以形成包括至少一个视频帧内容影响力表征向量的视频内容影响力表征向量;
基于所述视频内容影响力表征向量,将所述目前第一预测视频帧进行风格强化操作,以形成对应的目前第二预测视频帧,例如,可以将所述目前第一预测视频帧对应的向量(如进行关键信息挖掘的结果)和所述视频内容影响力表征向量进行叠加,然后,可以对叠加的结果进行全连接处理和激励映射输出,以得到目前第二预测视频帧。
其中,应当理解的是,在一些具体的实施方式中,所述对所述优化视频风格描述数据和所述目前第二预测视频帧进行融合操作,以形成对应的目前第三预测视频帧的步骤,可以进一步包括以下的各项内容:
将所述优化视频风格描述数据和所述目前第二预测视频帧对应的向量(如进行关键信息挖掘的结果或如前述的全连接处理的结果,即进行激励映射输出的输入数据,其中,激励映射输出的输出数据为目前第二预测视频帧)进行级联组合操作,然后,可以级联组合操作的结果进行参数的区间映射操作,然后,可以通过多层感知器(Multi-LayerPerceptron,MLP)对区间映射操作的结果进行处理,以及,将处理的结果和区间映射操作的结果进行叠加,以及,将叠加的结果进行参数的区间映射操作,以及,对该区间映射操作的结果进行加权,以得到对应的加权输出数据,其中,加权的参数可以作为相应神经网络的网络参数以在优化的过程中形成,最后,可以将该加权输出数据进行激励映射输出,可以通过softmax等函数实现,如此,可以得到目前第三预测视频帧。
应当理解的是,在一些具体的实施方式中,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,还可以进一步包括以下的各项内容:
通过视频预测网络,将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量;以及,通过所述视频预测网络,将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据;以及,通过所述视频预测网络,将所述至少一个强化视频表征向量进行风格分析操作,以所述至少一个强化视频表征向量对应的强化视频风格描述数据;以及,通过所述视频预测网络,基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频。
应当理解的是,在一些具体的实施方式中,在所述通过视频预测网络,将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量的步骤之前,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,还可以进一步包括以下的各项内容:
提取到典型数据集合,所述典型数据集合包括典型监控视频、实际视频风格描述数据和实际目标视频;
基于所述关联视频集合,将所述典型监控视频的每一个典型监控视频片段进行视频内容强化操作,以形成对应的典型强化监控视频片段;
通过待优化视频预测网络,将所述典型强化监控视频片段进行关键信息挖掘操作,以输出对应的典型强化视频表征向量,以形成所述典型监控视频对应的至少一个典型强化视频表征向量;
将所述至少一个典型强化视频表征向量进行内容分析操作,以输出对应的典型强化视频内容描述数据;
将所述至少一个典型强化视频表征向量进行风格分析操作,以输出对应的典型强化视频风格描述数据;
基于所述至少一个典型强化视频表征向量,将所述典型强化视频内容描述数据和所述典型强化视频风格描述数据进行聚合估计操作,以输出所述典型监控视频对应的典型目标预测视频;
基于所述典型强化视频风格描述数据与所述实际视频风格描述数据之间的区别信息,并结合所述典型目标预测视频与所述实际目标视频之间的区别信息,分析出对应的目标网络优化代价值,即确定出误差参数,其中,具体的误差计算方式根据实际需求进行配置即可;
基于所述目标网络优化代价值,将所述待优化视频预测网络进行网络优化操作,以形成对应的视频预测网络,例如,可以沿着降低所述目标网络优化代价值的方向,进行网络参数的优化。
结合图3,本发明实施例还提供一种基于人工智能的无人机监控装置,可应用于上述基于人工智能的无人机监控系统。其中,所述基于人工智能的无人机监控装置可以包括以下的软件功能模块(程序模块):
监控视频提取模块,用于提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频,所述待处理监控视频包括至少一个待处理监控视频片段,每一个待处理监控视频片段包括至少一帧待处理监控视频帧;
目标视频估计模块,用于基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频,所述目标预测视频作为所述目标区域在所述待处理监控视频对应的形成时间之后的预测结果;
区域异常分析模块,用于基于所述目标预测视频,对所述目标区域进行区域异常分析操作,以形成所述目标区域对应的目标区域异常分析结果,所述目标区域异常分析结果用于反映所述目标区域具有的异常程度;
区域异常管控模块,用于基于所述目标区域异常分析结果,对所述目标区域进行异常管控操作。
综上所述,本发明提供的基于人工智能的无人机监控方法及系统,可以先提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频;基于待处理监控视频进行目标估计操作,以形成待处理监控视频对应的目标预测视频,目标预测视频作为目标区域在待处理监控视频对应的形成时间之后的预测结果;基于目标预测视频,对目标区域进行区域异常分析操作,以形成目标区域对应的目标区域异常分析结果;基于目标区域异常分析结果,对目标区域进行异常管控操作。基于前述的内容,由于在进行区域异常分析之前,会基于当前的待处理监控视频进行目标估计操作,即估计出之后可能的视频,即得到目标预测视频,然后,对目标预测视频进行区域异常分析操作,也就是说,可以使得区域异常分析操作可以提前进行,从而保障异常管控操作的及时性和前瞻性,从而可以在一定程度上提高异常管控的可靠度,进而改善现有技术中存在的可靠度不高的问题。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的无人机监控方法,其特征在于,包括:
提取到在对目标区域进行无人机监控操作中形成的视频,以形成待处理监控视频,所述待处理监控视频包括至少一个待处理监控视频片段,每一个所述待处理监控视频片段包括至少一帧待处理监控视频帧;
基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频,所述目标预测视频作为所述目标区域在所述待处理监控视频对应的形成时间之后的预测结果;
基于所述目标预测视频,对所述目标区域进行区域异常分析操作,以形成所述目标区域对应的目标区域异常分析结果,所述目标区域异常分析结果用于反映所述目标区域具有的异常程度;
基于所述目标区域异常分析结果,对所述目标区域进行异常管控操作。
2.如权利要求1所述的基于人工智能的无人机监控方法,其特征在于,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,包括:
基于关联视频集合,将所述待处理监控视频中的每一个待处理监控视频片段进行视频内容强化操作,以形成对应的强化监控视频片段,所述关联视频集合包括预先确定的至少一帧视频帧的至少一个相关视频帧;
将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量;
将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据;
将所述至少一个强化视频表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据;
基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频。
3.如权利要求2所述的基于人工智能的无人机监控方法,其特征在于,所述基于关联视频集合,将所述待处理监控视频中的每一个待处理监控视频片段进行视频内容强化操作,以形成对应的强化监控视频片段的步骤,包括:
确定出所述待处理监控视频中每一个所述待处理监控视频片段的每一个有效视频帧;
在配置的关联视频集合中,筛选出与每一个所述有效视频帧相关联的视频帧,以形成对应的关联视频筛选集合;
对所述关联视频筛选集合中的每一个关联视频筛选子集合和每一个所述有效视频帧进行相关性确定操作,以输出对应的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数,所述总相关性表征参数包括至少一个所述局部相关性表征参数;
依据所述总相关性表征参数,在所述关联视频筛选集合中,确定出目标比例的关联视频筛选子集合,以形成相关视频帧组合;
依据所述相关视频帧组合,将每一个所述有效视频帧进行视频帧强化操作,以输出对应的强化视频数据,以形成每一个所述待处理监控视频片段对应的所述强化监控视频片段,所述强化监控视频片段包括至少一个强化视频数据;
其中,所述将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量的步骤,包括:
将所述强化监控视频片段中的每一个强化视频数据进行关键信息挖掘操作,以输出对应的强化视频数据表征向量,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量。
4.如权利要求3所述的基于人工智能的无人机监控方法,其特征在于,所述对所述关联视频筛选集合中的每一个关联视频筛选子集合和每一个所述有效视频帧进行相关性确定操作,以输出对应的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数的步骤,包括:
确定出所述关联视频筛选集合的每一个所述关联视频筛选子集合的视频内容丰富性表征参数,以形成对应的总的视频内容丰富性表征参数;
确定出每一个所述关联视频筛选子集合和每一个所述有效视频帧之间的视频内容相似性表征参数,以形成对应的总的视频内容相似性表征参数;
基于所述总的视频内容丰富性表征参数和所述总的视频内容相似性表征参数,确定出每一个所述关联视频筛选子集合和每一个所述有效视频帧之间的局部相关性表征参数,以形成所述关联视频筛选集合对应的总相关性表征参数。
5.如权利要求3所述的基于人工智能的无人机监控方法,其特征在于,所述将所述强化监控视频片段中的每一个强化视频数据进行关键信息挖掘操作,以输出对应的强化视频数据表征向量,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量的步骤,包括:
将所述强化监控视频片段中每一个所述强化视频数据的每一个所述有效视频帧进行特征空间映射操作,以形成每一个所述有效视频帧对应的有效视频帧映射向量;
将每一个所述强化视频数据的所述相关视频帧组合进行特征空间映射操作,以形成对应的相关视频帧组合映射向量;
基于所述有效视频帧映射向量和所述相关视频帧组合映射向量,分析出所述相关视频帧组合对应的重要性表征参数,以形成对应的相关视频重要性表征参数;
基于所述相关视频重要性表征参数,对所述有效视频帧映射向量和所述相关视频帧组合映射向量进行向量聚合操作,以形成对应的强化视频数据表征向量,实现对每一个所述强化视频数据的关键信息挖掘操作,以形成包括至少一个所述强化视频数据表征向量的强化视频表征向量。
6.如权利要求2所述的基于人工智能的无人机监控方法,其特征在于,所述将所述至少一个强化视频表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据的步骤,包括:
挖掘出所述至少一个强化视频表征向量的风格表征向量,以形成至少一个强化视频风格表征向量;
将所述至少一个强化视频风格表征向量和配置的参考视频风格表征向量进行级联组合操作,以形成对应的级联视频风格表征向量;
将所述级联视频风格表征向量进行重复的反馈分析操作,以输出对应的目标视频风格表征向量;
基于所述目标视频风格表征向量进行风格分析操作,以输出所述至少一个强化视频表征向量对应的强化视频风格描述数据。
7.如权利要求2所述的基于人工智能的无人机监控方法,其特征在于,所述基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频的步骤,包括:
基于所述至少一个强化视频表征向量对应的风格表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据;
将所述强化视频内容描述数据和所述强化视频风格描述数据进行目前的聚合估计操作,以形成对应的目前第一预测视频帧;
基于所述强化视频内容描述数据,将所述目前第一预测视频帧进行风格强化操作,以形成对应的目前第二预测视频帧;
对所述优化视频风格描述数据和所述目前第二预测视频帧进行融合操作,以形成对应的目前第三预测视频帧;
进行重复聚合估计操作中的后一个聚合估计操作,并在将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作结束的情况下,形成包括至少一个目前第三预测视频帧的目标预测视频。
8.如权利要求7所述的基于人工智能的无人机监控方法,其特征在于,所述基于所述至少一个强化视频表征向量对应的风格表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据的步骤,包括:
在所述至少一个强化视频表征向量中,确定出每一个有效视频帧对应的风格表征向量,以形成对应的视频帧风格表征向量;
基于所述视频帧风格表征向量进行聚焦特征分析操作,以形成所述视频帧风格表征向量对所述强化视频风格描述数据具有的影响力表征向量,以形成对应的视频帧影响力表征向量,使得形成包括至少一个视频帧影响力表征向量的视频影响力表征向量;
基于所述视频影响力表征向量,对所述强化视频风格描述数据进行优化操作,以形成对应的优化视频风格描述数据,所述优化视频风格描述数据和所述优化视频风格描述数据的表现形式为向量。
9.如权利要求2所述的基于人工智能的无人机监控方法,其特征在于,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,还包括:
通过视频预测网络,将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量;以及,通过所述视频预测网络,将所述至少一个强化视频表征向量进行内容分析操作,以输出所述至少一个强化视频表征向量对应的强化视频内容描述数据;以及,通过所述视频预测网络,将所述至少一个强化视频表征向量进行风格分析操作,以所述至少一个强化视频表征向量对应的强化视频风格描述数据;以及,通过所述视频预测网络,基于所述至少一个强化视频表征向量,将所述强化视频内容描述数据和所述强化视频风格描述数据进行聚合估计操作,以输出所述待处理监控视频对应的目标预测视频;
其中,在所述通过视频预测网络,将所述强化监控视频片段进行关键信息挖掘操作,以输出所述强化监控视频片段对应的强化视频表征向量,以形成所述待处理监控视频对应的至少一个强化视频表征向量的步骤之前,所述基于所述待处理监控视频进行目标估计操作,以形成所述待处理监控视频对应的目标预测视频的步骤,还包括:
提取到典型数据集合,所述典型数据集合包括典型监控视频、实际视频风格描述数据和实际目标视频;
基于所述关联视频集合,将所述典型监控视频的每一个典型监控视频片段进行视频内容强化操作,以形成对应的典型强化监控视频片段;
通过待优化视频预测网络,将所述典型强化监控视频片段进行关键信息挖掘操作,以输出对应的典型强化视频表征向量,以形成所述典型监控视频对应的至少一个典型强化视频表征向量;
将所述至少一个典型强化视频表征向量进行内容分析操作,以输出对应的典型强化视频内容描述数据;
将所述至少一个典型强化视频表征向量进行风格分析操作,以输出对应的典型强化视频风格描述数据;
基于所述至少一个典型强化视频表征向量,将所述典型强化视频内容描述数据和所述典型强化视频风格描述数据进行聚合估计操作,以输出所述典型监控视频对应的典型目标预测视频;
基于所述典型强化视频风格描述数据与所述实际视频风格描述数据之间的区别信息,并结合所述典型目标预测视频与所述实际目标视频之间的区别信息,分析出对应的目标网络优化代价值;
基于所述目标网络优化代价值,将所述待优化视频预测网络进行网络优化操作,以形成对应的视频预测网络。
10.一种基于人工智能的无人机监控系统,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1-9任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310534954.XA CN116310914B (zh) | 2023-05-12 | 2023-05-12 | 基于人工智能的无人机监控方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310534954.XA CN116310914B (zh) | 2023-05-12 | 2023-05-12 | 基于人工智能的无人机监控方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116310914A true CN116310914A (zh) | 2023-06-23 |
CN116310914B CN116310914B (zh) | 2023-07-28 |
Family
ID=86834469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310534954.XA Active CN116310914B (zh) | 2023-05-12 | 2023-05-12 | 基于人工智能的无人机监控方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116310914B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152668A (zh) * | 2023-10-30 | 2023-12-01 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
CN117671554A (zh) * | 2023-10-20 | 2024-03-08 | 上海盈蝶智能科技有限公司 | 一种安防监控方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101918989A (zh) * | 2007-12-07 | 2010-12-15 | 常州环视高科电子科技有限公司 | 带有对象跟踪和检索的视频监控系统 |
CN202406229U (zh) * | 2011-12-26 | 2012-08-29 | 韩庆明 | 一种基站防盗监视系统 |
CN112188167A (zh) * | 2020-09-30 | 2021-01-05 | 成都智视慧语科技有限公司 | 基于5g边云计算的视频浓缩萃取精炼升华的方法和系统 |
CN114494955A (zh) * | 2022-01-20 | 2022-05-13 | 深圳市瑞驰信息技术有限公司 | 一种基于视频数据的区域入侵检测方法、系统及电子设备 |
CN115494863A (zh) * | 2022-09-15 | 2022-12-20 | 天之翼(苏州)科技有限公司 | 无人机巡航控制方法及装置 |
-
2023
- 2023-05-12 CN CN202310534954.XA patent/CN116310914B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101918989A (zh) * | 2007-12-07 | 2010-12-15 | 常州环视高科电子科技有限公司 | 带有对象跟踪和检索的视频监控系统 |
CN202406229U (zh) * | 2011-12-26 | 2012-08-29 | 韩庆明 | 一种基站防盗监视系统 |
CN112188167A (zh) * | 2020-09-30 | 2021-01-05 | 成都智视慧语科技有限公司 | 基于5g边云计算的视频浓缩萃取精炼升华的方法和系统 |
CN114494955A (zh) * | 2022-01-20 | 2022-05-13 | 深圳市瑞驰信息技术有限公司 | 一种基于视频数据的区域入侵检测方法、系统及电子设备 |
CN115494863A (zh) * | 2022-09-15 | 2022-12-20 | 天之翼(苏州)科技有限公司 | 无人机巡航控制方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671554A (zh) * | 2023-10-20 | 2024-03-08 | 上海盈蝶智能科技有限公司 | 一种安防监控方法及系统 |
CN117152668A (zh) * | 2023-10-30 | 2023-12-01 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
CN117152668B (zh) * | 2023-10-30 | 2024-02-06 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116310914B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116310914B (zh) | 基于人工智能的无人机监控方法及系统 | |
CN115841255B (zh) | 基于在线分析的建筑工程现场预警方法及系统 | |
CN115718846B (zh) | 用于智能化交互网络的大数据挖掘方法及系统 | |
CN115603973B (zh) | 基于政务信息网络的异构安全监测方法及系统 | |
CN116126947A (zh) | 应用于企业管理系统的大数据分析方法及系统 | |
CN116109988B (zh) | 基于人工智能和无人机的异常监控方法及系统 | |
CN117274913A (zh) | 一种基于智慧楼宇的安全保障方法及系统 | |
CN116935280A (zh) | 一种基于视频分析的行为预测方法及系统 | |
CN116681350A (zh) | 智慧工厂故障检测方法及系统 | |
CN115964432A (zh) | 基于大数据可视化的用户操作异常分析方法及系统 | |
CN116702220A (zh) | 基于加密特征分析的数据比对方法及系统 | |
CN113222370B (zh) | 电力系统风险预警方法、装置、设备及存储介质 | |
CN115616408A (zh) | 电池热管理数据处理方法及系统 | |
CN116501285B (zh) | 基于虚拟数字形象交互的ai对话处理方法及数字化系统 | |
CN115906642B (zh) | 轴承生产检测控制方法及装置 | |
CN116996403B (zh) | 应用ai模型的网络流量诊断方法及系统 | |
CN117149846B (zh) | 一种基于数据融合的电力数据分析方法和系统 | |
CN117197739B (zh) | 一种智慧楼宇的监控数据处理方法及系统 | |
CN116994609B (zh) | 应用于智能生产线的数据分析方法及系统 | |
CN115086000B (zh) | 网络入侵检测方法及系统 | |
CN117041121B (zh) | 基于数据挖掘的物联网异常监测方法及系统 | |
CN117493983A (zh) | 应用于火电厂设备的数据预测方法及系统 | |
CN117194525A (zh) | 针对多源业务数据的数据分析方法及系统 | |
CN117315423A (zh) | 一种基于智慧楼宇的用户预警方法及系统 | |
CN116304182A (zh) | 基于ai系统的大数据可视化处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |