CN116109988B - 基于人工智能和无人机的异常监控方法及系统 - Google Patents
基于人工智能和无人机的异常监控方法及系统 Download PDFInfo
- Publication number
- CN116109988B CN116109988B CN202310388518.6A CN202310388518A CN116109988B CN 116109988 B CN116109988 B CN 116109988B CN 202310388518 A CN202310388518 A CN 202310388518A CN 116109988 B CN116109988 B CN 116109988B
- Authority
- CN
- China
- Prior art keywords
- video
- exemplary
- network
- monitoring
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供的基于人工智能和无人机的异常监控方法及系统,涉及人工智能技术领域。在本发明中,基于每一个示例性监控视频数据,分别将对应的视频内容挖掘子网络和视频种类分析子网络进行网络优化操作,以实现对监控视频分析网络的优化;利用优化后的监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出目标监控视频对应的目标监控视频特征表示;利用优化后的监控视频分析网络包括的视频种类分析子网络,对目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息。基于上述内容,可以在一定程度上提高异常监控的可靠度。
Description
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种基于人工智能和无人机的异常监控方法及系统。
背景技术
无人机作为载体,以对区域进行巡航监控,已经成为一种重要的监控手段,在诸多场景和领域中都有应用。其中,在采集到监控视频之后,可以对监控视频帧进行分析,以确定出对应的异常情况。
例如,可以通过人工智能技术(Artificial Intelligence,简称AI,是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统),对监控视频进行异常分析,以得到对应的区域的异常情况或异常信息。但是,在现有技术中,存在着异常监控的可靠度不高的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于人工智能和无人机的异常监控方法及系统,以在一定程度上提高异常监控的可靠度。
为实现上述目的,本发明实施例采用如下技术方案:
一种基于人工智能和无人机的异常监控方法,包括:
基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络,所述视频标识数据用于反映所述示例性监控视频数据对应的子网络,该子网络属于视频内容挖掘子网络或属于视频种类分析子网络;
基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对所述监控视频分析网络的优化,所述监控视频分析网络包括所述视频内容挖掘子网络和所述视频种类分析子网络,所述视频内容挖掘子网络和所述视频种类分析子网络共用所述特征映射关系第一分布;
利用优化后的所述监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出所述目标监控视频对应的目标监控视频特征表示,所述目标监控视频基于所述目标无人机对目标区域进行信息采集以形成;
利用优化后的所述监控视频分析网络包括的视频种类分析子网络,对所述目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息,所述目标视频种类信息用于反映所述目标区域的区域异常信息。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作的步骤,包括:
基于携带有所述视频内容挖掘子网络对应的视频标识数据和分帧处理后的示例性第一监控视频的任意一个示例性监控视频数据,将所述视频内容挖掘子网络进行网络优化操作;
基于携带有所述视频种类分析子网络对应的视频标识数据、所述视频种类分析子网络的子网络种类标识数据、所述示例性监控视频数据的视频种类标识数据和分帧处理后的示例性第二监控视频的任意一个示例性监控视频数据,将所述视频种类分析子网络进行网络优化操作。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,包括:
分别基于每一个示例性监控视频数据中分帧处理后的示例性第一监控视频,构建出对应的示例性视频数据;
依据所述示例性视频数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示;
依据所述优化第一特征表示,对特征映射关系第一分布和特征映射关系第二分布进行优化调整操作,所述视频内容挖掘子网络包括所述特征映射关系第一分布和所述特征映射关系第二分布。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述分别基于每一个示例性监控视频数据中分帧处理后的示例性第一监控视频,构建出对应的示例性视频数据的步骤,包括:
针对任意一个示例性监控视频数据中分帧处理后的示例性第一监控视频中的任意一个分帧视频帧,基于轮询所述任意一个分帧视频帧在所述分帧处理后的示例性第一监控视频中在前的目标帧数和在后的目标帧数的分帧视频帧,以构建所述任意一个分帧视频帧对应的示例性第一类视频数据;
针对任意一个示例性监控视频数据中分帧处理后的示例性第一监控视频中的任意一个分帧视频帧,基于随机确定的规则对视频帧数据库中抽选操作,以构建出所述任意一个分帧视频帧对应的示例性第二类视频数据,在所述视频帧数据库中抽选出的视频帧与所述示例性第一监控视频中的每一个分帧视频帧都不相同;
所述任意一个示例性第一类视频数据或所述任意一个示例性第二类视频数据都包括示例性第一监控视频帧、示例性第二监控视频帧和示例性标识数据,所述示例性标识数据用于反映所述示例性视频数据属于所述示例性第一类视频数据或属于所述示例性第二类视频数据。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述依据所述示例性视频数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示的步骤,包括:
对于任意一个示例性第一类视频数据或任意一个示例性第二类视频数据,基于示例性监控视频帧与监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,匹配出所述示例性第一监控视频帧对应的监控视频帧特征表示,以及,从所述特征映射关系第二分布中,匹配出所述示例性第二监控视频帧对应的监控视频帧特征表示;
基于所述示例性第一监控视频帧对应的监控视频帧特征表示、所述示例性第二监控视频帧对应的监控视频帧特征表示和对应的示例性标识数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述基于所述示例性第一监控视频帧对应的监控视频帧特征表示、所述示例性第二监控视频帧对应的监控视频帧特征表示和对应的示例性标识数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示的步骤,包括:
对所述示例性第一监控视频帧对应的监控视频帧特征表示和所述示例性第二监控视频帧对应的监控视频帧特征表示进行相乘运算,以及,基于相乘运算的结果进行符合目标规则的计算处理,以输出计算处理第一输出参数;
分析出对应的所述示例性标识数据和所述计算处理第一输出参数之间的差异参数,以及,对配置的目标数据和该差异参数进行相乘运算,以输出对应的计算处理第二输出参数;
对所述计算处理第二输出参数和所述示例性第二监控视频帧对应的监控视频帧特征表示进行相乘运算,以输出所述示例性第一监控视频帧对应的局部优化特征表示;
对所述计算处理第二输出参数和所述示例性第一监控视频帧对应的监控视频帧特征表示进行相乘运算,以输出所述示例性第二监控视频帧对应的局部优化特征表示,所述优化第一特征表示包括所述示例性第一监控视频帧对应的局部优化特征表示和所述示例性第二监控视频帧对应的局部优化特征表示;
其中,所述依据所述优化第一特征表示,对特征映射关系第一分布和特征映射关系第二分布进行优化调整操作的步骤,包括:
基于所述示例性第一监控视频帧对应的局部优化特征表示,对所述特征映射关系第一分布进行优化调整操作;
基于所述示例性第二监控视频帧对应的局部优化特征表示,对所述特征映射关系第二分布进行优化调整操作。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,包括:
基于每一个示例性监控视频数据中视频种类分析子网络的子网络种类标识数据,分析出每一个示例性监控视频数据对应的视频种类分析子网络的子网络种类;
基于每一个示例性监控视频数据,将对应子网络种类的视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述基于每一个示例性监控视频数据,将对应子网络种类的视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,包括:
获得任意一个示例性监控视频数据的第一标识数据和第二标识数据;
分别基于示例性第三监控视频帧和示例性第四监控视频帧,挖掘出对应的视频帧中间特征表示,所述示例性第三监控视频帧属于所述第一标识数据对应的至少一个示例性监控视频数据的分帧处理后的示例性第二监控视频,所述示例性第四监控视频帧属于所述第二标识数据对应的至少一个示例性监控视频数据的分帧处理后的示例性第二监控视频;
依据所述第一标识数据、所述第二标识数据和所述视频帧中间特征表示,分析出所述视频种类分析子网络对应的优化第二特征表示;
基于所述优化第二特征表示,对所述特征映射关系第一分布和视频种类标识分布进行优化调整。
在一些优选的实施例中,在上述基于人工智能和无人机的异常监控方法中,所述获得任意一个示例性监控视频数据的第一标识数据和第二标识数据的步骤,包括:
基于任意一个示例性监控视频数据对应的视频种类标识数据,得到该任意一个示例性监控视频数据的第一标识数据;
确定出局部的指标参数和整体的指标参数之间的比例系数,以形成所述任意一个视频种类标识数据对应的筛选参数;
基于所述筛选参数,对所述任意一个视频种类标识数据进行筛选处理,以形成所述任意一个示例性监控视频数据的第二标识数据;所述局部的指标参数等于多个示例性监控视频数据中所述任意一个视频种类标识数据的数量的幂运算结果,所述整体的指标参数等于多个示例性监控视频数据中每一个视频种类标识数据的数量的幂运算结果的和值;
并且,所述分别基于示例性第三监控视频帧和示例性第四监控视频帧,挖掘出对应的视频帧中间特征表示的步骤,包括:
基于示例性监控视频帧和监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,分别匹配出每一个示例性第三监控视频帧对应的第一监控视频帧特征表示;
基于示例性监控视频帧和监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,分别匹配出每一个示例性第四监控视频帧对应的第二监控视频帧特征表示;
对每一个所述第一监控视频帧特征表示进行聚合操作,以形成对应的第一视频帧中间特征表示,所述第一视频帧中间特征表示中携带有每一个所述第一监控视频帧特征表示的信息;
对每一个所述第二监控视频帧特征表示进行聚合操作,以形成对应的第二视频帧中间特征表示,所述第二视频帧中间特征表示中携带有每一个所述第二监控视频帧特征表示的信息;所述视频帧中间特征表示包括所述第一视频帧中间特征表示和所述第二视频帧中间特征表示。
本发明实施例还提供一种基于人工智能和无人机的异常监控系统,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的基于人工智能和无人机的异常监控方法。
本发明实施例提供的基于人工智能和无人机的异常监控方法及系统,可以先基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络;基于每一个示例性监控视频数据,分别将对应的视频内容挖掘子网络和视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对监控视频分析网络的优化;利用优化后的监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出目标监控视频对应的目标监控视频特征表示;利用优化后的监控视频分析网络包括的视频种类分析子网络,对目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息。基于上述内容,由于视频内容挖掘子网络和视频种类分析子网络共用特征映射关系第一分布,使得视频内容挖掘子网络和视频种类分析子网络之间的联系更为紧密,因此,基于视频内容挖掘子网络挖掘出的目标监控视频特征表示,可以更适用于视频种类分析子网络,因此,可以提高异常监控的可靠度,从而改善现有技术中存在的可靠度不高的问题。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的基于人工智能和无人机的异常监控系统的结构框图。
图2为本发明实施例提供的基于人工智能和无人机的异常监控方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于人工智能和无人机的异常监控装置包括的各模块的示意图。
实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于人工智能和无人机的异常监控系统。其中,所述基于人工智能和无人机的异常监控系统可以包括存储器和处理器。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于人工智能和无人机的异常监控方法。
应当理解的是,在一些实施方式中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable ProgrammableRead-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory,EEPROM)等。
应当理解的是,在一些实施方式中,所述处理器可以是一种通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是,在一些实施方式中,所述基于人工智能和无人机的异常监控系统可以是一种具备数据处理能力的服务器。
结合图2,本发明实施例还提供一种基于人工智能和无人机的异常监控方法,可应用于上述基于人工智能和无人机的异常监控系统。其中,所述基于人工智能和无人机的异常监控方法有关的流程所定义的方法步骤,可以由所述基于人工智能和无人机的异常监控系统实现。
下面将对图2所示的具体流程,进行详细阐述。
步骤S110,基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络。
在本发明实施例中,所述基于人工智能和无人机的异常监控系统可以基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络。所述视频标识数据用于反映所述示例性监控视频数据对应的子网络,该子网络属于视频内容挖掘子网络或属于视频种类分析子网络,例如,例如视频标识数据XX指示示例性监控视频数据对应的子网络为视频内容挖掘子网络,视频标识数据YY指示示例性监控视频数据对应的子网络为视频种类分析子网络。
步骤S120,基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对所述监控视频分析网络的优化。
在本发明实施例中,所述基于人工智能和无人机的异常监控系统可以基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对所述监控视频分析网络的优化。所述监控视频分析网络包括所述视频内容挖掘子网络和所述视频种类分析子网络,所述视频内容挖掘子网络和所述视频种类分析子网络共用所述特征映射关系第一分布。例如,使用携带XX这一视频标识数据的示例性监控视频数据对视频内容挖掘子网络进行优化,使用携带YY这一视频标识数据的示例性监控视频数据对视频种类分析子网络进行优化。另外,基于每一个示例性监控视频数据将对应的视频内容挖掘子网络或视频种类分析子网络进行一次优化之后,可以对监控视频分析网络包括的特征映射关系第一分布进行一次优化调整。
步骤S130,利用优化后的所述监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出所述目标监控视频对应的目标监控视频特征表示。
在本发明实施例中,所述基于人工智能和无人机的异常监控系统可以利用优化后的所述监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,即关键信息或特征的挖掘,以输出所述目标监控视频对应的目标监控视频特征表示。所述目标监控视频基于所述目标无人机对目标区域进行信息采集以形成。
步骤S140,利用优化后的所述监控视频分析网络包括的视频种类分析子网络,对所述目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息。
在本发明实施例中,所述基于人工智能和无人机的异常监控系统可以利用优化后的所述监控视频分析网络包括的视频种类分析子网络,对所述目标监控视频特征表示进行视频种类分析操作,即进行视频种类预测或区域异常预测,以输出对应的目标视频种类信息。所述目标视频种类信息用于反映所述目标区域的区域异常信息,如是否异常或异常的程度等。
基于上述内容,由于视频内容挖掘子网络和视频种类分析子网络共用特征映射关系第一分布,使得视频内容挖掘子网络和视频种类分析子网络之间的联系更为紧密,因此,基于视频内容挖掘子网络挖掘出的目标监控视频特征表示,可以更适用于视频种类分析子网络,因此,可以提高异常监控的可靠度,从而改善现有技术中存在的可靠度不高的问题。
应当理解的是,在一些实施方式中,上述的步骤S120,即所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作的步骤,可以进一步包括以下所述的各具体实施内容:
基于携带有所述视频内容挖掘子网络对应的视频标识数据和分帧处理后的示例性第一监控视频的任意一个示例性监控视频数据,将所述视频内容挖掘子网络进行网络优化操作,也就是说,所述示例性监控视频数据携带有视频标识数据和示例性第一监控视频,该视频标识数据对应于所述视频内容挖掘子网络,该示例性第一监控视频经过分帧处理;
基于携带有所述视频种类分析子网络对应的视频标识数据、所述视频种类分析子网络的子网络种类标识数据、所述示例性监控视频数据的视频种类标识数据和分帧处理后的示例性第二监控视频的任意一个示例性监控视频数据,将所述视频种类分析子网络进行网络优化操作,也就是说,该示例性监控视频数据携带有视频标识数据和示例性第二监控视频,并且,还携带有视频种类分析子网络的子网络种类标识数据和所述示例性监控视频数据的视频种类标识数据,所述子网络种类标识数据用于反映所述视频种类分析子网络的种类,如二分类或多分类等,还可以是其它,或者,在一些应用中,可以不利用所述子网络种类标识数据,即基于携带有所述视频种类分析子网络对应的视频标识数据、所述示例性监控视频数据的视频种类标识数据和分帧处理后的示例性第二监控视频的任意一个示例性监控视频数据,将所述视频种类分析子网络进行网络优化操作;另外,所述视频种类标识数据作为实际的视频种类,以用于进行误差计算以进行优化,即将实际的视频种类和分析出的视频种类进行误差计算。
应当理解的是,在一些实施方式中,上述的步骤S120,即所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,可以进一步包括以下所述的各具体实施内容:
分别基于每一个示例性监控视频数据中分帧处理后的示例性第一监控视频,构建出对应的示例性视频数据;
依据所述示例性视频数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示,特征表示的形式可以为向量等;
依据所述优化第一特征表示,对特征映射关系第一分布和特征映射关系第二分布进行优化调整操作,所述视频内容挖掘子网络包括所述特征映射关系第一分布和所述特征映射关系第二分布,所述特征映射关系第一分布和所述特征映射关系第二分布可以用阵列的方式进行表示。
应当理解的是,在一些实施方式中,所述分别基于每一个示例性监控视频数据中分帧处理后的示例性第一监控视频,构建出对应的示例性视频数据的步骤,可以进一步包括以下所述的各具体实施内容:
针对任意一个示例性监控视频数据中分帧处理后的示例性第一监控视频中的任意一个分帧视频帧,基于轮询所述任意一个分帧视频帧在所述分帧处理后的示例性第一监控视频中在前的目标帧数和在后的目标帧数的分帧视频帧,以构建所述任意一个分帧视频帧对应的示例性第一类视频数据,所述目标帧数可以根据实际需求进行配置,如1、2、3、4等,例如,可以将任意一个分帧视频帧和在前的第一帧分帧视频帧进行组合,以形成所述任意一个分帧视频帧对应的示例性第一类视频数据,或者,可以将任意一个分帧视频帧和在后的第一帧分帧视频帧进行组合,以形成所述任意一个分帧视频帧对应的示例性第一类视频数据;
针对任意一个示例性监控视频数据中分帧处理后的示例性第一监控视频中的任意一个分帧视频帧,基于随机确定的规则对视频帧数据库中抽选操作,以构建出所述任意一个分帧视频帧对应的示例性第二类视频数据,在所述视频帧数据库中抽选出的视频帧与所述示例性第一监控视频中的每一个分帧视频帧都不相同,如此,可以将所述任意一个分帧视频帧和抽选出的视频帧进行组合,以形成所述任意一个分帧视频帧对应的示例性第二类视频数据;
其中,所述任意一个示例性第一类视频数据或所述任意一个示例性第二类视频数据都包括示例性第一监控视频帧、示例性第二监控视频帧和示例性标识数据,所述示例性标识数据用于反映所述示例性视频数据属于所述示例性第一类视频数据或属于所述示例性第二类视频数据。
应当理解的是,在一些实施方式中,所述依据所述示例性视频数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示的步骤,可以进一步包括以下所述的各具体实施内容:
对于任意一个示例性第一类视频数据或任意一个示例性第二类视频数据,基于示例性监控视频帧与监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,匹配出所述示例性第一监控视频帧对应的监控视频帧特征表示,以及,从所述特征映射关系第二分布中,匹配出所述示例性第二监控视频帧对应的监控视频帧特征表示;其中,在对监控视频分析网络进行网络优化之前,可以对特征映射关系第一分布与特征映射关系第二分布分别进行相应的初始化,以形成初始的特征映射关系第一分布与初始的特征映射关系第二分布,之后,在对监控视频分析网络进行网络优化的过程中,可以不断对特征映射关系第一分布与特征映射关系第二分布进行优化调整,并且,在对特征映射关系第一分布与特征映射关系第二分布进行初始化的同时,可以建立每一个示例性监控视频帧到监控视频帧特征表示的映射信息,即视频帧特征初始映射关系;
基于所述示例性第一监控视频帧对应的监控视频帧特征表示、所述示例性第二监控视频帧对应的监控视频帧特征表示和对应的示例性标识数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示。
应当理解的是,在一些实施方式中,所述基于所述示例性第一监控视频帧对应的监控视频帧特征表示、所述示例性第二监控视频帧对应的监控视频帧特征表示和对应的示例性标识数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示的步骤,可以进一步包括以下所述的各具体实施内容:
对所述示例性第一监控视频帧对应的监控视频帧特征表示和所述示例性第二监控视频帧对应的监控视频帧特征表示进行相乘运算,以及,基于相乘运算的结果进行符合目标规则的计算处理,例如,可以通过S型函数对相乘运算的结果进行处理,以输出计算处理第一输出参数;
分析出对应的所述示例性标识数据和所述计算处理第一输出参数之间的差异参数,即得到对应的误差,以及,对配置的目标数据和该差异参数进行相乘运算,以输出对应的计算处理第二输出参数,示例性地,所述配置的目标数据可以在网络优化的过程中递减,如递减到零等数值,初始值可以根据实际需求进行配置,在此不做具体的限定;
对所述计算处理第二输出参数和所述示例性第二监控视频帧对应的监控视频帧特征表示进行相乘运算,以输出所述示例性第一监控视频帧对应的局部优化特征表示;
对所述计算处理第二输出参数和所述示例性第一监控视频帧对应的监控视频帧特征表示进行相乘运算,以输出所述示例性第二监控视频帧对应的局部优化特征表示,所述优化第一特征表示包括所述示例性第一监控视频帧对应的局部优化特征表示和所述示例性第二监控视频帧对应的局部优化特征表示,即将示例性第一监控视频帧对应的局部优化特征表示和示例性第二监控视频帧对应的局部优化特征表示作为优化第一特征表示。
应当理解的是,在一些实施方式中,所述依据所述优化第一特征表示,对特征映射关系第一分布和特征映射关系第二分布进行优化调整操作的步骤,可以进一步包括以下所述的各具体实施内容:
基于所述示例性第一监控视频帧对应的局部优化特征表示,对所述特征映射关系第一分布进行优化调整操作,例如,可以将所述示例性第一监控视频帧对应的局部优化特征表示配置到所述特征映射关系第一分布,以实现对所述特征映射关系第一分布进行优化调整操作;
基于所述示例性第二监控视频帧对应的局部优化特征表示,对所述特征映射关系第二分布进行优化调整操作,例如,可以将所述示例性第二监控视频帧对应的局部优化特征表示配置到所述特征映射关系第二分布,以实现对所述特征映射关系第二分布进行优化调整操作。
应当理解的是,在一些实施方式中,上述的步骤S120,即所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,可以进一步包括以下所述的各具体实施内容:
基于每一个示例性监控视频数据中视频种类分析子网络的子网络种类标识数据,分析出每一个示例性监控视频数据对应的视频种类分析子网络的子网络种类,如属于二分类或多分类等;
基于每一个示例性监控视频数据,将对应子网络种类的视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,即进行相应的网络优化操作。
应当理解的是,在一些实施方式中,所述基于每一个示例性监控视频数据,将对应子网络种类的视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,可以进一步包括以下所述的各具体实施内容:
获得任意一个示例性监控视频数据的第一标识数据和第二标识数据;
分别基于示例性第三监控视频帧和示例性第四监控视频帧,挖掘出对应的视频帧中间特征表示,所述示例性第三监控视频帧属于所述第一标识数据对应的至少一个示例性监控视频数据的分帧处理后的示例性第二监控视频,所述示例性第四监控视频帧属于所述第二标识数据对应的至少一个示例性监控视频数据的分帧处理后的示例性第二监控视频;
依据所述第一标识数据、所述第二标识数据和所述视频帧中间特征表示,分析出所述视频种类分析子网络对应的优化第二特征表示;
基于所述优化第二特征表示,对所述特征映射关系第一分布和视频种类标识分布进行优化调整。
应当理解的是,在一些实施方式中,所述获得任意一个示例性监控视频数据的第一标识数据和第二标识数据的步骤,可以进一步包括以下所述的各具体实施内容:
基于任意一个示例性监控视频数据对应的视频种类标识数据,得到该任意一个示例性监控视频数据的第一标识数据,例如,该任意一个示例性监控视频数据的视频种类标识数据为该示例性监控视频数据的第一标识数据;
确定出局部的指标参数和整体的指标参数之间的比例系数,以形成所述任意一个视频种类标识数据对应的筛选参数,所述局部的指标参数等于多个示例性监控视频数据中所述任意一个视频种类标识数据的数量的幂运算结果,所述整体的指标参数等于多个示例性监控视频数据中每一个视频种类标识数据的数量的幂运算结果的和值,例如,可以具有视频种类标识数据1、视频种类标识数据2、视频种类标识数据3、视频种类标识数据4和视频种类标识数据5,对于视频种类标识数据1,可以确定出视频种类标识数据1的数量,即视频种类标识数据1对应的示例性监控视频数据的数量,然后,对该数量进行幂运算,得到对应的幂运算结果1,同样地,可以得到视频种类标识数据2对应的幂运算结果2、视频种类标识数据3对应的幂运算结果3、视频种类标识数据4对应的幂运算结果4、视频种类标识数据5对应的幂运算结果5,然后,可以计算幂运算结果1、幂运算结果2、幂运算结果3、幂运算结果4和幂运算结果5的和值,如此,对于视频种类标识数据1,可以计算幂运算结果1与该和值之间的比例系数,以得到视频种类标识数据1对应的筛选参数,另外,进行幂运算时,可以进行0.5次幂的运算,以得到对应的幂运算结果;
基于所述筛选参数,对所述任意一个视频种类标识数据进行筛选处理,以形成所述任意一个示例性监控视频数据的第二标识数据,基于,通过所述筛选参数的配置,对于第二标识数据,为了保证较多的示例性第二类视频数据,在选取第二标识数据时,可以参考不同的视频种类标识数据的筛选参数。
应当理解的是,在一些实施方式中,所述分别基于示例性第三监控视频帧和示例性第四监控视频帧,挖掘出对应的视频帧中间特征表示的步骤,可以进一步包括以下所述的各具体实施内容:
基于示例性监控视频帧和监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,分别匹配出每一个示例性第三监控视频帧对应的第一监控视频帧特征表示,即所述示例性第三监控视频帧和对应的第一监控视频帧特征表示具有视频帧特征初始映射关系;
基于示例性监控视频帧和监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,分别匹配出每一个示例性第四监控视频帧对应的第二监控视频帧特征表示,即所述示例性第四监控视频帧和对应的第二监控视频帧特征表示具有视频帧特征初始映射关系;
对每一个所述第一监控视频帧特征表示进行聚合操作,例如,进行叠加或级联组合操作,以形成对应的第一视频帧中间特征表示,所述第一视频帧中间特征表示中携带有每一个所述第一监控视频帧特征表示的信息;
对每一个所述第二监控视频帧特征表示进行聚合操作,例如,进行叠加或级联组合操作,以形成对应的第二视频帧中间特征表示,所述第二视频帧中间特征表示中携带有每一个所述第二监控视频帧特征表示的信息;所述视频帧中间特征表示包括所述第一视频帧中间特征表示和所述第二视频帧中间特征表示,即将所述第一视频帧中间特征表示和所述第二视频帧中间特征表示作为所述视频帧中间特征表示。
其中,应当理解的是,在一些实施方式中,所述依据所述第一标识数据、所述第二标识数据和所述视频帧中间特征表示,分析出所述视频种类分析子网络对应的优化第二特征表示的步骤,可以进一步包括以下所述的各具体实施内容:
对所述第二视频帧中间特征表示和第二视频种类特征表示进行相乘运算,以及,将相乘运算的结果进行符合目标规则的计算处理,以形成对应的计算处理第三输出参数,所述第二视频种类特征表示属于基于所述视频种类标识数据与视频种类特征表示之间的视频种类特征初始映射关系,通过从视频种类标识分布匹配出的第二标识数据的视频种类特征表示;
分析出所述第二标识数据的表征参数和所述计算处理第三输出参数之间的差异参数,以及,对配置的目标数据与该差异参数进行相乘运算,以输出对应的计算处理第四输出参数,也就是说,所述计算处理第三输出参数作为所述第二标识数据的预测结果,所述表征参数作为实际结果;
对所述第二视频种类特征表示和第二分帧视频帧总数进行比例系数的确定操作,以及,对所述计算处理第四输出参数和该比例系数进行相乘运算,以输出每一个示例性第四监控视频帧的视频帧维度的第二优化特征表示,第二分帧视频帧总数用于反映所述示例性第四监控视频帧的总数量;
对所述计算处理第四输出参数和所述第二视频帧中间特征表示进行相乘运算,以输出所述第二标识数据对应的标识维度的第二优化特征表示,所述优化第二特征表示包括所述视频帧维度的第二优化特征表示和所述标识维度的第二优化特征表示。
其中,应当理解的是,在一些实施方式中,所述基于所述优化第二特征表示,对所述特征映射关系第一分布和视频种类标识分布进行优化调整的步骤,可以进一步包括以下所述的各具体实施内容:
基于所述优化第二特征表示包括的视频帧维度的第二优化特征表示,对所述特征映射关系第一分布进行优化调整,例如,可以将所述视频帧维度的第二优化特征表示配置到所述特征映射关系第一分布中,如此,可以实现对所述特征映射关系第一分布进行优化调整,之后,可以在所述特征映射关系第一分布中,匹配出对应的视频帧维度的第二优化特征表示;
基于所述优化第二特征表示包括的标识维度的第二优化特征表示,对所述视频种类标识分布进行优化调整,例如,可以将所述标识维度的第二优化特征表示配置到所述视频种类标识分布中,如此,可以实现对所述视频种类标识分布进行优化调整,之后,可以在所述视频种类标识分布中,匹配出对应的标识维度的第二优化特征表示。
其中,应当理解的是,在一些实施方式中,由于需要基于示例性监控视频帧与监控视频帧特征表示之间的视频帧特征初始映射关系进行匹配查找等处理,即需要先确定出示例性监控视频帧对应的初始的监控视频帧特征表示,因此,所述确定出示例性监控视频帧对应的初始的监控视频帧特征表示的步骤,可以进一步包括以下所述的各具体实施内容(在其它实施方式中,也可以随机生成一个初始的监控视频帧特征表示):
基于预先配置的至少两种分割模式,分别对所述示例性监控视频帧进行分割操作,以形成对应的至少两个视频帧区域集合,对于每一个所述视频帧区域集合,该视频帧区域集合包括的多个视频帧区域能够拼接形成所述示例性监控视频帧,每两种所述分割模式都不相同,使得每两个所述视频帧区域集合之间的任意两个视频帧区域都不完全一致,例如,在一种实施方式中,第一种分割方式为,基于第一尺寸对所述示例性监控视频帧进行分割操作,使得对应的每一个视频帧区域的尺寸等于所述第一尺寸,第二种分割方式为,基于第二尺寸对所述示例性监控视频帧进行分割操作,使得对应的每一个视频帧区域的尺寸等于所述第二尺寸,所述第二尺寸不等于所述第二尺寸,又例如,在另一种实施方式中,第一种分割方式为,基于像素点的相邻关系进行分割,使得形成的每一个视频帧区域都属于一个封闭区域,第二种分割方式为,基于像素点的相邻关系进行分割,使得形成的每一个视频帧区域都不属于一个封闭区域,如由至少两个封闭子区域构成,具体的分割方式可以根据实际需求进行配置;
对于每一个所述视频帧区域集合,分别对该视频帧区域集合中的每一个视频帧区域进行无效信息的去除操作,以形成每一个视频帧区域对应的有效视频帧区域,构建出该视频帧区域集合对应的有效视频帧区域集合,其中,无效信息的去除操作可以基于优化形成的神经网络实现,也可以基于预设算法实现,无效信息的具体定义也不受限制,可以根据实际需求进行配置,如异常分析的对象为人员动作时,可以将背景信息作为无效信息;
将所述至少两个视频帧区域集合对应的至少两个有效视频帧区域集合中的一个有效视频帧区域集合,作为主有效视频帧区域集合,其它的有效视频帧区域集合作为辅助有效视频帧区域集合,例如,可以将任意一个有效视频帧区域集合作为主有效视频帧区域集合,也可以按照一定的规则规则进行筛选确认,如将特定分割模式对应的作为有效视频帧区域集合作为辅助有效视频帧区域集合,或者,也可以基于其它方式确定;
对于所述主有效视频帧区域集合中的每一个有效视频帧区域,在各辅助有效视频帧区域集合中,确定出与该有效视频帧区域之间的具有最紧密关系的辅助有效视频帧区域,如将与该有效视频帧区域之间的重合面积最大的一个其它有效视频帧区域作为辅助有效视频帧区域;
对于所述主有效视频帧区域集合中的每一个有效视频帧区域,对该有效视频帧区域进行特征挖掘操作,以形成该有效视频帧区域对应的主区域特征表示,以及,对该有效视频帧区域对应的辅助有效视频帧区域进行特征挖掘操作,以形成该有效视频帧区域对应的辅助区域特征表示,再基于该辅助区域特征表示,对该主区域特征表示进行显著性特征分析操作,以形成该有效视频帧区域对应的显著性特征表示,以及,将该显著性特征表示和该主区域特征表示进行叠加或拼接,以形成对应的聚合区域特征表示;
将所述主有效视频帧区域集合中的每一个有效视频帧区域对应的聚合区域特征表示进行拼接操作,即级联组合操作,以形成所述示例性监控视频帧对应的初始的监控视频帧特征表示。
结合图3,本发明实施例还提供一种基于人工智能和无人机的异常监控装置,可应用于上述基于人工智能和无人机的异常监控系统。其中,所述基于人工智能和无人机的异常监控装置可以包括:
数据网络匹配模块,用于基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络,所述视频标识数据用于反映所述示例性监控视频数据对应的子网络,该子网络属于视频内容挖掘子网络或属于视频种类分析子网络;
网络优化模块,用于基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对所述监控视频分析网络的优化,所述监控视频分析网络包括所述视频内容挖掘子网络和所述视频种类分析子网络,所述视频内容挖掘子网络和所述视频种类分析子网络共用所述特征映射关系第一分布;
视频内容挖掘模块,用于利用优化后的所述监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出所述目标监控视频对应的目标监控视频特征表示,所述目标监控视频基于所述目标无人机对目标区域进行信息采集以形成;
视频种类分析模块,用于利用优化后的所述监控视频分析网络包括的视频种类分析子网络,对所述目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息,所述目标视频种类信息用于反映所述目标区域的区域异常信息。
综上所述,本发明提供的基于人工智能和无人机的异常监控方法及系统,可以先基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络;基于每一个示例性监控视频数据,分别将对应的视频内容挖掘子网络和视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对监控视频分析网络的优化;利用优化后的监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出目标监控视频对应的目标监控视频特征表示;利用优化后的监控视频分析网络包括的视频种类分析子网络,对目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息。基于上述内容,由于视频内容挖掘子网络和视频种类分析子网络共用特征映射关系第一分布,使得视频内容挖掘子网络和视频种类分析子网络之间的联系更为紧密,因此,基于视频内容挖掘子网络挖掘出的目标监控视频特征表示,可以更适用于视频种类分析子网络,因此,可以提高异常监控的可靠度,从而改善现有技术中存在的可靠度不高的问题。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于人工智能和无人机的异常监控方法,其特征在于,包括:
基于每一个示例性监控视频数据中携带的视频标识数据,分析出每一个示例性监控视频数据对应的子网络,所述视频标识数据用于反映所述示例性监控视频数据对应的子网络,该子网络属于视频内容挖掘子网络或属于视频种类分析子网络;
基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整,以实现对所述监控视频分析网络的优化,所述监控视频分析网络包括所述视频内容挖掘子网络和所述视频种类分析子网络,所述视频内容挖掘子网络和所述视频种类分析子网络共用所述特征映射关系第一分布;
利用优化后的所述监控视频分析网络包括的视频内容挖掘子网络,对目标无人机采集到的目标监控视频进行视频内容挖掘操作,以输出所述目标监控视频对应的目标监控视频特征表示,所述目标监控视频基于所述目标无人机对目标区域进行信息采集以形成;
利用优化后的所述监控视频分析网络包括的视频种类分析子网络,对所述目标监控视频特征表示进行视频种类分析操作,以输出对应的目标视频种类信息,所述目标视频种类信息用于反映所述目标区域的区域异常信息;
所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作的步骤,包括:
基于携带有所述视频内容挖掘子网络对应的视频标识数据和分帧处理后的示例性第一监控视频的任意一个示例性监控视频数据,将所述视频内容挖掘子网络进行网络优化操作;
基于携带有所述视频种类分析子网络对应的视频标识数据、所述视频种类分析子网络的子网络种类标识数据、所述示例性监控视频数据的视频种类标识数据和分帧处理后的示例性第二监控视频的任意一个示例性监控视频数据,将所述视频种类分析子网络进行网络优化操作。
2.如权利要求1所述的基于人工智能和无人机的异常监控方法,其特征在于,所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,包括:
分别基于每一个示例性监控视频数据中分帧处理后的示例性第一监控视频,构建出对应的示例性视频数据;
依据所述示例性视频数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示;
依据所述优化第一特征表示,对特征映射关系第一分布和特征映射关系第二分布进行优化调整操作,所述视频内容挖掘子网络包括所述特征映射关系第一分布和所述特征映射关系第二分布。
3.如权利要求2所述的基于人工智能和无人机的异常监控方法,其特征在于,所述分别基于每一个示例性监控视频数据中分帧处理后的示例性第一监控视频,构建出对应的示例性视频数据的步骤,包括:
针对任意一个示例性监控视频数据中分帧处理后的示例性第一监控视频中的任意一个分帧视频帧,基于轮询所述任意一个分帧视频帧在所述分帧处理后的示例性第一监控视频中在前的目标帧数和在后的目标帧数的分帧视频帧,以构建所述任意一个分帧视频帧对应的示例性第一类视频数据;
针对任意一个示例性监控视频数据中分帧处理后的示例性第一监控视频中的任意一个分帧视频帧,基于随机确定的规则对视频帧数据库中抽选操作,以构建出所述任意一个分帧视频帧对应的示例性第二类视频数据,在所述视频帧数据库中抽选出的视频帧与所述示例性第一监控视频中的每一个分帧视频帧都不相同;
所述任意一个示例性第一类视频数据或所述任意一个示例性第二类视频数据都包括示例性第一监控视频帧、示例性第二监控视频帧和示例性标识数据,所述示例性标识数据用于反映所述示例性视频数据属于所述示例性第一类视频数据或属于所述示例性第二类视频数据。
4.如权利要求3所述的基于人工智能和无人机的异常监控方法,其特征在于,所述依据所述示例性视频数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示的步骤,包括:
对于任意一个示例性第一类视频数据或任意一个示例性第二类视频数据,基于示例性监控视频帧与监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,匹配出所述示例性第一监控视频帧对应的监控视频帧特征表示,以及,从所述特征映射关系第二分布中,匹配出所述示例性第二监控视频帧对应的监控视频帧特征表示;
基于所述示例性第一监控视频帧对应的监控视频帧特征表示、所述示例性第二监控视频帧对应的监控视频帧特征表示和对应的示例性标识数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示。
5.如权利要求4所述的基于人工智能和无人机的异常监控方法,其特征在于,所述基于所述示例性第一监控视频帧对应的监控视频帧特征表示、所述示例性第二监控视频帧对应的监控视频帧特征表示和对应的示例性标识数据,分析出所述视频内容挖掘子网络对应的优化第一特征表示的步骤,包括:
对所述示例性第一监控视频帧对应的监控视频帧特征表示和所述示例性第二监控视频帧对应的监控视频帧特征表示进行相乘运算,以及,基于相乘运算的结果进行符合目标规则的计算处理,以输出计算处理第一输出参数;
分析出对应的所述示例性标识数据和所述计算处理第一输出参数之间的差异参数,以及,对配置的目标数据和该差异参数进行相乘运算,以输出对应的计算处理第二输出参数;
对所述计算处理第二输出参数和所述示例性第二监控视频帧对应的监控视频帧特征表示进行相乘运算,以输出所述示例性第一监控视频帧对应的局部优化特征表示;
对所述计算处理第二输出参数和所述示例性第一监控视频帧对应的监控视频帧特征表示进行相乘运算,以输出所述示例性第二监控视频帧对应的局部优化特征表示,所述优化第一特征表示包括所述示例性第一监控视频帧对应的局部优化特征表示和所述示例性第二监控视频帧对应的局部优化特征表示;
其中,所述依据所述优化第一特征表示,对特征映射关系第一分布和特征映射关系第二分布进行优化调整操作的步骤,包括:
基于所述示例性第一监控视频帧对应的局部优化特征表示,对所述特征映射关系第一分布进行优化调整操作;
基于所述示例性第二监控视频帧对应的局部优化特征表示,对所述特征映射关系第二分布进行优化调整操作。
6.如权利要求1所述的基于人工智能和无人机的异常监控方法,其特征在于,所述基于每一个示例性监控视频数据,分别将对应的所述视频内容挖掘子网络和所述视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,包括:
基于每一个示例性监控视频数据中视频种类分析子网络的子网络种类标识数据,分析出每一个示例性监控视频数据对应的视频种类分析子网络的子网络种类;
基于每一个示例性监控视频数据,将对应子网络种类的视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整。
7.如权利要求6所述的基于人工智能和无人机的异常监控方法,其特征在于,所述基于每一个示例性监控视频数据,将对应子网络种类的视频种类分析子网络进行网络优化操作,以对监控视频分析网络包括的特征映射关系第一分布进行优化调整的步骤,包括:
获得任意一个示例性监控视频数据的第一标识数据和第二标识数据;
分别基于示例性第三监控视频帧和示例性第四监控视频帧,挖掘出对应的视频帧中间特征表示,所述示例性第三监控视频帧属于所述第一标识数据对应的至少一个示例性监控视频数据的分帧处理后的示例性第二监控视频,所述示例性第四监控视频帧属于所述第二标识数据对应的至少一个示例性监控视频数据的分帧处理后的示例性第二监控视频;
依据所述第一标识数据、所述第二标识数据和所述视频帧中间特征表示,分析出所述视频种类分析子网络对应的优化第二特征表示;
基于所述优化第二特征表示,对所述特征映射关系第一分布和视频种类标识分布进行优化调整。
8.如权利要求7所述的基于人工智能和无人机的异常监控方法,其特征在于,所述获得任意一个示例性监控视频数据的第一标识数据和第二标识数据的步骤,包括:
基于任意一个示例性监控视频数据对应的视频种类标识数据,得到该任意一个示例性监控视频数据的第一标识数据;
确定出局部的指标参数和整体的指标参数之间的比例系数,以形成所述任意一个视频种类标识数据对应的筛选参数;
基于所述筛选参数,对所述任意一个视频种类标识数据进行筛选处理,以形成所述任意一个示例性监控视频数据的第二标识数据;所述局部的指标参数等于多个示例性监控视频数据中所述任意一个视频种类标识数据的数量的幂运算结果,所述整体的指标参数等于多个示例性监控视频数据中每一个视频种类标识数据的数量的幂运算结果的和值;
并且,所述分别基于示例性第三监控视频帧和示例性第四监控视频帧,挖掘出对应的视频帧中间特征表示的步骤,包括:
基于示例性监控视频帧和监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,分别匹配出每一个示例性第三监控视频帧对应的第一监控视频帧特征表示;
基于示例性监控视频帧和监控视频帧特征表示之间的视频帧特征初始映射关系,从所述特征映射关系第一分布中,分别匹配出每一个示例性第四监控视频帧对应的第二监控视频帧特征表示;
对每一个所述第一监控视频帧特征表示进行聚合操作,以形成对应的第一视频帧中间特征表示,所述第一视频帧中间特征表示中携带有每一个所述第一监控视频帧特征表示的信息;
对每一个所述第二监控视频帧特征表示进行聚合操作,以形成对应的第二视频帧中间特征表示,所述第二视频帧中间特征表示中携带有每一个所述第二监控视频帧特征表示的信息;所述视频帧中间特征表示包括所述第一视频帧中间特征表示和所述第二视频帧中间特征表示。
9.一种基于人工智能和无人机的异常监控系统,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1-8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310388518.6A CN116109988B (zh) | 2023-04-12 | 2023-04-12 | 基于人工智能和无人机的异常监控方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310388518.6A CN116109988B (zh) | 2023-04-12 | 2023-04-12 | 基于人工智能和无人机的异常监控方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116109988A CN116109988A (zh) | 2023-05-12 |
CN116109988B true CN116109988B (zh) | 2023-06-13 |
Family
ID=86254742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310388518.6A Active CN116109988B (zh) | 2023-04-12 | 2023-04-12 | 基于人工智能和无人机的异常监控方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116109988B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994609B (zh) * | 2023-09-28 | 2023-12-01 | 苏州芯合半导体材料有限公司 | 应用于智能生产线的数据分析方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084968B (zh) * | 2020-09-11 | 2023-05-26 | 清华大学 | 基于空中监控视频的语义表征方法、系统及电子设备 |
GB2605948A (en) * | 2021-04-06 | 2022-10-26 | Tvs Supply Chain Solutions Ltd | Warehouse monitoring system |
CN115091472B (zh) * | 2022-08-26 | 2022-11-22 | 珠海市南特金属科技股份有限公司 | 基于人工智能的目标定位方法及装夹机械手控制系统 |
-
2023
- 2023-04-12 CN CN202310388518.6A patent/CN116109988B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116109988A (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116310914B (zh) | 基于人工智能的无人机监控方法及系统 | |
CN116109988B (zh) | 基于人工智能和无人机的异常监控方法及系统 | |
CN116126945B (zh) | 基于数据分析的传感器运行状态分析方法和系统 | |
CN116126947B (zh) | 应用于企业管理系统的大数据分析方法及系统 | |
CN116091796B (zh) | 基于人工智能的无人机采集数据处理方法及系统 | |
CN115205765B (zh) | 一种基于fpga的视频分析方法及系统 | |
CN117274913A (zh) | 一种基于智慧楼宇的安全保障方法及系统 | |
CN116935280A (zh) | 一种基于视频分析的行为预测方法及系统 | |
CN115620243B (zh) | 基于人工智能的污染源监测方法、系统及云平台 | |
CN115375886A (zh) | 一种基于云计算服务的数据采集方法及系统 | |
CN117149846B (zh) | 一种基于数据融合的电力数据分析方法和系统 | |
CN116996403B (zh) | 应用ai模型的网络流量诊断方法及系统 | |
CN113064812A (zh) | 一种项目开发过程质量缺陷预测方法、装置及介质 | |
CN117218594A (zh) | 一种安防监控数据的处理方法及系统 | |
CN116994609B (zh) | 应用于智能生产线的数据分析方法及系统 | |
CN117041121B (zh) | 基于数据挖掘的物联网异常监测方法及系统 | |
CN115909215B (zh) | 一种基于目标检测的边缘入侵预警方法及系统 | |
CN117115741A (zh) | 一种基于智慧楼宇的用户监控方法及系统 | |
CN115980279B (zh) | 氖气纯度检测系统的稳定性优化方法及系统 | |
CN117315423A (zh) | 一种基于智慧楼宇的用户预警方法及系统 | |
CN115082709B (zh) | 遥感大数据处理方法、系统及云平台 | |
CN117351422A (zh) | 一种智慧楼宇的监控方法及系统 | |
CN117176992A (zh) | 一种基于互联网的监控视频处理方法及系统 | |
CN117197748A (zh) | 一种基于视频分析的行为管理方法及系统 | |
CN117422302A (zh) | 基于风控模型的信息预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |