CN112232242A - 基于人工智能的涉水识别方法及装置 - Google Patents

基于人工智能的涉水识别方法及装置 Download PDF

Info

Publication number
CN112232242A
CN112232242A CN202011131767.XA CN202011131767A CN112232242A CN 112232242 A CN112232242 A CN 112232242A CN 202011131767 A CN202011131767 A CN 202011131767A CN 112232242 A CN112232242 A CN 112232242A
Authority
CN
China
Prior art keywords
video
processed
wading
processing
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011131767.XA
Other languages
English (en)
Inventor
夏润亮
李涛
王敏
金锦
朱敏
刘启兴
李斌
俞彦
杨无双
冯兴凯
李冰
吴丹
郝臻
薛阳茹
焦莉华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yellow River Institute of Hydraulic Research
Original Assignee
Yellow River Institute of Hydraulic Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yellow River Institute of Hydraulic Research filed Critical Yellow River Institute of Hydraulic Research
Priority to CN202011131767.XA priority Critical patent/CN112232242A/zh
Publication of CN112232242A publication Critical patent/CN112232242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人工智能的涉水识别方法及装置，包括对神经网络进行训练，构建推理模型；获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。本发明使用计算机视觉分析技术，分析广泛分布的摄像头采集的影像资料。对于水面漂浮物、封闭区域非法入侵、违法行为等主题进行自动识别，便于管理人员及时采取措施。

Description

基于人工智能的涉水识别方法及装置
技术领域
本发明属于人工智能技术领域，具体涉及一种基于人工智能的涉水识别方法及装置。
背景技术
在计算机科学中，人工智能(AI)有时被称为机器智能，是由机器展示的智能，与人类和动物展示的自然智能形成对比。通俗地说，“人工智能”一词用来描述模仿人类与其他人类思维相关联的“认知”功能的机器，如“学习”和“解决问题”。而在人工智能中计算机视觉是一门研究如何对数字视频或视频进行高层语义理解的交叉学科，它赋予机器“看”的智能，需要实现人的大脑中(主要是视觉皮层区)的视觉能力。
相关技术中，视频监控是安保和巡查一个不可或缺的组成部分。一般情况下，人工参照大批量长时间的视频录像去监控河湖漂浮物、涉河违法事件十分困难，也是一项非常乏味的任务。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于人工智能的涉水识别方法及装置，以解决现有技术中监控河湖漂浮物、涉河违法事件十分困难的问题。
为实现以上目的，本发明采用如下技术方案：一种基于人工智能的涉水识别方法，包括：
对神经网络进行训练，构建推理模型；
获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；
所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
进一步的，所述对神经网络进行预训练，构建推理模型，包括：
获取视频流，对所述视频流进行处理得到视频帧数据；
对所述视频帧数据进行类别标注后，输入神经网络进行训练；
训练至模型收敛，输出推理模型。
进一步的，所述对所述视频流进行处理得到视频帧数据，包括：
对视频进行16帧采样，包括：随机采样、连续采样、连续滑动采样。
进一步的，还包括：
对视频进行调整为新视频；所述调整包括：旋转、尺寸调整、颜色通道畸变、几何视频畸变、边界框注释中的像素畸变；
将所述新视频输入到所述推理模型中以更新所述推理模型。
进一步的，所述获取视频并处理，得到待处理视频，包括：
对所述视频尺寸调整至预设尺寸，将所述调整为预设尺寸的视频确定为待处理视频。
进一步的，所述推理模型对所述视频进行分析处理，包括：
对待处理视频进行处理得到待处理视频帧数据；
所述推理模型对所述待处理视频帧数据进行分析，得到RGB时序差异；
根据所述RGB时序差异识别涉水行为类别。
进一步的，涉水行为类别包括跑步、驻足、步行、指指点点、向湖内扔垃圾、游泳、打伞、爬栏杆。
进一步的，通过摄像头实时采集任务区域的视频。
本申请实施例提供一种基于人工智能的涉水识别装置，包括：
构建模块，用于对神经网络进行训练，构建推理模型；
处理模块，用于获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；
识别模块，用于所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
进一步的，所述对神经网络进行预训练，构建推理模型，包括：
获取视频流，对所述视频流进行处理得到视频帧数据；
对所述视频帧数据进行类别标注后，输入神经网络进行训练；
训练至模型收敛，输出推理模型。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于人工智能的涉水识别方法，本发明使用计算机视觉分析技术，分析广泛分布的摄像头采集的影像资料。对于水面漂浮物、封闭区域非法入侵、违法行为等主题进行自动识别，便于管理人员及时采取措施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于人工智能的涉水识别方法的步骤示意图；
图2为本发明基于人工智能的涉水识别装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于人工智能的涉水识别方法。
如图1所示，本申请实施例中提供的基于人工智能的涉水识别方法包括：
S101，对神经网络进行训练，构建推理模型；
S102，获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；
S103，所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
基于人工智能的涉水识别方法的工作原理为：首先对卷积神经网络进行训练，构建一个推理模型，推理模型能够根据输入的视频流输出涉水行为类别。当获取到视频后，先对视频进行格式或者大小上的处理，得到待处理视频，然后将待处理视频输入到推理模型中，推理模型对待处理视频进行解析，识别涉水行为类别。
一些实施例中，所述对神经网络进行预训练，构建推理模型，包括：
获取视频流，对所述视频流进行处理得到视频帧数据；
对所述视频帧数据进行类别标注后，输入神经网络进行训练；
训练至模型收敛，输出推理模型。
可以理解的是，本申请需要先对视频流进行剪辑，去除冗余信息，为了保留更有判别性的特征，对数据进行更为细致的剪辑，由于大量视频读取操作、1920x1080视频帧操作消耗大量内存，导致运行缓慢，甚至运算超时。所以对所有数据进行预处理，将视频转为视频帧，将视频帧大小重新设置为320x240。
本申请中，由于大量视频读取操作、1920x1080视频帧操作消耗大量内存，导致运行缓慢，甚至运算超时。所以对所有数据进行预处理，将视频转为视频帧，将视频帧大小重新设置，减少运算量。
优选的，所述对所述视频流进行处理得到视频帧数据，包括：
对视频进行16帧采样，包括：随机采样、连续采样、连续滑动采样。
具体的，本网络将16帧图像作为一个视频片段送入网络。对完整视频进行16帧采样时，有三种方式：(1)随机采样(数据大小为视频总数)；(2)连续采样(数据大小为视频总数)；(3)连续滑动采样(数据大小为所有视频生成的片段数)。
其中，随机采样是对送入网络的视频，随机采取16帧作为输入；连续采样是对每个视频连续采样，单次迭代对每个视频取样一次，下一轮迭代接着上一轮迭代每个视频结束位置进行采样；连续滑动采样是采取滑动取样方式，生成每个视频所有的片段，这种方式将根据起始帧和结束帧序号采样16帧图像，每一个视频片段之间可以有重叠也可以没有，可根据自身需求进行设置。
本申请在构建推理模型后，还包括：
对视频进行调整为新视频；所述调整包括：旋转、尺寸调整、颜色通道畸变、几何视频畸变、边界框注释中的像素畸变；
将所述新视频输入到所述推理模型中以更新所述推理模型。
一些实施例中，所述获取视频并处理，得到待处理视频，包括：
对所述视频尺寸调整至预设尺寸，将所述调整为预设尺寸的视频确定为待处理视频。
同样的，本申请需要先对视频流进行剪辑，去除冗余信息，为了保留更有判别性的特征，对数据进行更为细致的剪辑，由于大量视频读取操作、1920x1080视频帧操作消耗大量内存，导致运行缓慢，甚至运算超时。所以对所有数据进行预处理，将视频转为视频帧，将视频帧大小重新设置为320x240。
优选的，所述推理模型对所述视频进行分析处理，包括：
对待处理视频进行处理得到待处理视频帧数据；
所述推理模型对所述待处理视频帧数据进行分析，得到RGB时序差异；
根据所述RGB时序差异识别涉水行为类别。
需要说明的是，本申请提供的推理模型的核心是一个三维卷积核，由于视频监控存在较固定的背景，因此有人员及物体进入画面时就变成了前景，三维卷积核是处理前景和背景之间产生的RGB时序差异，也就是处理空间上RGB变化信息和时序信息。从而，根据RGB时序差异识别涉水行为类别。
一些实施例中，所述涉水行为类别包括跑步、驻足、步行、指指点点、向湖内扔垃圾、游泳、打伞、爬栏杆。
其中，跑步、驻足、步行、指指点点、打伞等行为并没有涉水没有危险概率，而向湖内扔垃圾、游泳、爬栏杆等行为具有一定危险性，本申请的目的就是为了识别这些危险行为。
优选的，本申请中的视频是通过摄像头实时采集任务区域的视频。
如图2所示，本申请实施例提供一种基于人工智能的涉水识别装置，包括：
构建模块201，用于对神经网络进行训练，构建推理模型；
处理模块202，用于获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；
识别模块203，用于所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
本申请实施例提供一种人工智能的涉水识别装置的工作原理是，构建模块301对神经网络进行训练，构建推理模型；处理模块302获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；识别模块303所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的基于人工智能的涉水识别方法；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种基于人工智能的涉水识别方法及装置，包括本发明涉及一种基于人工智能的涉水识别方法及装置，包括对神经网络进行训练，构建推理模型；获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。本发明使用计算机视觉分析技术，分析广泛分布的摄像头采集的影像资料。对于水面漂浮物、封闭区域非法入侵、违法行为等主题进行自动识别，便于管理人员及时采取措施。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于人工智能的涉水识别方法，其特征在于，包括：
对神经网络进行训练，构建推理模型；
获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；
所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
2.根据权利要求1所述的方法，其特征在于，所述对神经网络进行预训练，构建推理模型，包括：
获取视频流，对所述视频流进行处理得到视频帧数据；
对所述视频帧数据进行类别标注后，输入神经网络进行训练；
训练至模型收敛，输出推理模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述视频流进行处理得到视频帧数据，包括：
对视频进行16帧采样，包括：随机采样、连续采样、连续滑动采样。
4.根据权利要求1所述的方法，其特征在于，还包括：
对视频进行调整为新视频；所述调整包括：旋转、尺寸调整、颜色通道畸变、几何视频畸变、边界框注释中的像素畸变；
将所述新视频输入到所述推理模型中以更新所述推理模型。
5.根据权利要求1所述的方法，其特征在于，所述获取视频并处理，得到待处理视频，包括：
对所述视频尺寸调整至预设尺寸，将所述调整为预设尺寸的视频确定为待处理视频。
6.根据权利要求5所述的方法，其特征在于，所述推理模型对所述视频进行分析处理，包括：
对待处理视频进行处理得到待处理视频帧数据；
所述推理模型对所述待处理视频帧数据进行分析，得到RGB时序差异；
根据所述RGB时序差异识别涉水行为类别。
7.根据权利要求6所述的方法，其特征在于，
所述涉水行为类别包括跑步、驻足、步行、指指点点、向湖内扔垃圾、游泳、打伞、爬栏杆。
8.根据权利要求1所述的方法，其特征在于，
通过摄像头实时采集任务区域的视频。
9.一种基于人工智能的涉水识别装置，其特征在于，包括：
构建模块，用于对神经网络进行训练，构建推理模型；
处理模块，用于获取视频并处理，得到待处理视频，将所述待处理视频输入到所述推理模型中；
识别模块，用于所述推理模型对所述待处理视频进行分析处理，识别涉水行为类别。
10.根据权利要求9所述的装置，其特征在于，所述对神经网络进行预训练，构建推理模型，包括：
获取视频流，对所述视频流进行处理得到视频帧数据；
对所述视频帧数据进行类别标注后，输入神经网络进行训练；
训练至模型收敛，输出推理模型。
CN202011131767.XA 2020-10-21 2020-10-21 基于人工智能的涉水识别方法及装置 Pending CN112232242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011131767.XA CN112232242A (zh) 2020-10-21 2020-10-21 基于人工智能的涉水识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011131767.XA CN112232242A (zh) 2020-10-21 2020-10-21 基于人工智能的涉水识别方法及装置

Publications (1)

Publication Number Publication Date
CN112232242A true CN112232242A (zh) 2021-01-15

Family

ID=74118720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011131767.XA Pending CN112232242A (zh) 2020-10-21 2020-10-21 基于人工智能的涉水识别方法及装置

Country Status (1)

Country Link
CN (1) CN112232242A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
US20190294881A1 (en) * 2018-03-22 2019-09-26 Viisights Solutions Ltd. Behavior recognition
CN111046821A (zh) * 2019-12-19 2020-04-21 东北师范大学人文学院 一种视频行为识别方法、系统及电子设备
CN111126115A (zh) * 2018-11-01 2020-05-08 顺丰科技有限公司 暴力分拣行为识别方法和装置
CN111353394A (zh) * 2020-02-20 2020-06-30 中山大学 一种基于三维交替更新网络的视频行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294881A1 (en) * 2018-03-22 2019-09-26 Viisights Solutions Ltd. Behavior recognition
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
CN111126115A (zh) * 2018-11-01 2020-05-08 顺丰科技有限公司 暴力分拣行为识别方法和装置
CN111046821A (zh) * 2019-12-19 2020-04-21 东北师范大学人文学院 一种视频行为识别方法、系统及电子设备
CN111353394A (zh) * 2020-02-20 2020-06-30 中山大学 一种基于三维交替更新网络的视频行为识别方法

Similar Documents

Publication Publication Date Title
CN110909780B (zh) 一种图像识别模型训练和图像识别方法、装置及系统
CN111370020A (zh) 一种将语音转换成唇形的方法、系统、装置和存储介质
CN112085010A (zh) 一种基于图像识别的口罩检测和部署系统及方法
Chen et al. End-to-end learning of object motion estimation from retinal events for event-based object tracking
CN110852256B (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN112766195B (zh) 一种电气化铁路弓网燃弧视觉检测方法
CN112528764B (zh) 人脸表情识别方法、系统、装置及可读存储介质
CN111626126A (zh) 一种人脸情绪识别的方法、装置、介质及电子设备
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN111428664A (zh) 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法
CN112287741A (zh) 基于图像处理的农事操作管理方法及装置
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
Shah et al. Efficient portable camera based text to speech converter for blind person
CN113570689A (zh) 人像卡通化方法、装置、介质和计算设备
CN115546899A (zh) 一种基于深度学习的考场异常行为分析方法、系统及终端机
CN103500456A (zh) 一种基于动态贝叶斯模型网络的对象跟踪方法和设备
CN114359333A (zh) 运动目标提取方法、装置、计算机设备和存储介质
CN109785386A (zh) 物体识别定位方法和装置
CN112232242A (zh) 基于人工智能的涉水识别方法及装置
CN112417974A (zh) 一种公共卫生监控方法
CN116886869A (zh) 一种基于ai的视频监控系统及视频追溯方法
CN109977891A (zh) 一种基于神经网络的目标检测与识别方法
CN113505729A (zh) 基于人体面部运动单元的面试作弊检测方法及系统
Sixt Rendergan: Generating realistic labeled data–with an application on decoding bee tags
CN113435248A (zh) 口罩人脸识别底库增强方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115

RJ01 Rejection of invention patent application after publication