CN118230249A - 一种入侵物体检测识别方法、装置、设备及存储介质 - Google Patents
一种入侵物体检测识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118230249A CN118230249A CN202410445844.0A CN202410445844A CN118230249A CN 118230249 A CN118230249 A CN 118230249A CN 202410445844 A CN202410445844 A CN 202410445844A CN 118230249 A CN118230249 A CN 118230249A
- Authority
- CN
- China
- Prior art keywords
- intrusion
- invasive
- detection
- state
- invasion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000009545 invasion Effects 0.000 claims abstract description 88
- 230000003068 static effect Effects 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 36
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种入侵物体检测识别方法、装置、设备及存储介质，方法包括：通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；对图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测；当检测到从有入侵物体转变为无入侵物体时，通过动态视觉传感器获取前三个时刻的图像帧判断入侵物体处于离开状态还是静止状态；当入侵物体状态为静止时，将入侵物体的坐标区域输入传统视觉传感器，对入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。采用本发明实施例，能够对各种情况下的入侵物体进行检测识别并避免对入侵物体的具体状态进行误判，实现功耗更低，检测识别准确率更高、适应性更强的效果。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种入侵物体检测识别方法、装置、设备及存储介质。
背景技术
随着科技的不断进步，入侵物体检测方法是目前安全监控系统重要的组成部分，主要用于识别并监测系统或区域内的未经授权的物体或人员。
然而，现有的入侵物体检测方法难以检测复杂背景下的入侵物体，且容易对入侵物体的具体状态进行误判，导致入侵物体检测识别准确率低、适应性差。
发明内容
本发明提供一种入侵物体检测识别方法、装置、设备及存储介质，以解决现有技术难以检测复杂背景下的入侵物体且容易对入侵物体的具体状态进行误判的问题，提高检测准确率和适应性。
为实现上述目的，本发明实施例提供了一种入侵物体检测识别方法，包括：
通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；
对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；
当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；
当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。
作为上述方案的改进，所述对所述图像帧中的感兴趣区域进行初始化的方式，包括自动方式和手动方式；其中，
所述自动方式，具体为采用训练好的分割网络对所述图像帧进行分割，得到第一结果图；对在初始化时间内生成的所述第一结果图进行与操作，得到初始化的感兴趣区域；
所述手动方式，具体为通过I/O设备在所述图像帧上绘制矩形框作为感兴趣区域，并设置事件数量阈值，得到初始化的感兴趣区域。
作为上述方案的改进，所述根据不同算力进行物体入侵检测，包括：
当算力较高时，采用训练好的分割网络对所述图像帧进行分割，得到第二结果图；根据所述第二结果图，检测有无入侵物体；
当算力有限时，对所述事件流进行去噪处理后，并统计所有在所述感兴趣区域中的事件流，得到统计结果；通过所述统计结果是否超过预设的事件数量阈值，来检测有无入侵物体。
作为上述方案的改进，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态，包括：
基于训练好的分割网络，分别对所述前三个时刻的图像帧进行分割，得到所述前三个时刻的分割结果图；
在后续的每一时刻里，循环覆盖所述分割结果图并检测有无入侵物体产生，得到第一检测结果；
当所述第一检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的分割结果在所述感兴趣区域中的位置；
若所述入侵物体的分割结果在所述感兴趣区域的边缘位置且整体呈现从边缘离开的趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的分割结果在所述感兴趣区域的中心区域成像，则判定所述入侵物体为静止状态。
作为上述方案的改进，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态，包括：
分别对所述前三个时刻的图像帧的事件流进行去噪处理，得到所述前三个时刻的去噪事件帧；
在后续的每一时刻里，循环覆盖所述去噪事件帧并检测有无入侵物体产生，得到第二检测结果；
当所述第二检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的事件流在所述感兴趣区域中的位置；
若所述入侵物体的事件流在所述感兴趣区域的边缘位置且整体事件流数量呈现减少趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的事件流在所述感兴趣区域的中心区域，则判定所述入侵物体为静止状态。
作为上述方案的改进，所述对所述入侵物体进行识别，得到其种类、置信度和具体位置坐标，包括：
将所述传统视觉传感器预先拍摄的运动物体数据集，输入至卷积神经网络中进行特征值提取和模型训练，得到训练好的识别模型；
基于所述识别模型，对所述坐标区域进行入侵物体识别和背景差分操作，得到所述入侵物体的种类、置信度和具体位置坐标。
为实现上述目的，本发明实施例还提供了一种入侵物体检测识别装置，包括：
图像帧获取模块，用于通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；
物体入侵检测模块，用于对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；
物体状态判断模块，用于当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；
入侵物体识别模块，用于当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。
为实现上述目的，本发明实施例还提供一种入侵物体检测识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述入侵物体检测识别方法。
为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述入侵物体检测识别方法。
为实现上述目的，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序；其中，所述计算机程序在运行时控制所述程序产品所在的设备执行上述入侵物体检测识别方法。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的入侵物体检测识别方法、装置、设备及存储介质，通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标，能够基于传统视觉传感器和动态视觉传感器的双目结合，通过传统视觉传感器和动态视觉传感器的双目结合，能够对各种情况下的入侵物体进行检测识别并避免对入侵物体的具体状态进行误判，在保证具有较高入侵物体检测识别准确率的同时，实现功耗更低，适应性更强的效果。
附图说明
图1是本发明实施例提供的入侵物体检测识别方法的流程图；
图2是本发明实施例提供的入侵物体检测识别装置的结构框图；
图3是本发明实施例提供的入侵物体检测识别设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。
参见图1，图1是本发明实施例提供的入侵物体检测识别方法的流程图，所述入侵物体检测识别方法，包括步骤S1至步骤S4，具体如下：
S1、通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；
S2、对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；
S3、当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；
S4、当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。
可以理解的是，传统视觉传感器用于拍摄静态图像帧；动态视觉传感器用于对所拍摄区域所有运动物体进行运动感知，并输出事件流，通过处理器将事件流转换为图像帧。
具体的，传统视觉传感器使用光敏元件来捕捉光线，并将其转换为电信号，然后通过图像处理算法生成静态图像，能提供高分辨率和高质量的静态图像帧，但在实际应用中，传统视觉传感器下会出现很多复杂背景下的入侵物体，难以检测，且对于未训练的新类型目标无法检出，在入侵检测方面会有较大功耗，造成算力浪费；动态视觉传感器使用类似于人眼的方式，不连续地采集事件，只在感知到场景中发生变化时才以异步方式输出事件流，因而具有高动态范围、低延迟和低功耗等特点，但由于只捕捉变化，而不是整个场景，故无法判断非运动入侵物体的具体状态，只适用于目标快速运动或背景固定的特定场景区域进行入侵检测。
进一步的，动态视觉传感器中，当对数尺度中的像素强度变化大于阈值时，触发事件，事件的极性反映了变化的方向。一组事件ε可以定义为：
其中，ek表示为第k个事件，xk表示的事件触发位置像素的横坐标，yk表示的事件触发位置像素的纵坐标，tk表示事件触发的时间戳，pk表示第k个事件的极性，N表示事件总数。示例性的，根据事件ε的横坐标和纵坐标，将在30毫秒内产生的一系列事件记录到1280*800的矩阵中，从而形成事件帧，则将30毫秒内产生的所有事件以二值图的方式生成事件帧的公式为：
其中，g(x,y)表示为事件帧中像素位置为(x,y)处的像素值，pk表示为极性值，tk表示事件触发的时间戳，δ(·)是狄拉克德尔塔函数，t(x,y)表示为像素位置为(x,y)处的时间戳。
在本发明实施例中，通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标，能够基于传统视觉传感器和动态视觉传感器的双目结合，通过传统视觉传感器和动态视觉传感器的双目结合，能够对各种情况下的入侵物体进行检测识别并避免对入侵物体的具体状态进行误判，在保证具有较高入侵物体检测识别准确率的同时，实现功耗更低，适应性更强的效果。
在一种可选的实施例中，所述对所述图像帧中的感兴趣区域进行初始化的方式，包括自动方式和手动方式；其中，
所述自动方式，具体为采用训练好的分割网络对所述图像帧进行分割，得到第一结果图；对在初始化时间内生成的所述第一结果图进行与操作，得到初始化的感兴趣区域；
所述手动方式，具体为通过I/O设备在所述图像帧上绘制矩形框作为感兴趣区域，并设置事件数量阈值，得到初始化的感兴趣区域。
在本发明实施例中，采用训练好的分割网络对感兴趣区域进行自动初始化或手动绘制感兴趣区域进行初始化，能够专注于感兴趣区域内入侵物体的检测，减少了不必要的计算和处理，从而提高了检测效率和准确性。
示例性的，对所述图像帧中的感兴趣区域进行初始化的自动方式，具体为：
步骤一、获取训练数据集，即将获取的图像帧分为训练集和测试集并进行标注，得到各种类型入侵物体数据集。
步骤二、构建基于下采样和上采样方法以及多分辨率特征融合的分割网络；
步骤三、将所述训练集输入到所述分割网络中，对所述分割网络进行迭代训练，得到训练好的分割网络；其中，所述分割网络的交叉熵损失函数L为：
其中，n是样本数量，yi是实际标签(0或1)，pi是分割网络预测为目标的概率。
步骤四、在正常工作环境下，将动态视觉传感器生成所有图像帧输入到所述训练好的分割网络，得到第一结果图；对在初始化时间内生成的所述第一结果图进行与操作，得到初始化的感兴趣区域。
在一种可选的实施例中，所述根据不同算力进行物体入侵检测，包括：
当算力较高时，采用训练好的分割网络对所述图像帧进行分割，得到第二结果图；根据所述第二结果图，检测有无入侵物体；
当算力有限时，对所述事件流进行去噪处理后，并统计所有在所述感兴趣区域中的事件流，得到统计结果；通过所述统计结果是否超过预设的事件数量阈值，来检测有无入侵物体。
在本发明实施例中，根据实际的算力情况，选择采用训练后的分割网络对图像帧进行分割并检测，或选择统计事件流是否超出预设事件流数量阈值进行物体入侵检测，保证不同计算资源水平下都能高效、准确地实现对入侵物体的初步检测，提高检测的适应性。
示例性的，当实际的算力较高时，通过采用训练好的分割网络对图像帧进行精确分割得到的第二结果图来检测有无入侵物体；其中，所述分割网络包括：下采样模块和上采样模块；其中，下采样模块主要进行卷积和最大池化操作以完成各种尺度的特征提取，卷积运算用于提取图像的精确特征，池化层用于降低图像的特征尺度，从而能够更好的兼顾到各种尺度的特征；上采样模块主要进行反卷积和拼接操作以完成对于结果的预测，反卷积用于对低尺度特征进行特征重新放大，一般采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，拼接目的在于对前后得到的两种同样尺度大小的特征进行融合，从而得到更为准确的特征图。
当实际的算力有限时，可以直接在事件流的基础上进行检测，通过检测事件流数量有无超过设定阈值从而判断有无入侵物体产生具体为：先对事件流进行去噪操作，再统计所有在感兴趣区域中的事件流，得到统计结果；当所述统计结果超过预先设定好阈值后，则初步判断为有入侵物体产生。
可以理解的是，由于动态视觉传感器的差分成像特性，导致其对于静止物体无法成像，即当动态传感器的检测结果从有入侵物体转变为无入侵物体时，表示入侵物体不运动，但此时并不能够判断出所述入侵物体是否仍存在，因此需要对入侵物体的当前状态进行检测。
在一种可选的实施例中，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态，包括：
基于训练好的分割网络，分别对所述前三个时刻的图像帧进行分割，得到所述前三个时刻的分割结果图；
在后续的每一时刻里，循环覆盖所述分割结果图并检测有无入侵物体产生，得到第一检测结果；
当所述第一检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的分割结果在所述感兴趣区域中的位置；
若所述入侵物体的分割结果在所述感兴趣区域的边缘位置且整体呈现从边缘离开的趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的分割结果在所述感兴趣区域的中心区域成像，则判定所述入侵物体为静止状态。
在本发明实施例中，对于动态传感器检测到的入侵物体的消失时刻，采用训练好的分割网络对消失时刻前若干图像帧进行入侵物体的当前状态进行检测，通过分析入侵物体在感兴趣区域中的位置和运动趋势，能够提高了对非运动物体状态处于静止状态或离开状态的判断准确性，从而减少了对入侵物体的误判。
示例性的，基于训练好的分割网络，分别对所述前三个时刻的图像帧进行分割，得到所述前三个时刻的分割结果图；其中，所述分割结果图是被分割成分为前景和背景的二值图；在之后的每一时刻里，会循环覆盖这三张分割结果图；每当入侵物体检测结果从有入侵物体转变为无入侵物体时，再进行静止或离开的逻辑判断，若所述入侵物体的分割结果在所述感兴趣区域的边缘位置(例如设定为感兴趣区域上下左右各50个像素距离内)且整体呈现从边缘离开的趋势，则判定所述入侵物体为离开状态，说明已无入侵物体；若所述入侵物体的分割结果在所述感兴趣区域的中心区域成像，则判定所述入侵物体为静止状态，说明入侵物体仍存在。
在一种可选的实施例中，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态，包括：
分别对所述前三个时刻的图像帧的事件流进行去噪处理，得到所述前三个时刻的去噪事件帧；
在后续的每一时刻里，循环覆盖所述去噪事件帧并检测有无入侵物体产生，得到第二检测结果；
当所述第二检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的事件流在所述感兴趣区域中的位置；
若所述入侵物体的事件流在所述感兴趣区域的边缘位置且整体事件流数量呈现减少趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的事件流在所述感兴趣区域的中心区域，则判定所述入侵物体为静止状态。
在本发明实施例中，对于动态传感器检测到的入侵物体的消失时刻，基于事件流的数量和位置对消失时刻前若干图像帧进行入侵物体的当前状态进行检测，通过分析入侵物体在感兴趣区域中的位置和运动趋势，能够提高了对非运动物体状态处于静止状态或离开状态的判断准确性，从而减少了对入侵物体的误判。
示例性的，首先分别对所述前三个时刻的图像帧的事件流进行去噪处理，得到所述前三个时刻的去噪事件帧；在之后的每一时刻里，会循环覆盖这三张去噪事件帧；每当入侵物体检测结果从有入侵物体转变为无入侵物体时，再进行静止或离开的逻辑判断，若若所述入侵物体的事件流在所述感兴趣区域的边缘位置(例如设定为感兴趣区域上下左右各50个像素距离内)且整体事件流数量呈现减少趋势，则判定所述入侵物体为离开状态，说明已无入侵物体；若所述入侵物体的事件流在所述感兴趣区域的中心区域，则判定所述入侵物体为静止状态，说明入侵物体仍存在。
在一种可选的实施例中，所述对所述入侵物体进行识别，得到其种类、置信度和具体位置坐标，包括：
将所述传统视觉传感器预先拍摄的运动物体数据集，输入至卷积神经网络中进行特征值提取和模型训练，得到训练好的识别模型；
基于所述识别模型，对所述坐标区域进行入侵物体识别和背景差分操作，得到所述入侵物体的种类、置信度和具体位置坐标。
可以理解的是，对入侵物体进行初步检测和状态判断后，为了避免对入侵物体的误判导致检测错误，在动态视觉传感器的基础上添加传统视觉传感器作为第二保障。每当检测结果从有入侵物体转变为无入侵物体时，将启动传统视觉传感器以进一步判断是否存在静止入侵物体，若存在，则发送有入侵物体结果，若不存在，则关闭传感器工作。
在本发明实施例中，将处于静止状态的入侵物体输入传统视觉传感器，并基于卷积神经网络对入侵物体进一步进行检测识别，通过传统视觉传感器和动态视觉传感器的双目结合，能够对各种情况下的入侵物体进行检测识别并避免对入侵物体的具体状态进行误判，在保证具有较高入侵物体检测识别准确率的同时，实现功耗更低，适应性更强的效果。
示例性的，将传统视觉传感器预先拍摄的俯视角度下的运动物体数据集，输入至以CSPDarknet(Cross Stage Partial Darknet，跨阶段局部深度神经网络)模型为主干的卷积神经网络进行特征值提取和模型训练；对所述入侵物体的坐标区域进行行入侵物体识别和背景差分操作，得到入侵物体识别结果和差分结果，所述差分结果用于确认那些未经训练的入侵物体数据；输出所述入侵物体的种类、置信度和具体位置坐标。
本发明实施例提供的入侵物体检测识别方法，通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标，通过传统视觉传感器和动态视觉传感器的双目结合，能够对各种情况下的入侵物体进行检测识别并避免对入侵物体的具体状态进行误判，在保证具有较高入侵物体检测识别准确率的同时，实现功耗更低，适应性更强的效果。
参见图2，图2是本发明实施例提供的入侵物体检测识别装置10的结构框图，所述入侵物体检测识别装置10，包括：
图像帧获取模块11，用于通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；
物体入侵检测模块12，用于对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；
物体状态判断模块13，用于当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；
入侵物体识别模块14，用于当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。
可选的，所述对所述图像帧中的感兴趣区域进行初始化的方式，包括自动方式和手动方式；其中，
所述自动方式，具体为采用训练好的分割网络对所述图像帧进行分割，得到第一结果图；对在初始化时间内生成的所述第一结果图进行与操作，得到初始化的感兴趣区域；
所述手动方式，具体为通过I/O设备在所述图像帧上绘制矩形框作为感兴趣区域，并设置事件数量阈值，得到初始化的感兴趣区域。
可选的，所述物体入侵检测模块12，还用于：
当算力较高时，采用训练好的分割网络对所述图像帧进行分割，得到第二结果图；根据所述第二结果图，检测有无入侵物体；
当算力有限时，对所述事件流进行去噪处理后，并统计所有在所述感兴趣区域中的事件流，得到统计结果；通过所述统计结果是否超过预设的事件数量阈值，来检测有无入侵物体。
可选的，所述物体状态判断模块13，还用于：
基于训练好的分割网络，分别对所述前三个时刻的图像帧进行分割，得到所述前三个时刻的分割结果图；
在后续的每一时刻里，循环覆盖所述分割结果图并检测有无入侵物体产生，得到第一检测结果；
当所述第一检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的分割结果在所述感兴趣区域中的位置；
若所述入侵物体的分割结果在所述感兴趣区域的边缘位置且整体呈现从边缘离开的趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的分割结果在所述感兴趣区域的中心区域成像，则判定所述入侵物体为静止状态。
可选的，所述物体状态判断模块13，还用于：
分别对所述前三个时刻的图像帧的事件流进行去噪处理，得到所述前三个时刻的去噪事件帧；
在后续的每一时刻里，循环覆盖所述去噪事件帧并检测有无入侵物体产生，得到第二检测结果；
当所述第二检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的事件流在所述感兴趣区域中的位置；
若所述入侵物体的事件流在所述感兴趣区域的边缘位置且整体事件流数量呈现减少趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的事件流在所述感兴趣区域的中心区域，则判定所述入侵物体为静止状态。
可选的，入侵物体识别模块14，还用于：
将所述传统视觉传感器预先拍摄的运动物体数据集，输入至卷积神经网络中进行特征值提取和模型训练，得到训练好的识别模型；
基于所述识别模型，对所述坐标区域进行入侵物体识别和背景差分操作，得到所述入侵物体的种类、置信度和具体位置坐标。
值得说明的是，本发明实施例所述的入侵物体检测识别装置10中各个模块的工作过程可参考上述实施例所述的入侵物体检测识别方法的工作过程，在此不再赘述。
本发明实施例提供的入侵物体检测识别装置，通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标，能够基于传统视觉传感器和动态视觉传感器的双目结合，通过传统视觉传感器和动态视觉传感器的双目结合，能够对各种情况下的入侵物体进行检测识别并避免对入侵物体的具体状态进行误判，在保证具有较高入侵物体检测识别准确率的同时，实现功耗更低，适应性更强的效果。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述入侵物体检测识别方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序；其中，所述计算机程序在运行时控制所述计算机程序产品所在的设备执行上述入侵物体检测识别方法。
参见图3，图3是本发明实施例提供的一种入侵物体检测识别设备20的结构框图，所述入侵物体检测识别设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述入侵物体检测识别方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述入侵物体检测识别设备20中的执行过程。
所述入侵物体检测识别设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是入侵物体检测识别设备20的示例，并不构成对入侵物体检测识别设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述入侵物体检测识别设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述入侵物体检测识别设备20的控制中心，利用各种接口和线路连接整个入侵物体检测识别设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述入侵物体检测识别设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述入侵物体检测识别设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种入侵物体检测识别方法，其特征在于，包括：
通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；
对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；
当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；
当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。
2.如权利要求1所述的入侵物体检测识别方法，其特征在于，所述对所述图像帧中的感兴趣区域进行初始化的方式，包括自动方式和手动方式；其中，
所述自动方式，具体为采用训练好的分割网络对所述图像帧进行分割，得到第一结果图；对在初始化时间内生成的所述第一结果图进行与操作，得到初始化的感兴趣区域；
所述手动方式，具体为通过I/O设备在所述图像帧上绘制矩形框作为感兴趣区域，并设置事件数量阈值，得到初始化的感兴趣区域。
3.如权利要求1所述的入侵物体检测识别方法，其特征在于，所述根据不同算力进行物体入侵检测，包括：
当算力较高时，采用训练好的分割网络对所述图像帧进行分割，得到第二结果图；根据所述第二结果图，检测有无入侵物体；
当算力有限时，对所述事件流进行去噪处理后，并统计所有在所述感兴趣区域中的事件流，得到统计结果；通过所述统计结果是否超过预设的事件数量阈值，来检测有无入侵物体。
4.如权利要求1所述的入侵物体检测识别方法，其特征在于，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态，包括：
基于训练好的分割网络，分别对所述前三个时刻的图像帧进行分割，得到所述前三个时刻的分割结果图；
在后续的每一时刻里，循环覆盖所述分割结果图并检测有无入侵物体产生，得到第一检测结果；
当所述第一检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的分割结果在所述感兴趣区域中的位置；
若所述入侵物体的分割结果在所述感兴趣区域的边缘位置且整体呈现从边缘离开的趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的分割结果在所述感兴趣区域的中心区域成像，则判定所述入侵物体为静止状态。
5.如权利要求1所述的入侵物体检测识别方法，其特征在于，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态，包括：
分别对所述前三个时刻的图像帧的事件流进行去噪处理，得到所述前三个时刻的去噪事件帧；
在后续的每一时刻里，循环覆盖所述去噪事件帧并检测有无入侵物体产生，得到第二检测结果；
当所述第二检测结果从有入侵物体转变为无入侵物体时，判断所述入侵物体的事件流在所述感兴趣区域中的位置；
若所述入侵物体的事件流在所述感兴趣区域的边缘位置且整体事件流数量呈现减少趋势，则判定所述入侵物体为离开状态；
若所述入侵物体的事件流在所述感兴趣区域的中心区域，则判定所述入侵物体为静止状态。
6.如权利要求1所述的入侵物体检测识别方法，其特征在于，所述对所述入侵物体进行识别，得到其种类、置信度和具体位置坐标，包括：
将所述传统视觉传感器预先拍摄的运动物体数据集，输入至卷积神经网络中进行特征值提取和模型训练，得到训练好的识别模型；
基于所述识别模型，对所述坐标区域进行入侵物体识别和背景差分操作，得到所述入侵物体的种类、置信度和具体位置坐标。
7.一种入侵物体检测识别装置，其特征在于，包括：
图像帧获取模块，用于通过动态视觉传感器实时获取拍摄区域内的事件流，并将其转换为图像帧；
物体入侵检测模块，用于对所述图像帧中的感兴趣区域进行初始化，并根据不同算力进行物体入侵检测，得到初步的检测结果；
物体状态判断模块，用于当所述检测结果从有入侵物体转变为无入侵物体时，所述通过动态视觉传感器获取前三个时刻的图像帧判断所述入侵物体处于离开状态还是静止状态，得到入侵物体状态；
入侵物体识别模块，用于当所述入侵物体状态为静止时，将所述入侵物体的坐标区域输入传统视觉传感器，对所述入侵物体进一步进行检测识别，输出其种类、置信度和具体位置坐标。
8.一种入侵物体检测识别设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～6任一项所述的入侵物体检测识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～6任一项所述的入侵物体检测识别方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序；其中，所述计算机程序在运行时控制所述计算机程序产品所在的设备执行如权利要求1～6任一项所述的入侵物体检测识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410445844.0A CN118230249A (zh) | 2024-04-15 | 2024-04-15 | 一种入侵物体检测识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410445844.0A CN118230249A (zh) | 2024-04-15 | 2024-04-15 | 一种入侵物体检测识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118230249A true CN118230249A (zh) | 2024-06-21 |
Family
ID=91507605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410445844.0A Pending CN118230249A (zh) | 2024-04-15 | 2024-04-15 | 一种入侵物体检测识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118230249A (zh) |
-
2024
- 2024-04-15 CN CN202410445844.0A patent/CN118230249A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545262B (zh) | 一种在自然场景图像中检测文本的方法及装置 | |
| CN109255352B (zh) | 目标检测方法、装置及系统 | |
| EP3757890A1 (en) | Method and device for image processing, method and device for training object detection model | |
| CN111667520B (zh) | 红外图像和可见光图像的配准方法、装置及可读存储介质 | |
| CN109376667B (zh) | 目标检测方法、装置及电子设备 | |
| EP3709266A1 (en) | Human-tracking methods, apparatuses, systems, and storage media | |
| CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
| CN112514373B (zh) | 用于特征提取的图像处理装置和方法 | |
| CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN112669344A (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| KR101330636B1 (ko) | 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법 | |
| CN111985427A (zh) | 活体检测方法、设备及可读存储介质 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN110717452B (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| CN116402852A (zh) | 基于事件相机的动态高速目标追踪方法及装置 | |
| CN111368698A (zh) | 主体识别方法、装置、电子设备及介质 | |
| CN112766028A (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN108769521B (zh) | 一种拍照方法、移动终端及计算机可读存储介质 | |
| CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN112435278B (zh) | 一种基于动态目标检测的视觉slam方法及装置 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| Pandey et al. | Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |