CN113160268A - 一种基于事件相机的统计运动物体数量的方法 - Google Patents
一种基于事件相机的统计运动物体数量的方法 Download PDFInfo
- Publication number
- CN113160268A CN113160268A CN202110520482.3A CN202110520482A CN113160268A CN 113160268 A CN113160268 A CN 113160268A CN 202110520482 A CN202110520482 A CN 202110520482A CN 113160268 A CN113160268 A CN 113160268A
- Authority
- CN
- China
- Prior art keywords
- event
- moving objects
- counting
- corrosion expansion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000005260 corrosion Methods 0.000 claims abstract description 22
- 230000007797 corrosion Effects 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 238000003708 edge detection Methods 0.000 claims abstract description 15
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 10
- 239000006002 Pepper Substances 0.000 claims abstract description 10
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 10
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 10
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 10
- 150000003839 salts Chemical class 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 241000722363 Piper Species 0.000 claims description 9
- 230000003628 erosive effect Effects 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000007796 conventional method Methods 0.000 abstract description 2
- 244000203593 Piper nigrum Species 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
一种基于事件相机的运动物体数量统计的方法，包括以下步骤：S1：图像滤波：对事件相机返回的事件图进行图像滤波处理，消除椒盐噪声；S2：腐蚀膨胀：对图像滤波后的事件图进行腐蚀膨胀，得到腐蚀膨胀后的事件图；以及S3：边缘检测：在腐蚀膨胀后的事件图上，对物体边缘进行检测，将目标的框取出来，并统计运动物体的数量。本发明方法解决了已有方法中时间维度信息丢失、需要数据集标注、大规模的数据计算的问题，从而减少人力成本和算法计算量。
Description
技术领域
本发明属于计算机视觉领域，特别涉及一种基于事件相机的运动物体数量统计的方法。
背景技术
随着人工智能技术的发展，大量人工智能新型技术被落地应用，其中人工智能图像识别技术得到广泛的应用，比如，对家禽进行数量统计、对广场人流进行估算统计、对车流量进行估算统计等。关于对运动物体进行数量统计，目前主流的算法，是使用CNN 深度卷积神经网络相关算法。CNN卷积神经网络算法，对图片中的目标进行目标检测，将目标从图片中提取出来，再进行统计分析。这些算法因抗干扰能力强、识别准确度高、泛化能力好等特点而被广泛应用。但是，这些算法也存在一些难以解决的问题，比如神经网络模型需要长时间的训练，训练所需的图片高达上万张，甚至上百万张，而且这些图片需要手工标注；此外，CNN卷积神经网络在做前向推断时，通常使用高性能GPU 或者高性能CPU进行并行计算，严重限制了它在资源相对匮乏的嵌入式电子设备上使用。
在现有技术中，使用CNN卷积神经网络对事件数据进行目标检测，对视频流的处理是单帧的，是某个时间点的数据，而不是时间段，而事件相机是时间段数据；CNN 卷积神经网络训练时，需要标注数据集，标注数据集时需要大量的人力成本；卷积神经网络需要高性能的GPU或高性能CPU进行卷积计算，计算量巨大。
发明内容
本发明的基于事件相机的运动物体数量统计的方法，将事件相机返回的事件数据，通过算法上的腐蚀膨胀处理，得到被触发像素的聚集中心点区域，并统计这些区域的数量，得到的中心区域数量，就是目标的数量，即运动物体的数量，解决了已有方法中时间维度信息丢失、需要数据集标注、大规模的数据计算的问题，从而减少人力成本和算法计算量。
本发明的技术方案如下：
本发明的基于事件相机的运动物体数量统计的方法，包括以下步骤：S1：图像滤波：对事件相机返回的事件图进行图像滤波处理，消除椒盐噪声；S2：腐蚀膨胀：对图像滤波后的事件图进行腐蚀膨胀，得到腐蚀膨胀后的事件图；以及S3：边缘检测：在腐蚀膨胀后的事件图上，对物体边缘进行检测，将目标的框取出来，并统计运动物体的数量。
优选的，在上述基于事件相机的运动物体数量统计的方法中，在步骤S1中，使用中值滤波器，消除椒盐噪声。
优选的，在上述基于事件相机的运动物体数量统计的方法中，在步骤S2中，先腐蚀，后膨胀，进行开运算，将事件图中的物体分离开，使得物体只留下中心点。
优选的，在上述基于事件相机的运动物体数量统计的方法中，在步骤S3中，通过边缘检测，将目标的框取出来；然后根据目标对象的大小，滤除不在大小范围内的目标；最后，统计剩余目标的数量，该数量即为运动物体的数量。
优选的，在上述基于事件相机的运动物体数量统计的方法中，在步骤S3中，使用公开的、通用的边缘检测算法进行边缘检测，通过边缘简历了目标轮廓之后，计算轮廓闭区间内的面积，去除面积大小不在规定范围内的轮廓，得到最终的轮廓；统计这些轮廓的数量，即要检测的运动物体的数量。
根据本发明的技术方案，产生的有益效果是:
本发明的基于事件相机的运动物体数量统计的方法，特别针对事件相机在某一个时间段的事件数据，利用包含时间维度信息的事件数据的聚集性，使用图片处理算法，即可求得目标数量，利用运动物体时间维度信息和聚集性，以此解决卷积神经网络在处理事件数据时，时间维度信息丢失、需要人工标注数据、算法计算量大的问题。
为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明的基于事件相机的运动物体数量统计的方法的流程图；
图2是本发明方法的事件图图像滤波的示意图；
图3是本发明方法的事件图腐蚀膨胀的示意图；
图4是本发明方法的事件图边缘检测的示意图。
具体实施方式
本发明的基于事件相机的运动物体数量统计的方法的原理是利用事件相机返回的事件数据的聚集性，通过中心点聚集的方式，简单快速计算出运动物体的数量。
本发明的基于事件相机的运动物体数量统计的方法，包含以下步骤：
S1：图像滤波：对事件相机返回的事件图进行图像滤波处理，消除椒盐噪声。比如，使用但不限于中值滤波器，以此消除椒盐噪声。
如图2所示，是事件图图像滤波的示意图。事件相机检测运动物体，只在图片绘制运动物体对应的位置，即图中圆圈表示的像素所占区域，即表示该区域有物体产生运动。事件相机在采集数据时，会产生噪声，这些噪声基本是椒盐噪声，如图2中散落的圆圈。在算法上，使用专门用于滤除椒盐噪声的滤波器，比如中值滤波器，将椒盐噪声滤除，得到滤波后的图片。这里使用的滤波器算法，是通用的、公开的算法，比如使用开源算法库(OpenCV)中的中值滤波器算法。算法相对成熟，和动辄上百万参数的神经网络相比，滤波算法的计算量很小。由于事件图是一定时间段累计的运动结果，因此在一定程度上保留了时间维度信息。
S2：腐蚀膨胀：对图像滤波后的事件图进行腐蚀膨胀，得到腐蚀膨胀后的事件图。先腐蚀，后膨胀，进行开运算，将事件图中的物体分离开，使得物体只留下中心点。物体运动时，物体与物体之间，经常会发生触碰，导致物体相连。通过腐蚀，可以将物体分成一个个孤立的点，再通过适当的膨胀，来恢复其面积。同时，腐蚀也会进一步有效去除滤波是无法滤除的噪声。
如图3所示，是事件图腐蚀膨胀的示意图。由于每个物体运动，都是以自身为中心，短时间内，相对应触发的像素，会以某个点为中心聚集，即具有聚集性。只需将这些中心点数量找出来即可。因此，对滤波后的事件图，进行腐蚀膨胀，即对事件数据进行开运算，将相邻的目标分离开。并且，开运算可以消除小物体，这有利于去除滤波时没有滤除干净的噪声，得到腐蚀膨胀后的图片。图像的腐蚀膨胀算法，使用的是公开的、通用的腐蚀膨胀算法。
S3：边缘检测：在腐蚀膨胀后的事件图上，对物体边缘进行检测，将目标的框取出来，并统计运动物体的数量。具体地，通过边缘检测，将目标的框取出来；然后根据目标对象的大小，滤除不在大小范围内的目标，最后，统计剩余目标的数量，该数量即为运动物体的数量。
如图4所示，是事件图边缘检测的示意图。边缘检测过程，是通过图像梯度变换，找到目标边缘，并进行轮廓绘制。这个过程，依然使用公开的、通用的边缘检测算法，比如Canny算法。通过边缘简历了目标轮廓之后，计算轮廓闭区间内的面积，去除面积大小不在规定范围内的轮廓，得到最终的轮廓。统计这些轮廓的数量，即要检测的运动物体的数量。整个计算过程，不需要人工标注数据集，算法计算量相对卷积计算要少很多。
本发明的基于事件相机的运动物体数量统计的方法，将上述三个步骤组合，来处理事件数据。而以往是将图片中的目标物体识别出来，在统计目标物体的数量，而本发明使用动态视觉传感器返回的事件数据。
本发明的基于事件相机的运动物体数量统计的方法，将事件相机返回的事件数据，经过算法处理，得到目标范围内运动物体的数量。该方法根据动态视觉传感器(即，事件相机)返回的事件数据，计算出区域范围内的运动物体数量，有效地利用了事件数据的聚集性，以此解决已有方法中时间维度信息丢失、需要数据集标注、大规模的数据计算的问题。
以上说明是依据本发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。
Claims (5)
1.一种基于事件相机的运动物体数量统计的方法，其特征在于，包括以下步骤：
S1：图像滤波：对事件相机返回的事件图进行图像滤波处理，消除椒盐噪声；
S2：腐蚀膨胀：对图像滤波后的事件图进行腐蚀膨胀，得到腐蚀膨胀后的事件图；以及
S3：边缘检测：在腐蚀膨胀后的事件图上，对物体边缘进行检测，将目标的框取出来，并统计运动物体的数量。
2.根据权利要求1所述的基于事件相机的运动物体数量统计的方法，其特征在于，在步骤S1中，使用中值滤波器，消除所述椒盐噪声。
3.根据权利要求1所述的基于事件相机的运动物体数量统计的方法，其特征在于，在步骤S2中，先腐蚀，后膨胀，进行开运算，将事件图中的物体分离开，使得物体只留下中心点。
4.根据权利要求1所述的基于事件相机的运动物体数量统计的方法，其特征在于，在步骤S3中，通过所述边缘检测，将目标的框取出来；然后根据目标对象的大小，滤除不在大小范围内的目标；最后，统计剩余目标的数量，该数量即为所述运动物体的数量。
5.根据权利要求1所述的基于事件相机的运动物体数量统计的方法，其特征在于，在步骤S3中，使用公开的、通用的边缘检测算法进行所述边缘检测，通过边缘简历了目标轮廓之后，计算轮廓闭区间内的面积，去除面积大小不在规定范围内的轮廓，得到最终的轮廓；统计这些轮廓的数量，即要检测的运动物体的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110520482.3A CN113160268A (zh) | 2021-05-13 | 2021-05-13 | 一种基于事件相机的统计运动物体数量的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110520482.3A CN113160268A (zh) | 2021-05-13 | 2021-05-13 | 一种基于事件相机的统计运动物体数量的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160268A true CN113160268A (zh) | 2021-07-23 |
Family
ID=76874757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110520482.3A Pending CN113160268A (zh) | 2021-05-13 | 2021-05-13 | 一种基于事件相机的统计运动物体数量的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160268A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885317A (zh) * | 2006-07-06 | 2006-12-27 | 上海交通大学 | 基于形态学和信息熵的自适应边缘检测方法 |
| CN102831472A (zh) * | 2012-08-03 | 2012-12-19 | 无锡慧眼电子科技有限公司 | 一种基于视频流图像处理的人数统计方法 |
| CN110536087A (zh) * | 2019-05-06 | 2019-12-03 | 珠海全志科技股份有限公司 | 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置 |
| CN111667442A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
| CN111931752A (zh) * | 2020-10-13 | 2020-11-13 | 中航金城无人系统有限公司 | 一种基于事件相机的动态目标检测方法 |
-
2021
- 2021-05-13 CN CN202110520482.3A patent/CN113160268A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885317A (zh) * | 2006-07-06 | 2006-12-27 | 上海交通大学 | 基于形态学和信息熵的自适应边缘检测方法 |
| CN102831472A (zh) * | 2012-08-03 | 2012-12-19 | 无锡慧眼电子科技有限公司 | 一种基于视频流图像处理的人数统计方法 |
| CN110536087A (zh) * | 2019-05-06 | 2019-12-03 | 珠海全志科技股份有限公司 | 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置 |
| CN111667442A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
| CN111931752A (zh) * | 2020-10-13 | 2020-11-13 | 中航金城无人系统有限公司 | 一种基于事件相机的动态目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669349B (zh) | 一种客流统计方法、电子设备及存储介质 | |
| CN109101944B (zh) | 一种识别向河道内抛投垃圾的实时视频监控方法 | |
| CN103093198B (zh) | 一种人群密度监测方法及装置 | |
| CN108416780B (zh) | 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法 | |
| CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
| CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN108280844B (zh) | 一种基于区域候选框跟踪的视频目标定位方法 | |
| CN105741319B (zh) | 基于盲目更新策略和前景模型的改进视觉背景提取方法 | |
| CN114639075B (zh) | 一种高空抛物坠物的识别方法、系统及计算机可读介质 | |
| Zheng et al. | Deep learning for event-based vision: A comprehensive survey and benchmarks | |
| CN107273815A (zh) | 一种个体行为识别方法及系统 | |
| Ma et al. | Automatic defogging, deblurring, and real-time segmentation system for sewer pipeline defects | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN106447672B (zh) | 一种交叉遮挡鱼体识别计数方法 | |
| CN111161325A (zh) | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 | |
| CN113763427A (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| Augustin et al. | Motion and feature based person tracking in surveillance videos | |
| CN116012949B (zh) | 一种复杂场景下的人流量统计识别方法及系统 | |
| CN109558881B (zh) | 一种基于计算机视觉的危岩崩塌监控方法 | |
| CN113160268A (zh) | 一种基于事件相机的统计运动物体数量的方法 | |
| Zhang et al. | Motion detection based on improved Sobel and ViBe algorithm | |
| Khashman | Automatic detection, extraction and recognition of moving objects | |
| CN113160218B (zh) | 一种基于事件相机的检测物体运动强度的方法 | |
| Zhao et al. | Research on vehicle detection and vehicle type recognition under cloud computer vision | |
| Lai et al. | Detection and classification of object movement-an application for video surveillance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |