CN111222505A - 微小目标精确检测方法及系统 - Google Patents
微小目标精确检测方法及系统 Download PDFInfo
- Publication number
- CN111222505A CN111222505A CN201911164261.6A CN201911164261A CN111222505A CN 111222505 A CN111222505 A CN 111222505A CN 201911164261 A CN201911164261 A CN 201911164261A CN 111222505 A CN111222505 A CN 111222505A
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- object detection
- accurately detecting
- outputs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 230000006835 compression Effects 0.000 claims abstract description 6
- 238000007906 compression Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 208000029152 Small face Diseases 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种微小目标精确检测方法及系统，通过在按比例缩小后的较低分辨率图像上进行物体检测并得到潜在目标区域，再根据潜在目标区域在原始图像上截取高清分辨率目标信息进行二级物体检测以进一步筛选，最后将二级物体检测后的目标区域与原始的低分辨率图像按照各自对应的压缩比例组合成预设大小的全尺寸图，外接的更高阶的三级物体检测通过检测全尺寸图得到最终检测结果。本发明不仅能够在较少的传输带宽和功耗的条件下，提高对目标检测的准确性，尤其是对小物体的检测，并且可以很容易在FPGA和芯片上实现。
Description
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种能有效给出感兴趣物体精准位置的检测方法。
背景技术
现有用于监控领域的卷积神经网络都能够在FPGA或者芯片中实现以减少许多应用中的输出延迟。但是，这些方案都面临着如何在准确性和成本上平衡的问题。对于传统方案，比如SVM、AdaBoost等，这类方案仅需要少量的算力但精度偏低；对于卷积神经网络方案，比如ResNet、MobileNet等，这类方案虽然整体性能提高了很多，但由于其算法复杂度更大，导致其需要更大尺寸的芯片和更高的能耗。且现有的方法对输入的图像分辨率要求较高，从而需要更大的储存和传输带宽的同时对视频流数据进行物体(尤其是对于尺寸小的物体)检测的准确性却难以满足工业需求。
如图1所示，为一种现存的终端物体检测通用架构，包括一个图像传感器芯片100、数据链路1(101)、本地处理单元102(一个图像处理单元)、数据链路103、FPGA或者芯片上实现的物体检测单元104，该技术为了保证检测性能，通常在高分辨率的图像上采用复杂算法，从而导致需要更多的能耗和更大的存储需求。
发明内容
本发明针对现有技术存在的上述不足，提出一种微小目标精确检测方法及系统，不仅能够在较少的传输带宽和功耗的条件下，提高对目标检测的准确性，尤其是对小物体的检测，并且可以很容易在FPGA和芯片上实现。
本发明是通过以下技术方案实现的：
本发明涉及一种微小目标精确检测方法，通过在按比例缩小后的较低分辨率图像上进行物体检测并得到潜在目标区域(ROI)，再根据潜在目标区域在原始图像上截取高清分辨率目标信息进行二级物体检测以进一步筛选，最后将二级物体检测后的目标区域与原始的低分辨率图像按照各自对应的压缩比例组合成预设大小的全尺寸图，外接的更高阶的三级物体检测通过检测全尺寸图得到最终检测结果。
所述的最终检测结果，优选进一步用于提高物体检测得到的感兴趣(ROI)物体区域的置信以及二级检测中误检的ROI区域。
附图说明
图1为现有物体检测数据流示意图；
图2为本发明检测架构示意图；
图3为实施例效果示意图。
具体实施方式
如图2所示，为本实施实施例涉及的一种可以通过FPGA、ASIC芯片或者其他类型的集成芯片上实现的微小目标精确检测系统，包括：图像传感器200、检测模块220和外部高级检测器209，其中：图像传感器200采集并输出原始图像至检测模块220，检测模块220中包括图像处理单元201、物体检测单元204、区域截取模块206、二级检测单元207、合成单元208以及反馈控制单元210，图像处理单元201通过链路202输出压缩后的低分辨率图像，物体检测单元204在低分辨率图像上检测出潜在目标的位置坐标和置信度值并通过链路205输出至区域截取模块206，区域截取模块206对应从来自图像处理单元201通过链路203输出的高分辨率图像中提取出对应的区域并输出至二级检测单元207，二级检测单元207将根据潜在的目标的位置坐标对第一次检测提取的潜在目标进行核实，合成单元208将低分辨率图像和经过二级检测单元207核实后的高分辨率区域下的潜在目标组成复合检测帧图像并输出至外部高级检测器209进行复核并将复核结果输出至反馈控制单元210，反馈处理单元210将复核通过的物体区域通过链路212输出到区域截取模块206、将复核不通过的物体区域通过链路214返回物体检测单元204进行再次复核。
所述的图像传感器200为能从现实世界中获取原始视觉数据的图像芯片，它的输出是普通的RAW格式。
所述的图像处理单元201为一个图像信号处理芯片(ISP)，这颗芯片包含从RAW图转换到RGB或者YUV的全部处理环节，并提供压缩处理及多路输出。
所述的压缩算法，采用但不限于双线性或者双三次插值算法下采样后得到。
所述的区域截取模块206仅将高分辨率图像中的一部分区域而不是整幅图像输出。
所述的二级检测单元207与物体检测单元204相比具有更高计算复杂度，能进一步筛选物体检测单元204的检测结果。
所述的物体检测单元204所采用的算法包括但不限于Adaboost方法进行简单人脸检测。
所述的二级检测单元207所采用的算法包括但不限于深度卷积神经网络算法实现。
所述的外部高级检测器209所采用的算法包括但不限于更加复杂的高级卷积神经网络实现。
如图3所示，为基于上述系统的具体实现过程：本实施实施例采用8M大小的彩色图像输入图像300，传统作法一般是直接在输入上应用人脸检测；本实施例首先将图片向下采样到一个低分辨率(960*540px，如301所示)的图像，通过一级面部识别器302在低分辨率图像上运用Adaboost方法进行简单人脸检测并输出一些可能是人脸的图像以及对应的置信度值和位置坐标；如图中所示这些输出中存在三个误检图像和两个正确的检测图像；区域截取模块303根据对应的坐标在相应的高分辨图像中提取高清区域并输入二级面部识别器304，该识别器采用压缩后的卷积神经网络算法进行误检清除，但输出中依旧会夹杂着一个误检图像；合成器305将三个高分辨率的区域图像和之前向下采样获得的低分辨率图像组合成一个特殊的图像；外置高阶脸部识别器306通过更加复杂的高级卷积神经网络检测包含三个高分辨率的区域图像，并将存在的误检全部舍弃并输出完整的低分辨率图像和两张正确的区域图像，这些数据将用于其他应用，例如，人脸/物体识别。
相比较传统做法，本发明的一级脸部识别器使用通过向下采样的低分辨率图像，从而使得检测速度更快。虽然二级和外置脸部识别器使用相对复杂的算法，但是它们仅对原始高分辨率图像的几个局部区域进行检测，检测的分辨率小，因此本发明降低了对于带宽和能耗的要求。
检测全图中若检测目标分辨率很小，则缺乏足够的特征描述，容易产生误检，相较于传统做法，本发明采用三阶段的检测策略，对极小目标能够从高清分辨率输入中获取对应的高清特征，增加了判别性，提高了检测精度。
本实施例用于人脸检测任务，基于开源的wider face数据集构建了一个小脸测试集，利用软件模拟该过程，高清图像分辨率为1920×1920，将输入的低清图像分辨率设置了480×480，第一阶段采用一个浅层的神经网络，是由4个卷积层，两个池化层构成；第二阶段采用的是一个稍微深层的神经网络，由5个卷积层，2个池化层，1个全连接层构成；第三阶段采用的是网上开源的VGG16人工神经网络进行检测。传统的方法也采用神经网络VGG16进行检测，本方法在小脸(小于20×20)数据集上的检测精度提高了一倍多。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (10)
1.一种微小目标精确检测方法，其特征在于，通过在按比例缩小后的较低分辨率图像上进行物体检测并得到潜在目标区域，再根据潜在目标区域在原始图像上截取高清分辨率目标信息进行二级物体检测以进一步筛选，最后将二级物体检测后的目标区域与原始的低分辨率图像按照各自对应的压缩比例组合成预设大小的全尺寸图，外接的更高阶的三级物体检测通过检测全尺寸图得到最终检测结果。
2.根据权利要求1所述的微小目标精确检测方法，其特征是，所述的最终检测结果进一步用于提高物体检测得到的感兴趣物体区域的置信以及二级检测中误检的ROI区域。
3.根据权利要求1所述的微小目标精确检测方法，其特征是，所述的物体检测采用Adaboost方法进行简单人脸检测。
4.根据权利要求1所述的微小目标精确检测方法，其特征是，所述的二级物体检测采用深度卷积神经网络算法实现。
5.根据权利要求1所述的微小目标精确检测方法，其特征是，所述的三级物体检测采用高级卷积神经网络算法实现。
6.一种实现上述任一权利要求所述方法的微小目标精确检测系统，其特征在于，包括：图像传感器、检测模块和外部高级检测器，其中：图像传感器采集并输出原始图像至检测模块，检测模块中包括图像处理单元、物体检测单元、区域截取模块、二级检测单元、合成单元以及反馈控制单元，图像处理单元输出压缩后的低分辨率图像，物体检测单元在低分辨率图像上检测出潜在目标的位置坐标和置信度值并输出至区域截取模块，区域截取模块对应从来自图像处理单元输出的高分辨率图像中提取出对应的区域并输出至二级检测单元，二级检测单元将根据潜在的目标的位置坐标对第一次检测提取的潜在目标进行核实，合成单元将低分辨率图像和经过二级检测单元核实后的高分辨率区域下的潜在目标组成复合检测帧图像并输出至外部高级检测器进行复核并将复核结果输出至反馈控制单元，反馈处理单元将复核通过的物体区域输出到区域截取模块、将复核不通过的物体区域返回物体检测单元进行再次复核。
7.根据权利要求6所述的微小目标精确检测系统，其特征是，所述的压缩，采用双线性或者双三次插值算法下采样后得到。
8.根据权利要求6所述的微小目标精确检测系统，其特征是，所述的区域截取模块仅将高分辨率图像中的一部分区域而不是整幅图像输出。
9.根据权利要求6所述的微小目标精确检测系统，其特征是，所述的系统通过FPGA、ASIC芯片或者其他类型的集成芯片上实现。
10.根据权利要求6所述的微小目标精确检测系统，其特征是，所述的图像传感器输出RAW格式的原始图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862771103P | 2018-11-25 | 2018-11-25 | |
| US62/771,103 | 2018-11-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111222505A true CN111222505A (zh) | 2020-06-02 |
Family
ID=70829026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911164261.6A Pending CN111222505A (zh) | 2018-11-25 | 2019-11-25 | 微小目标精确检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222505A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022061631A1 (en) * | 2020-09-24 | 2022-03-31 | Intel Corporation | Optical tracking for small objects in immersive video |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130121588A1 (en) * | 2011-11-14 | 2013-05-16 | Yukinori Noguchi | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images |
| US20140307971A1 (en) * | 2013-04-15 | 2014-10-16 | Omron Corporation | Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium |
| CN105608469A (zh) * | 2015-12-21 | 2016-05-25 | 小米科技有限责任公司 | 图像分辨率的确定方法及装置 |
| CN105718866A (zh) * | 2016-01-15 | 2016-06-29 | 北京大学 | 一种视觉目标检测与识别方法 |
| CN105989608A (zh) * | 2016-04-25 | 2016-10-05 | 北京光年无限科技有限公司 | 一种面向智能机器人的视觉捕捉方法及装置 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
-
2019
- 2019-11-25 CN CN201911164261.6A patent/CN111222505A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130121588A1 (en) * | 2011-11-14 | 2013-05-16 | Yukinori Noguchi | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images |
| US20140307971A1 (en) * | 2013-04-15 | 2014-10-16 | Omron Corporation | Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium |
| CN105608469A (zh) * | 2015-12-21 | 2016-05-25 | 小米科技有限责任公司 | 图像分辨率的确定方法及装置 |
| CN105718866A (zh) * | 2016-01-15 | 2016-06-29 | 北京大学 | 一种视觉目标检测与识别方法 |
| CN105989608A (zh) * | 2016-04-25 | 2016-10-05 | 北京光年无限科技有限公司 | 一种面向智能机器人的视觉捕捉方法及装置 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 栗科峰, 黄河水利出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022061631A1 (en) * | 2020-09-24 | 2022-03-31 | Intel Corporation | Optical tracking for small objects in immersive video |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329658B (zh) | 一种对于yolov3网络的检测算法改进方法 | |
| Lyu et al. | Small object recognition algorithm of grain pests based on SSD feature fusion | |
| CN105184779A (zh) | 一种基于快速特征金字塔的车辆多尺度跟踪方法 | |
| CN112257569A (zh) | 一种基于实时视频流的目标检测和识别方法 | |
| CN110807384A (zh) | 低能见度下的小目标检测方法和系统 | |
| CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN116485860A (zh) | 一种基于多尺度渐进交互和聚合交叉注意力特征的单目深度预测算法 | |
| Gao et al. | Superfast: 200× video frame interpolation via event camera | |
| CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
| CN111222505A (zh) | 微小目标精确检测方法及系统 | |
| Wei | Vehicle detecting and tracking application based on yolov5 and deepsort for bayer data | |
| CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| CN117789077A (zh) | 一种通用场景下用于视频结构化的人与车辆预测的方法 | |
| CN115100409B (zh) | 一种基于孪生网络的视频人像分割算法 | |
| CN116863376A (zh) | 电梯轿厢乘客异常事件检测的边缘计算方法及系统 | |
| CN114092458B (zh) | 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法 | |
| CN115861922A (zh) | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 | |
| CN114639166A (zh) | 一种基于动作识别的考场异常行为识别方法 | |
| CN112348823A (zh) | 一种面向对象的高分辨率遥感影像分割算法 | |
| Chen | Design of image recognition system based on FPGA | |
| CN112017128A (zh) | 一种图像自适应去雾方法 | |
| CN111008555A (zh) | 一种无人机图像弱小目标增强提取方法 | |
| Li et al. | Automated surface defect detection for hot-pressed light guide plates based on GDA-YOLOv7 | |
| Yeh et al. | A Two-Stage Pipelined Algorithm for Recognition Tasks: Using License Plate Recognition as an Example |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |
|
| RJ01 | Rejection of invention patent application after publication |