CN108921053A - 一种场景目标自动分析检测处理方法及装置 - Google Patents
一种场景目标自动分析检测处理方法及装置 Download PDFInfo
- Publication number
- CN108921053A CN108921053A CN201810621416.3A CN201810621416A CN108921053A CN 108921053 A CN108921053 A CN 108921053A CN 201810621416 A CN201810621416 A CN 201810621416A CN 108921053 A CN108921053 A CN 108921053A
- Authority
- CN
- China
- Prior art keywords
- fpga
- scene
- slm
- fourier
- detection processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000009738 saturating Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000009434 installation Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种场景目标自动分析检测处理方法及装置，利用光学硬件计算与软件计算相结合，直接面向自然场景分析与探测目标景物，能有效快速地获得目标探测结果。本发明包括：(1)构造傅里叶系统装置，光路搭建；(2)调整会聚球镜，使自然景物准确接入傅里叶系统；(3)控制FPGA与SLM，实现空间滤波与图像采集；(4)场景分析与目标检测计算。本发明利用光链路计算一体化思维，直接面向自然景物，即可实现场景分析与目标检测。
Description
技术领域
本发明涉及光电成像与计算机技术领域，更具体地，涉及一种场景目标自动分析检测处理方法及装置。
背景技术
对于场景中目标的分析与检测是图像处理、机器视觉等领域的一个重要部分。传统的场景方法往往是在图像采集完成后对图像进行后处理，分析并检测其中的目标。但是，由于成像、采集以及处理等多个过程中不可避免的噪声的引入，这些方法所得到的结果均存在一些问题，部分算法需要庞大的先验数据作为支撑，而部分方法识别结果较差或者计算速度较慢。
目前，常用的场景目标检测方法有：
基于特征检测目标检测方法。通过图像中多种特征的检测来判断对场景进行分割及检测，通常这种方法速度较快，但是检测的效果相对较差。基于先验知识的统计检测方法。通过将场景分解为多个维度的信息，通过大量的数据训练模型并对当前场景进行目标检测。近些年来，基于神经网络的场景目标检测方法也是基于相同的思路。但该方法不可避免的问题就是需要对场景进行大量的训练才可以得到较好的结果。基于对人眼视觉系统的研究，通过模仿视觉显著性的机制来识别场景中的目标信息。此类方法基于人眼视觉系统，相比而言最符合人眼视觉习惯，效果较好。
需要注意的是，以上所述的多种方法几乎都是在图像采集过程结束后对图像进行后处理，耗时，并且大量的数据处理导致较为耗能。
基于这个因素，本发明旨在提出了一种在成像过程中进行目标自动分析检测的方法及装置。通过在成像过程中进行目标检测可以有效的避免图像后处理过程中人为产生的噪声对目标检测的准确性以及可靠性的影响。使用整体光学成像链路的思路，在成像过程中进行场景目标检测，可以有效地避免后处理过程中计算时间长，计算耗能多的问题。
名词说明：
FPGA即现场可编程门阵列。
SLM即空间光调制器。
发明内容
本发明的目的在于提供一种场景目标自动分析检测处理方法及装置，其基于软硬计算结合的方式，旨在解决目前的场景目标分析检测纯靠算法软件而导致计算耗时多、计算耗能多等问题。
为实现上述目的，本发明提供了一种场景目标自动分析检测处理方法及装置，主要思路体现为：构造傅里叶变换与反变换系统 (简称傅里叶系统) 装置；直接面向自然场景，大视场会聚球镜将场景成像作为傅里叶系统的输入；利用SLM构造空间滤波器而实现空间滤波；图像传感器获取信号，并使用FPGA简单计算，获得检测结果。其技术方案如下：
1、构造傅里叶系统装置，如附图2所示，其表征的是图1中从会聚球镜到FPGA的流程对应的装置架构。所有光学与成像器件处于同一光轴上。傅氏透镜1与傅氏透镜2构成傅里叶系统，两透镜规格一致，焦距均为f。会聚球镜成像面、傅氏透镜1、频谱面、傅氏透镜2、CMOS成像传感器，这五者依次之间相距为f。于是，自然场景经会聚球镜成像于傅氏透镜1前焦面上，利用其实现傅里叶变换，呈现在频谱面上，即傅氏透镜1的后焦面且傅氏透镜2的前焦面，为SLM滤波提供位置，而后继续利用傅氏透镜2傅里叶透镜反变换到COMS成像传感器平面，实现成像采集。COMS成像传感器由FPGA支配(CMOS附着于FPGA上)，FPGA能反馈信号指挥机械导轨沿着光轴前后移动会聚球镜。SLM具体的滤波器由FPGA给予。
2、调整会聚球镜移动，实现准确成像。直接面向自然景物，会聚透镜将外界自然景物成像于傅氏透镜1的前焦面，即会聚球镜成像面与傅氏透镜1的前焦面重合。会聚透镜可沿着光轴前后移动，使其面对远近不同的自然景物时能够成像于f1的前焦面上。该会聚透镜移动调整是自动化完成的。FPGA上的CMOS成像传感器获取自然景物，通过梯度函数判断景物是否清晰，反馈信号指挥机械导轨沿着光轴前后移动会聚球镜，使成像清晰，此时SLM是全透光，未构造滤波器。
3、空间滤波。自然景物在傅氏透镜1的后焦面上形成傅里叶频谱，利用SLM构造空间滤波器而实现空间滤波。所使用的SLM为透射式电寻址空间光调制器，因此其滤波器结构由FPGA给予。滤波器结构是可循环变化的。
通过FPGA编程控制SLM及CMOS，全自动地进行连续2次图像采集过程。第一次通过FPGA控制SLM，光轴中心附近通过，SLM小孔尺寸为直径Di个像素， CMOS采集图像s1; 第二次通过FPGA控制SLM构造缓变滤波器，SLM从中心像素到边缘像素，透过率从1衰减到0，即控制频谱通过的振幅的空间分布，CMOS采集图像s2。FPGA输出信号给SLM并CMOS采集图像，都是程序自动化实现。
4、图像采集与计算获取探测结果。CMOS获取信号后进入FPGA，通过FPGA对采集的时间序列上的多幅图像简单计算，获得检测结果。
在FPGA上，计算分析图g = (s1 - s2) – min((s1 - s2),0)，并归一化g，获得图3的中图，即场景分析图，可以从视觉上获得整个目标场景的待关注程度。使用阈值处理g，即可获得目标区域，标定目标，获得最终检测结果。
本发明的有益效果与优势：
现有的自然景物场景目标检测，都是基于图像算法的方法，即基于纯软件的方法，都是系统采集了图像后再进行处理检测，未能在成像链路优化的角度上实行软硬计算结合的思路。而本发明则是直接面向自然场景，融入了光学计算分析手段，而FPGA层面的算法软件所承担的任务大大减少，大大提升了计算速度，也减少了由于大量运算带来的耗能。尤其是计算速度的几何级提升，可广泛应用于安防监控、指定目标跟踪检测等具体的民用任务中。
附图说明
图1为本发明的处理流程图；
图2为本发明装置的系统构成图。
图3为本发明面向自然场景，获取的场景分析结果，以及检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
以下结合附图实施例对本发明的实施作进一步说明。
如图1所示，本发明的方法包括以下步骤：
1、光路搭建。面向自然景物，如图3的左图，将光路中的各个光学与成像器件包括会聚球镜、傅式透镜1、空间光调制器（SLM）、傅式透镜2、CMOS(附着于FPGA上)如图2所示依次搭建，调整光路使各器件其位于同一光轴上。整个光路可以使得自然景物在经过会聚球镜会聚于傅式透镜前焦面中，并在傅里叶系统的频谱面中直接进行控制，最后于CMOS中采集成像结果。
2、会聚球镜调整。通过FPGA控制SLM使其处于全透光的状态。通过FPGA控制步进电机使得会聚球镜可以沿光轴方向自由移动。为了使会聚球镜成像面与傅氏透镜1的前焦面重合，在FPGA中通过梯度函数计算由CMOS得到的成像结果，判断景物是否清晰。依据此计算结果，由FPGA控制反馈信号指挥机械导轨沿着光轴前后移动会聚球镜，自适应地使成像结果最为清晰。此时，会聚球镜的成像面即与傅式透镜1的前焦面重合，使自然景物准确接入傅里叶系统。
3、空间滤波与图像采集。通过FPGA编程控制SLM及CMOS，全自动地进行连续2次图像采集过程。第一次通过FPGA控制SLM，光轴中心附近通过，SLM小孔尺寸为直径Di=5个像素， CMOS采集图像s1; 第二次通过FPGA控制SLM构造缓变滤波器，SLM从中心像素到边缘像素，透过率从1衰减到0，即控制频谱通过的振幅的空间分布，CMOS采集图像s2。FPGA输出信号给SLM并CMOS采集图像，都是程序自动化实现。
4、场景分析与目标检测计算。在FPGA上，计算分析图g = (s1 - s2) – min((s1 -s2),0)，并归一化g，获得图3的中图，即场景分析图，可以从视觉上获得整个目标场景的待关注程度。使用阈值处理g，即可获得目标区域，标定目标，获得最终检测结果，如图3右图。
在本发明的图例中，所用到的需要指明的设备或相关参数如下：傅氏透镜焦距为f=250mm，直径为D=50mm。
Claims (8)
1.一种场景目标自动分析检测处理装置，从景物端到成像端，包括底部设有机械导轨的会聚球镜，第一傅氏透镜，空间光调制器SLM，第二透镜，成像传感器CMOS，FPGA，其特征在于：所有光学与成像器件处于同一光轴上，第一傅氏透镜与第二傅氏透镜构成傅里叶系统，两透镜规格一致，焦距均为f，会聚球镜成像面、第一傅氏透镜、频谱面、第二傅氏透镜、CMOS，这五者依次之间相距为f。
2.如权利要求1所述的场景目标自动分析检测处理装置，其特征在于：所述CMOS安装附着于FPGA，SLM的信号来自FPGA，会聚球镜的机械移动的命令来自FPGA。
3.一种如权利要求1所述的场景目标自动分析检测处理的场景目标自动分析检测处理方法，其特征在于，包括以下步骤：
构造傅里叶系统，自动调整会聚球镜使自然景物准确接入傅里叶系统，在傅里叶系统的频谱面利用SLM构造空间滤波器实现空间滤波，最终在FPGA端上实现图像采集，并且计算获取探测结果。
4.如权利要求3所述的场景目标自动分析检测处理方法，其特征在于，所述自然景物经会聚球镜成像于傅里叶系统的第一傅氏透镜前焦面上，利用其实现傅里叶变换，呈现在频谱面上，频谱面为SLM滤波提供位置，而后继续利用第二傅氏透镜反变换到COMS成像传感器平面，实现成像采集。
5.如权利要求3所述的场景目标自动分析检测处理方法，其特征在于，面向具体的自然景物时，SLM全透光，FPGA上的CMOS成像传感器获取自然景物，通过梯度函数判断景物是否清晰，反馈信号指挥机械导轨沿着光轴前后移动会聚球镜，使成像清晰；成像清晰时，聚透镜将外界自然景物成像于第一傅氏透镜的前焦面，即会聚球镜成像面与第一傅氏透镜的前焦面重合，自然景物准确接入傅里叶系统。
6.如权利要求5所述的场景目标自动分析检测处理方法，其特征在于，通过FPGA编程控制SLM及CMOS，全自动地进行连续2次图像采集过程：第一次通过FPGA控制SLM，光轴中心附近通过，SLM小孔尺寸为直径Di个像素，CMOS采集图像s1; 第二次通过FPGA控制SLM构造缓变滤波器，SLM从中心像素到边缘像素，透过率从1衰减到0，即控制频谱通过的振幅的空间分布，CMOS采集图像s2；FPGA输出信号给SLM并CMOS采集图像。
7.如权利要求3所述的场景目标自动分析检测处理方法，其特征在于，所述SLM为透射式电寻址空间光调制器，其滤波器结构由FPGA给予；滤波器结构是可循环变化的。
8.如权利要求6所述的一种场景目标自动分析检测处理方法及装置，其特征在于，在FPGA上计算获取探测结果，特征表现在：
利用获取的s1与s2，在FPGA上，计算分析图g= (s1 - s2) – min((s1 - s2)，0)，并归一化g，获得场景分析图，从视觉上获得整个目标场景的待关注程度；使用阈值处理g，即可获得目标区域，标定目标，获得最终检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810621416.3A CN108921053B (zh) | 2018-06-15 | 2018-06-15 | 一种场景目标自动分析检测处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810621416.3A CN108921053B (zh) | 2018-06-15 | 2018-06-15 | 一种场景目标自动分析检测处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108921053A true CN108921053A (zh) | 2018-11-30 |
| CN108921053B CN108921053B (zh) | 2021-05-07 |
Family
ID=64420556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810621416.3A Active CN108921053B (zh) | 2018-06-15 | 2018-06-15 | 一种场景目标自动分析检测处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108921053B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110460756A (zh) * | 2019-08-12 | 2019-11-15 | 杭州电子科技大学 | 一种场景实时自动去雨成像处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101581950A (zh) * | 2009-06-18 | 2009-11-18 | 中国人民解放军国防科学技术大学 | 同轴式联合变换光学相关器 |
| CN103743484A (zh) * | 2013-11-22 | 2014-04-23 | 中国科学院光电研究院 | 一种频谱编码成像装置 |
| EP3036503A1 (en) * | 2013-08-19 | 2016-06-29 | Basf Se | Optical detector |
| CN105809159A (zh) * | 2016-02-04 | 2016-07-27 | 杭州电子科技大学 | 一种基于成像的视觉权重图提取方法 |
-
2018
- 2018-06-15 CN CN201810621416.3A patent/CN108921053B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101581950A (zh) * | 2009-06-18 | 2009-11-18 | 中国人民解放军国防科学技术大学 | 同轴式联合变换光学相关器 |
| EP3036503A1 (en) * | 2013-08-19 | 2016-06-29 | Basf Se | Optical detector |
| CN103743484A (zh) * | 2013-11-22 | 2014-04-23 | 中国科学院光电研究院 | 一种频谱编码成像装置 |
| CN105809159A (zh) * | 2016-02-04 | 2016-07-27 | 杭州电子科技大学 | 一种基于成像的视觉权重图提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHAH REZKHAN ET AL.: "Extracting sub-exposure images from a single capture through Fourier-based optical modulation", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
| 余道喜: "纹理方向检测的光学实现方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110460756A (zh) * | 2019-08-12 | 2019-11-15 | 杭州电子科技大学 | 一种场景实时自动去雨成像处理方法及装置 |
| CN110460756B (zh) * | 2019-08-12 | 2021-06-08 | 杭州电子科技大学 | 一种场景实时自动去雨成像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108921053B (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10178321B2 (en) | Machine vision inspection system and method for obtaining an image with an extended depth of field | |
| US10101572B2 (en) | Variable focal length lens system with multi-level extended depth of field image processing | |
| US9726876B2 (en) | Machine vision inspection system and method for obtaining an image with an extended depth of field | |
| US20160335475A1 (en) | 3d image analyzer for determining the gaze direction | |
| CN101496033B (zh) | 利用散斑图案的三维传感 | |
| US7274442B2 (en) | Closed-loop wavefront sensor using field programmable gate array | |
| CN105812746B (zh) | 一种目标检测方法及系统 | |
| CN105592269B (zh) | 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 | |
| CN110399831B (zh) | 一种巡检方法及装置 | |
| CN107329233B (zh) | 一种基于神经网络的微滴式pcr仪自动对焦方法 | |
| CN107203743B (zh) | 一种人脸深度跟踪装置及实现方法 | |
| US11450103B2 (en) | Vision based light detection and ranging system using dynamic vision sensor | |
| Mirmehdi et al. | Towards optimal zoom for automatic target recognition | |
| CN105915813A (zh) | 一种图像采集帧率自适应调整装置 | |
| CN106031148A (zh) | 成像设备，成像设备中自动对焦的方法以及对应计算机程序 | |
| CN108876758A (zh) | 人脸识别方法、装置及系统 | |
| CN109862346A (zh) | 调焦测试方法及设备 | |
| CN108921053A (zh) | 一种场景目标自动分析检测处理方法及装置 | |
| US7339147B2 (en) | System and method for automatic focusing of images | |
| CN108305290B (zh) | 一种动目标的精确测谱方法 | |
| CN205490869U (zh) | 运动目标捕捉与跟踪设备 | |
| US20230266818A1 (en) | Eye tracking device, eye tracking method, and computer-readable medium | |
| Khoroshun et al. | The Development of an Application for Microparticle Counting Using a Neural Network. | |
| CN103236053A (zh) | 一种移动平台下运动目标检测的mof方法 | |
| RU2536082C1 (ru) | Способ поиска и обнаружения малоразмерных слабоизлучающих подвижных источников излучения на пространственно-неоднородном фоне оптико-электронными приборами |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181130 Assignee: CHANGSHAN SHUANGMING BEARING CO.,LTD. Assignor: HANGZHOU DIANZI University Contract record no.: X2023980048719 Denomination of invention: A method and device for automatic analysis, detection, and processing of scene targets Granted publication date: 20210507 License type: Common License Record date: 20231128 |
|
| EE01 | Entry into force of recordation of patent licensing contract |