CN108921053B - 一种场景目标自动分析检测处理方法及装置 - Google Patents
一种场景目标自动分析检测处理方法及装置 Download PDFInfo
- Publication number
- CN108921053B CN108921053B CN201810621416.3A CN201810621416A CN108921053B CN 108921053 B CN108921053 B CN 108921053B CN 201810621416 A CN201810621416 A CN 201810621416A CN 108921053 B CN108921053 B CN 108921053B
- Authority
- CN
- China
- Prior art keywords
- lens
- slm
- fourier
- scene
- fpga
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000002834 transmittance Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种场景目标自动分析检测处理方法及装置,利用光学硬件计算与软件计算相结合,直接面向自然场景分析与探测目标景物,能有效快速地获得目标探测结果。本发明包括:(1)构造傅里叶系统装置,光路搭建;(2)调整会聚球镜,使自然景物准确接入傅里叶系统;(3)控制FPGA与SLM,实现空间滤波与图像采集;(4)场景分析与目标检测计算。本发明利用光链路计算一体化思维,直接面向自然景物,即可实现场景分析与目标检测。
Description
技术领域
本发明涉及光电成像与计算机技术领域,更具体地,涉及一种场景目标自动分析检测处理方法及装置。
背景技术
对于场景中目标的分析与检测是图像处理、机器视觉等领域的一个重要部分。传统的场景方法往往是在图像采集完成后对图像进行后处理,分析并检测其中的目标。但是,由于成像、采集以及处理等多个过程中不可避免的噪声的引入,这些方法所得到的结果均存在一些问题,部分算法需要庞大的先验数据作为支撑,而部分方法识别结果较差或者计算速度较慢。
目前,常用的场景目标检测方法有:
基于特征检测目标检测方法。通过图像中多种特征的检测来判断对场景进行分割及检测,通常这种方法速度较快,但是检测的效果相对较差。基于先验知识的统计检测方法。通过将场景分解为多个维度的信息,通过大量的数据训练模型并对当前场景进行目标检测。近些年来,基于神经网络的场景目标检测方法也是基于相同的思路。但该方法不可避免的问题就是需要对场景进行大量的训练才可以得到较好的结果。基于对人眼视觉系统的研究,通过模仿视觉显著性的机制来识别场景中的目标信息。此类方法基于人眼视觉系统,相比而言最符合人眼视觉习惯,效果较好。
需要注意的是,以上所述的多种方法几乎都是在图像采集过程结束后对图像进行后处理,耗时,并且大量的数据处理导致较为耗能。
基于这个因素,本发明旨在提出了一种在成像过程中进行目标自动分析检测的方法及装置。通过在成像过程中进行目标检测可以有效的避免图像后处理过程中人为产生的噪声对目标检测的准确性以及可靠性的影响。使用整体光学成像链路的思路,在成像过程中进行场景目标检测,可以有效地避免后处理过程中计算时间长,计算耗能多的问题。
名词说明:
FPGA即现场可编程门阵列。
SLM即空间光调制器。
发明内容
本发明的目的在于提供一种场景目标自动分析检测处理方法及装置,其基于软硬计算结合的方式,旨在解决目前的场景目标分析检测纯靠算法软件而导致计算耗时多、计算耗能多等问题。
为实现上述目的,本发明提供了一种场景目标自动分析检测处理方法及装置,主要思路体现为:构造傅里叶变换与反变换系统 (简称傅里叶系统) 装置;直接面向自然场景,大视场会聚球镜将场景成像作为傅里叶系统的输入;利用SLM构造空间滤波器而实现空间滤波;图像传感器获取信号,并使用FPGA简单计算,获得检测结果。其技术方案如下:
1、构造傅里叶系统装置,如附图2所示,其表征的是图1中从会聚球镜到FPGA的流程对应的装置架构。所有光学与成像器件处于同一光轴上。傅氏透镜1与傅氏透镜2构成傅里叶系统,两透镜规格一致,焦距均为f。会聚球镜成像面、傅氏透镜1、频谱面、傅氏透镜2、CMOS成像传感器,这五者依次之间相距为f。于是,自然场景经会聚球镜成像于傅氏透镜1前焦面上,利用其实现傅里叶变换,呈现在频谱面上,即傅氏透镜1的后焦面且傅氏透镜2的前焦面,为SLM滤波提供位置,而后继续利用傅氏透镜2傅里叶透镜反变换到COMS成像传感器平面,实现成像采集。COMS成像传感器由FPGA支配(CMOS附着于FPGA上),FPGA能反馈信号指挥机械导轨沿着光轴前后移动会聚球镜。SLM具体的滤波器由FPGA给予。
2、调整会聚球镜移动,实现准确成像。直接面向自然景物,会聚透镜将外界自然景物成像于傅氏透镜1的前焦面,即会聚球镜成像面与傅氏透镜1的前焦面重合。会聚透镜可沿着光轴前后移动,使其面对远近不同的自然景物时能够成像于f1的前焦面上。该会聚透镜移动调整是自动化完成的。FPGA上的CMOS成像传感器获取自然景物,通过梯度函数判断景物是否清晰,反馈信号指挥机械导轨沿着光轴前后移动会聚球镜,使成像清晰,此时SLM是全透光,未构造滤波器。
3、空间滤波。自然景物在傅氏透镜1的后焦面上形成傅里叶频谱,利用SLM构造空间滤波器而实现空间滤波。所使用的SLM为透射式电寻址空间光调制器,因此其滤波器结构由FPGA给予。滤波器结构是可循环变化的。
通过FPGA编程控制SLM及CMOS,全自动地进行连续2次图像采集过程。第一次通过FPGA控制SLM,光轴中心附近通过,SLM小孔尺寸为直径Di个像素, CMOS采集图像s1; 第二次通过FPGA控制SLM构造缓变滤波器,SLM从中心像素到边缘像素,透过率从1衰减到0,即控制频谱通过的振幅的空间分布,CMOS采集图像s2。FPGA输出信号给SLM并CMOS采集图像,都是程序自动化实现。
4、图像采集与计算获取探测结果。CMOS获取信号后进入FPGA,通过FPGA对采集的时间序列上的多幅图像简单计算,获得检测结果。
在FPGA上,计算分析图g = (s1 - s2) – min((s1 - s2),0),并归一化g,获得图3的中图,即场景分析图,可以从视觉上获得整个目标场景的待关注程度。使用阈值处理g,即可获得目标区域,标定目标,获得最终检测结果。
本发明的有益效果与优势:
现有的自然景物场景目标检测,都是基于图像算法的方法,即基于纯软件的方法,都是系统采集了图像后再进行处理检测,未能在成像链路优化的角度上实行软硬计算结合的思路。而本发明则是直接面向自然场景,融入了光学计算分析手段,而FPGA层面的算法软件所承担的任务大大减少,大大提升了计算速度,也减少了由于大量运算带来的耗能。尤其是计算速度的几何级提升,可广泛应用于安防监控、指定目标跟踪检测等具体的民用任务中。
附图说明
图1为本发明的处理流程图;
图2为本发明装置的系统构成图。
图3为本发明面向自然场景,获取的场景分析结果,以及检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
以下结合附图实施例对本发明的实施作进一步说明。
如图1所示,本发明的方法包括以下步骤:
1、光路搭建。面向自然景物,如图3的左图,将光路中的各个光学与成像器件包括会聚球镜、傅式透镜1、空间光调制器(SLM)、傅式透镜2、CMOS(附着于FPGA上)如图2所示依次搭建,调整光路使各器件其位于同一光轴上。整个光路可以使得自然景物在经过会聚球镜会聚于傅式透镜前焦面中,并在傅里叶系统的频谱面中直接进行控制,最后于CMOS中采集成像结果。
2、会聚球镜调整。通过FPGA控制SLM使其处于全透光的状态。通过FPGA控制步进电机使得会聚球镜可以沿光轴方向自由移动。为了使会聚球镜成像面与傅氏透镜1的前焦面重合,在FPGA中通过梯度函数计算由CMOS得到的成像结果,判断景物是否清晰。依据此计算结果,由FPGA控制反馈信号指挥机械导轨沿着光轴前后移动会聚球镜,自适应地使成像结果最为清晰。此时,会聚球镜的成像面即与傅式透镜1的前焦面重合,使自然景物准确接入傅里叶系统。
3、空间滤波与图像采集。通过FPGA编程控制SLM及CMOS,全自动地进行连续2次图像采集过程。第一次通过FPGA控制SLM,光轴中心附近通过,SLM小孔尺寸为直径Di=5个像素, CMOS采集图像s1; 第二次通过FPGA控制SLM构造缓变滤波器,SLM从中心像素到边缘像素,透过率从1衰减到0,即控制频谱通过的振幅的空间分布,CMOS采集图像s2。FPGA输出信号给SLM并CMOS采集图像,都是程序自动化实现。
4、场景分析与目标检测计算。在FPGA上,计算分析图g = (s1 - s2) – min((s1 -s2),0),并归一化g,获得图3的中图,即场景分析图,可以从视觉上获得整个目标场景的待关注程度。使用阈值处理g,即可获得目标区域,标定目标,获得最终检测结果,如图3右图。
在本发明的图例中,所用到的需要指明的设备或相关参数如下:傅氏透镜焦距为f=250mm,直径为D=50mm。
Claims (3)
1.一种场景目标自动分析检测处理装置的场景目标自动分析检测处理方法,所述场景目标自动分析检测处理装置,从景物端到成像端,包括底部设有机械导轨的会聚球镜,第一傅氏透镜,空间光调制器SLM,第二透镜,成像传感器CMOS,FPGA,其特征在于:所有光学与成像器件处于同一光轴上,第一傅氏透镜与第二傅氏透镜构成傅里叶系统,两透镜规格一致,焦距均为f,会聚球镜成像面、第一傅氏透镜、频谱面、第二傅氏透镜、CMOS,这五者依次之间相距为f;
其特征在于,包括以下步骤:
构造傅里叶系统,自动调整会聚球镜使自然景物准确接入傅里叶系统,在傅里叶系统的频谱面利用SLM构造空间滤波器实现空间滤波,最终在FPGA端上实现图像采集,并且计算获取探测结果;
面向具体的自然景物时,SLM全透光,FPGA上的CMOS成像传感器获取自然景物,通过梯度函数判断景物是否清晰,反馈信号指挥机械导轨沿着光轴前后移动会聚球镜,使成像清晰;成像清晰时,聚透镜将外界自然景物成像于第一傅氏透镜的前焦面,即会聚球镜成像面与第一傅氏透镜的前焦面重合,自然景物准确接入傅里叶系统;
通过FPGA编程控制SLM及CMOS,全自动地进行连续2次图像采集过程:第一次通过FPGA控制SLM,光轴中心附近通过,SLM小孔尺寸为直径Di个像素,CMOS采集图像s1; 第二次通过FPGA控制SLM构造缓变滤波器,SLM从中心像素到边缘像素,透过率从1衰减到0,即控制频谱通过的振幅的空间分布,CMOS采集图像s2;FPGA输出信号给SLM并CMOS采集图像;
在FPGA上计算获取探测结果,特征表现在:
利用获取的s1与s2,在FPGA上,计算分析图g= (s1 - s2) – min((s1 - s2),0),并归一化g,获得场景分析图,从视觉上获得整个目标场景的待关注程度;使用阈值处理g,即可获得目标区域,标定目标,获得最终检测结果。
2.如权利要求1所述的场景目标自动分析检测处理方法,其特征在于,所述自然景物经会聚球镜成像于傅里叶系统的第一傅氏透镜前焦面上,利用其实现傅里叶变换,呈现在频谱面上,频谱面为SLM滤波提供位置,而后继续利用第二傅氏透镜反变换到COMS成像传感器平面,实现成像采集。
3.如权利要求1所述的场景目标自动分析检测处理方法,其特征在于,所述SLM为透射式电寻址空间光调制器,其滤波器结构由FPGA给予;滤波器结构是可循环变化的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621416.3A CN108921053B (zh) | 2018-06-15 | 2018-06-15 | 一种场景目标自动分析检测处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621416.3A CN108921053B (zh) | 2018-06-15 | 2018-06-15 | 一种场景目标自动分析检测处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108921053A CN108921053A (zh) | 2018-11-30 |
CN108921053B true CN108921053B (zh) | 2021-05-07 |
Family
ID=64420556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810621416.3A Active CN108921053B (zh) | 2018-06-15 | 2018-06-15 | 一种场景目标自动分析检测处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108921053B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110460756B (zh) * | 2019-08-12 | 2021-06-08 | 杭州电子科技大学 | 一种场景实时自动去雨成像处理方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101581950A (zh) * | 2009-06-18 | 2009-11-18 | 中国人民解放军国防科学技术大学 | 同轴式联合变换光学相关器 |
CN103743484A (zh) * | 2013-11-22 | 2014-04-23 | 中国科学院光电研究院 | 一种频谱编码成像装置 |
CN105809159A (zh) * | 2016-02-04 | 2016-07-27 | 杭州电子科技大学 | 一种基于成像的视觉权重图提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9557856B2 (en) * | 2013-08-19 | 2017-01-31 | Basf Se | Optical detector |
-
2018
- 2018-06-15 CN CN201810621416.3A patent/CN108921053B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101581950A (zh) * | 2009-06-18 | 2009-11-18 | 中国人民解放军国防科学技术大学 | 同轴式联合变换光学相关器 |
CN103743484A (zh) * | 2013-11-22 | 2014-04-23 | 中国科学院光电研究院 | 一种频谱编码成像装置 |
CN105809159A (zh) * | 2016-02-04 | 2016-07-27 | 杭州电子科技大学 | 一种基于成像的视觉权重图提取方法 |
Non-Patent Citations (1)
Title |
---|
纹理方向检测的光学实现方法研究;余道喜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;第2017年卷(第3期);正文第25-51页,图3.4,图4.1 * |
Also Published As
Publication number | Publication date |
---|---|
CN108921053A (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11862021B2 (en) | Method and apparatus for remanent imaging control | |
CN108986064B (zh) | 一种人流量统计方法、设备及系统 | |
CN108229366B (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
US20190325241A1 (en) | Device and a method for extracting dynamic information on a scene using a convolutional neural network | |
EP3103059A1 (de) | 3d-bildanalysator zur blickrichtungsbestimmung | |
CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
CN105592269B (zh) | 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 | |
CN107133610B (zh) | 一种复杂路况下行车流量视觉检测与计数方法 | |
CN110225226B (zh) | 一种视觉跟踪系统及方法 | |
CN109886883A (zh) | 实时偏振透雾成像图像增强处理方法 | |
CN109086675A (zh) | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 | |
CN109076176A (zh) | 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法 | |
CN110210292A (zh) | 一种基于深度学习的目标识别方法 | |
CN115641364B (zh) | 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法 | |
CN108921053B (zh) | 一种场景目标自动分析检测处理方法及装置 | |
CN106791353B (zh) | 自动对焦的方法、装置和系统 | |
CN116682106A (zh) | 一种基于深度学习的柑橘木虱智能检测方法及装置 | |
CN101694385B (zh) | 基于傅立叶光学的微小目标检测仪及检测方法 | |
Sun et al. | A novel system for moving object detection using bionic compound eyes | |
CN108305290B (zh) | 一种动目标的精确测谱方法 | |
CN105791686A (zh) | 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法 | |
US20230045152A1 (en) | System and method to simultaneously track multiple organisms at high resolution | |
An et al. | Shape from focus through Laplacian using 3D window | |
US11578968B1 (en) | Compact metalens depth sensors | |
CN113933248B (zh) | 一种高光谱在线检测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181130 Assignee: CHANGSHAN SHUANGMING BEARING CO.,LTD. Assignor: HANGZHOU DIANZI University Contract record no.: X2023980048719 Denomination of invention: A method and device for automatic analysis, detection, and processing of scene targets Granted publication date: 20210507 License type: Common License Record date: 20231128 |