CN1439145A - 实时光电图像处理器 - Google Patents

实时光电图像处理器 Download PDF

Info

Publication number
CN1439145A
CN1439145A CN01811731A CN01811731A CN1439145A CN 1439145 A CN1439145 A CN 1439145A CN 01811731 A CN01811731 A CN 01811731A CN 01811731 A CN01811731 A CN 01811731A CN 1439145 A CN1439145 A CN 1439145A
Authority
CN
China
Prior art keywords
image
spectrum
target
filter
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01811731A
Other languages
English (en)
Other versions
CN1311407C (zh
Inventor
保罗·I·施尼策尔
伊利亚·阿居罗克
阿拉迈斯·阿瓦基安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Physical Optics Corp
Original Assignee
Physical Optics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Physical Optics Corp filed Critical Physical Optics Corp
Publication of CN1439145A publication Critical patent/CN1439145A/zh
Application granted granted Critical
Publication of CN1311407C publication Critical patent/CN1311407C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

一种实时光学处理图像的系统和方法,其同时对所选光谱间隔的可变图像组进行组合。在需要时,收集(515)多个光谱间隔(510)的光谱图像。根据在具体应用中建立的标准,计算所选光谱间隔最佳组合的系数(520-535)。经由光学滤光器连续捕获正的和负的图像,所述光学滤光器的透射光谱被调整为最佳组合的正(540-545)和负(550-555)的系数。从正图像中减去(560)负图像,实时显示(565)一系列最佳结果图像。

Description

实时光电图像处理器
技术领域
本发明涉及一种实时光电图像处理器。特别是本发明涉及一种实时光学增强成像目标与背景对比度的系统和方法。
背景技术
目前,目标跟踪有些困难,其难处在于例如野生生物受到危害,面对树林或田野等变化着的背景。因此,在例如飞行试验中心范围内跟踪飞机、靶、军需品,变成日益复杂的挑战性课题。随着DOD(美国防部)试验场周围区域污染的增加,更多的污染物沉积在空气中。这种污染使空中悬浮颗粒物、雾状物和其他现象增多,降低了能见度。另外,飞机和军需器材以高速运动,某些目标又是秘密的,造成跟踪它们的困难。
增强目标跟踪图像的通常途径是使用灵敏的红外摄像机和距离选通的激光摄像机系统。不幸的是,这些设备很昂贵。红外摄像机的价格一般为几万美元,距离选通的激光摄像机系统甚至更贵。这些途径对于要在多个场合密集使用来说,价格就过高了。现有系统的另一问题是,它们是主动的,它们“照亮”靶或目标。这就是说,为了检测,它们把光或声信号投射到目标上。这些投射能通知目标:它正被跟踪。
图1(a)示出飞行靶或目标110的示例性观察情景。情景包括目标110,太阳120,云130,跟踪器140,反射光150和散射光160。跟踪器140既收集大气中的散射光160又收集从目标110来的反射光150。所以,目标110的能见度在很大程度上依赖于大气条件。
通过抑制光谱中的那些目标110的信号弱、而背景信号强的部分,可达到增强目标能见度的目的。因为蓝光的瑞利散射强,所以抑制可见光谱的蓝色部分是有用的。虽然计算机算法能用来计算这些作用是如何影响大气中的光传播的,但不幸的是所有计算都要假定某种大气模型,而这种模型与观察点的大气条件可能是很不相同的。
发明内容
本发明提供一种利用声光可调滤光器(Acousto-Optic Tunable Filter-AOTF)的实时光电图像处理器所用的方法和系统。图像处理可包括例如目标对比度增强,目标识别,目标检测,目标跟踪等等。为了目标对比度增强,在多个光谱间隔上收集光谱图像,建立目标和背景光谱参数。根据目标和背景光谱参数计算滤光器系数,以使目标和背景光谱参数之间的对比度最大化。根据计算得的滤光器系数调整声光滤光器的透射光谱。通过与调整过的声光滤光器透射光谱相应的光学滤光器来捕获图像。
这个系统能增强处于不利天气条件下试验的远距离目标的能见度。当装在光学靶跟踪器上时,这个系统能以下述方式,自动地调整它的光谱透射,即显著地降低背景光的强度,而从被测目标反射的光则降低得最少。
在计算机控制下的AOTF能快速变化它的整个可见范围的光谱透射曲线。这个系统自动分析背景和所选感兴趣的目标的光谱特性。它为抑制背景和目标对比度增强,计算光谱匹配的滤光器。然后,这个被过滤的数据直接进入光学通道,而将计算机图像处理的工作减至最少。增强了目标对比度的结果图像,能实时显示在通用计算机监视器上,并能用VCR记录。
这个系统能为军事装备的飞行试验提供更多信息,并且花费较少。它减少了飞行试验程序对天气条件的依赖,并能够通过提供增强目标能见度的实时图像来收集更多的数据。
本发明的系统和方法能实时自动地适应观察点的具体大气条件。为实现这种适应,收集目标和背景的初始光谱信息,所提出的系统能跟踪目标并实时提供增强图像,直至目标或背景光谱出现急剧变化。然后,收集新数据,继续进行又一轮观测过程。
附图说明
下面将参考附图来说明本发明的优选实施例,其中相同的编号指示相同的部件,附图中:
图1(a)示出典型的飞行靶或目标的观察情景;图1(b)示出另一典型的飞行靶或目标的观察情景;
图2是根据一个实施例的目标增强器示例方框图;
图3是根据另一个实施例的目标增强器的示例方框图;
图4和图5是TNLC消色差旋转器操作原理图;
图6是表示AOTF操作原理的系统示例图;
图7是AOTF中声光交互的波矢量示例图;
图8是根据一个实施例的目标增强器系统运作示例流程图;
图9是监控目标增强器中图像背景的示例流程图;
图10是目标增强器系统运作的另一实施例的示例流程图;
图11是根据目标反射光和散射光的谱差来解决目标增强的方法示例图;
图12是非均匀背景光谱匹配滤光器示例图;
图13是沿过滤方向的背景强度分布示例图;
图14是AOTF透射曲线示例图;
图15是实验性目标增强器运行的时序示例图。
具体实施方式
图1(b)示出飞行靶或目标110的另一示例性观察情景。情景包括目标110,太阳120,云130,跟踪器140,反射光150,散射光160和目标增强器170。如图1(a)中所示,跟踪器140既收集大气中的散射光160又收集从目标110来的反射光150。图1(b)中的目标增强器170可与跟踪器140联合工作,或集成到跟踪器140中,以实时地滤去散射光160,如下面所揭示的。另外,对于例如图像处理,目标识别,对比度增强或诸如此类的使用场合,目标增强器170可从跟踪器140分离出来使用。
图2示出根据一个实施例的,如同目标增强器170那样的目标增强器900的示例性方框图。目标增强器900可包括望远镜透镜905,场透镜910,分光器(beam splitter)915和955,AOTF 920,匹配光学器件925和950,CCD(电荷耦合器件)摄像机930和945,计算机935,TV监示器940,聚焦光学器件960以及光谱仪965。
在操作上,目标增强器900可通过望远镜透镜905和场透镜910接收信号,例如图像信号。可采用分光器915和955对信号进行分离。信号经过AOTF 920过滤而至匹配光学器件925。然后由CCD摄像机930接收信号,并发送至计算机935。信号也可从分光器955经匹配光学器件950发送至CCD摄像机945,然后至TV监视器940。信号进一步从分光器955经聚焦光学器件发送至光谱仪965。然后,光谱仪965可将信号发送至计算机935。
图3示出根据另一实施例的,如同目标增强器170那样的目标增强器1000示例性方框图。这个实施例允许使用光偏振作为附加的鉴别,以增强目标的对比度。目标增强器1000可包括物镜1010,光偏振的液晶消色差旋转器(liquid crystal achromatic rotator of light polarization-LCARLP)1015,AOTF 1020,匹配光学器件1025,光检测器例如CCD摄像机1030,LC ARLP驱动器1035,AOTF驱动器1040,帧截取器(framegrabber)1045,计算机1050和监视器1055。
在操作上,AOTF 1020可通过前面的成像光学器件例如物镜1010和LC ARLP 1015接收信号。AOTF 1020可通过后面的光学器件例如匹配光学器件1025发送信号例如已过滤的图像,以使已过滤的图像与光检测器阵列例如CCD摄像机1030相匹配。帧截取器1045可数字化已捕获的图像。计算机1050能控制驱动器件和帧接收器的操作。示例AOTF 1020是非共线的TeO2AOTF,它可具有6°的孔径张角和8mm×8mm的线性孔径(linear aperture)。可以将AOTF 1020设计成向TeO2晶体中的折射率色散提供全补偿。因此,光透射波长变化时,将不出现图像移动。这种目标增强器1000能在可见光波段范围和近红外波段范围内有效地工作。
计算机1050包括带有16个振荡器阵列的PCI(外围部件接口)计算机板,以驱动AOTF 1020。这些振荡器同时产生具有频率范围为100-200MHz的复合频谱驱动信号。这个发生器阵列的开关时间是2μs。每个振荡器的幅度和频率以14位分辨率进行控制。这块示例性的板可适合扩展至32个频率通道。因此,在AOTF 1020中,可在几微秒内产生或改变任何所希望的倍频程宽度透射间隔的线性组合。
对于LC ARLP 1015,光偏振可在较宽的光谱间隔内旋转。采用组合双折射材料,能够获得相当精确的90度旋转,不仅在一个波长内,而且在宽的光谱间隔内。具有绞丝状的(TN)LC层的消色差旋转器可用作LC ARLP 1015,因为它们的性能与光的波长无关。它可由外部电路板例如LC ARLP驱动器1035在计算机1050控制下产生的低电压、矩形、有交变极性的电信号来驱动。没有施加电压时,LC ARLP 1015旋转入射光的极性,这样,最初的垂直偏振光就变成水平偏振。AOTF 1020可利用这种偏振方式进行光谱过滤。所加的电压消除光偏振的旋转,这样,最初的水平偏振被用于光谱过滤。LC ARLP 1015响应施加电压的时间大约是1ms。而瞬变到没有施加电压状态的时间约为6ms。45度光偏振的类似旋转也可加至系统,以执行斯托克斯矢量(Stokes vector)的3个分量的操作。
因此,可用商品黑白CCD摄像机1030来捕获以两个正交偏振之一取得的情景的复合光谱图像,该摄像机能以每秒30帧的接口方式工作。可由帧截取器对来自CCD摄像机1030的模拟合成TV信号进行数字化,然后用于图像处理和显示。
图4和5是TN LC消色差旋转器400操作原理图。旋转器400包括液晶(LC)410和电压源420。这种偏振液晶旋转器现时可以买到。如图4所示,当电压源420未施加电场时,LC分子410产生使光偏振旋转的绞链。如图5所示,当电压源420加上电场时,LC 410跟随所加电场的方向重新取向,不出现光偏振的旋转。
图6是表示AOTF例如AOTF 1020操作原理的系统1100的示例图。系统1100包括入射光1110,第一偏振器1120,声吸收器1130,压电换能器1140,第二偏振器1150和被选光1160。在操作中,图象或入射光通过第一偏振器1120进入系统。压电换能器1140能产生传播的声波1170。由加至压电换能器1140的驱动信号的频率确定来声波1170的波长。由于弹光效应(elasto-optic effect),传播的声波在AOTF 1020的晶体中产生相应相位的衍射光栅。具有由声致相位光栅的周期(也就是加至压电换能器上的驱动信号的频率)确定的波长的那部分入射光被这个光栅衍射。用衍射光偏振旋转90°来调节声致相位衍射光栅上的光衍射过程。衍射光1160通过偏振器1150。通过施加复合频谱驱动信号就能同时在晶体中激励几种不同周期和幅度的光栅,因此,允许几种波长同时光衍射。AOTF的这一操作说明怎样对实时图像进行声光操作。
图7是AOTF中的声光交互作用的示例性波矢量图1200。矢量ki表示入射波的波矢量。矢量kd表示衍射波的波矢量。矢量ka表示声波的波矢量。为了能够进行图像的光谱过滤,发散的光束必须能在所选的光波长上进行有效的光衍射。这种可能性在光衍射的特定几何结构中会碰到,即入射光1240(晶体中的异常光束)的切线之间,以及相对于衍射的光束1250(晶体中的正常光束)是平行的。这个图1200是对所述波之间的声光交互作用的一种简单说明。
图8是目标增强器系统例如目标增强器900的示例性操作流程图500。流程图500可用例如计算机935实现,以达到目标增强的目的。图8表示光谱匹配过滤可以是线性操作。为了加速系统运作实现实时光谱匹配过滤,AOTF的独特能力能被用来同时在许多光谱间隔透射光线。在驱动信号光谱包含无线电频率的适当组合时,可以有这种方式的AOTF操作。驱动信号光谱中相应频率的幅度能确定每一波长上透射光的强度。通过选择适当的频率组和它们的幅度,就能接近任意给定形状的AOTF的透射。
图8说明例如在实时跟踪目标时数据怎样通过滤光器实时发送。因此,本发明提供一种实时光学增强图像的方法。收集多个光谱间隔上的光谱图像。创建目标和背景的光谱参数。为实时地使目标和背景之间的对比度达到最大,根据目标和背景的光谱参数来计算滤光器系数。根据所计算的滤光器系数调整声光滤光器的透射光谱。通过与一组计算得的滤光器系数相对应的光学滤光器捕获图像。
按照图8的本发明相关实施例,提供一种实时光学增强成像对比度的方法。通过使用声光操作,将实时图像转换为图像的光谱表示。图像的光谱表示被处理为正和负的离散光谱系数,以创建高对比度图像决定因数自适应光谱滤光器(high contrast image determinant adaptive spectralfilter)。光谱表示再转换回高对比度的图像。
流程图以步骤505开始。在步骤510中,选择用于分析的初始波长。波长λ1,λ2,…λn表示光谱间隔的数量和位置,波长Δλ1,Δλ2,…Δλn表示每个光谱间隔的宽度。在步骤515中,收集步骤510中选择的每一初始波长的光谱图像。在步骤520中,瞄准或输入光谱特性或光谱图像的区域,用于在步骤525中确定目标矢量。在步骤525中,从步骤520中所瞄准的光谱特性或光谱图像上的区域,获取目标矢量。在步骤530中,获取背景矢量。例如,背景矢量可通过在背景图像中的特定区域中对象素取样而获取。
在步骤535中,创建过滤矢量F。例如,可根据上述等式(1)或者其他计算滤光器的等式来创建过滤矢量F。在步骤540中,创建正的滤光器F+。在步骤545中,通过正的滤光器F+截取图像。实际上,可通过将具有复合频谱的驱动信号加至AOTF的方法来完成过滤。这一驱动信号可由信号合成器或频率发生器阵列产生。在步骤550中,创建负的滤光器F-。在步骤555中,通过负的滤光器F-截取图像。步骤540至555可重复或者改变执行次序,以通过不同的滤光器获得变化的图像。因此,步骤535,540和555可根据目标和背景光谱参数计算滤光器系数,用于实时地使目标和背景之间的对比度达到最大。
在步骤560中,对通过滤光器截取的变化波长图像进行图像相减。可采用处理器或计算机实现来这种相减。在步骤565中,可显示和/或记录结果图像。在步骤570中,确定图像是否已有显著变化。例如,确定背景是否显著地变化或者目标是否已离开观察区域。如果图像没有实质的变化,处理流程就返回到步骤540,继续处理和显示图像。如果图像有实质的变化,处理流程就可返回到步骤510,用于重新确定或重新建立初始参数。处理流程可另外返回到例如步骤515,520,525,530,或540,这取决于有多少个希望再次完成的初始处理。可按照图9的背景监控过程来实现步骤570的判定。
图9是监控目标增强器中图像背景的流程图600的示例图。流程图以步骤605开始。在步骤610中,目标增强器获得的背景光谱。在步骤620中,目标增强器将背景光谱与背景矢量B进行比较。在步骤630中,目标增强器根据步骤620中所做的比较来确定背景是否存在显著的变化。如果没有显著的变化,目标增强器就返回到步骤610继续监控背景。如果有显著的变化,目标增强器可在步骤640再收集光谱图像,然后返回到步骤610再进行监控。这个监控过程能够与图8过滤过程同时完成,例如,当背景显著地变化时,图8的过程就在步骤520再行收集光谱图像。
图10示出目标增强器的另一实施例,例如使用测定光谱偏振的匹配滤光器(Spectrally Polarimetric Matched Filter-SPMF)的目标增强器1000的操作示例性流程图1300。采用例如LC ARLP 1015与AOTF 1020的组合,SPMF能够用于目标增强器1000。过程从步骤1305开始。在步骤1310中,LC ARLP断开。在步骤1315中,捕获J光谱图像。在步骤1320中,LC ARLP接通。在步骤1325中,捕获另一J光谱图像。在步骤1330中,精确定位目标区域。在步骤1335中,计算背景和目标参数、平均矢量B、协方差矩阵M和目标矢量T。这些数值可根据图11和12中略述的程序进行计算,这些程序在下面将进一步描述。在步骤1340中,使用F=M-1T,F=F+ HP-F- HP+F+ VP-F- VP来计算SPMF。SPMF滤光器F由F+ HP,F- HP,F+ VP和F- VP四部分所组成,这里HP意指水平偏振,VP意指垂直偏振,+和-分别代替正和负系数。因此,4帧用于通过滤光器F的这4部分截取图像。采用具有每秒30帧普通速度的商用CCD摄像机1030,这个系统能以每秒约7.5帧的速度产生具有高对比度的图像。利用快速摄像机,帧截取器和更强有力的视频适配器,有可能开发一种光谱偏振测定(spectro-polarization)成像系统,其以接近每秒30帧速度进行操作。
在步骤1345中,创建滤光器F+ VP。在步骤1350中,通过滤光器F+ VP截取图像。在步骤1355创建滤光器F- VP,在步骤1360中,通过F- VP截取图像。在步骤1365中,LC ARLP被断开。在步骤1370中,创建滤光器F+ HP。在步骤1375中,通过滤光器F+ HP截取图像。在步骤1380中,创建滤光器F- HP。在步骤1385中,通过滤光器F- HP截取图像。然后,流程可并行地前进至步骤1390和1387。在步骤1387中,LC ARLP被接通,并且流程图前进至步骤1345。在步骤1390中,所截取的图像被相加和相减。在步骤1395中,显示结果图像。因此,在图像显示时,处理后面的图像,用于进一步显示。流程图1300用于在干扰的背景中增强目标能见度,这通过利用来自背景B的反射光和来自目标T的反射光在光谱与偏振两方面的差别来实现。
图11是根据目标反射光和散射光的光谱差来解决目标增强的方法示例图。对于例如目标增强器170,900和1000这样从背景矢量B和靶矢量V创建滤光器矢量F的目标增强器,这种方法是有用的。图11表示多维空间200,其中每个轴λ1,λ2,和λ3表示在给定的光谱间隔内的光强。这个空间中的矢量B能描述来自均匀背景的光。矢量T相应于从靶或目标如目标110反射的光。矢量B’表示从目标和望远镜之间的大气散射光,而矢量T’表示目标反射加上B’的散射光。通过光谱滤光器的光可描述为T1,它是光矢量在滤光器矢量F上的投影。
如果只有从目标反射的光才照射到光电检测器阵列,而光谱滤光器将滤去散射光,就能实现目标对比度增强。图11表示的情形是:滤光器矢量F应垂直于背景矢量B,并应定位在矢量B和T所处的平面P内。
同样的考虑适用于观察中使用的大量光谱间隔。能用下列公式计算滤光器矢量F: F = T ′ - ( B - T ′ ) ( B · B ) 1 / 2 ( T ′ · T ′ ) 1 / 2 - - - - ( 1 ) 这里 B ( λ i ) = Σ m = 1 k Σ n = 1 l I mn ( λ i ) - - - - ( 2 ) 它是计算背景光谱特性B所用的整帧中的k×1象素格,和 T ′ ( λ i ) = Σ m = 1 p Σ n = 1 q I mn ( λ i ) - - - - ( 3 ) 它是计算目标光谱特征T所用的任一光谱帧中指向目标的小矩形中的p×q象素格。
光强只能是正数。所以,光谱矢量B和T总是处于只有正坐标的多维光谱空间的象限。这意味着与B垂直的矢量F在光谱轴上至少有一个负的投影(F·B=0)。当然,没有光谱滤光器能产生负的光强。滤光器为实现目标对比度增强用的最佳光谱过滤,使用计算机图像相减。在这种情况下,必须取两幅图像。它们中的第一幅经过透射曲线与具有正值(F+)的矢量F的全组分量相应的光谱滤光器例如AOTF 920或AOTF1020取得,第二幅经过透射曲线与具有负值(F-)的矢量F的全组分量相应的光谱滤光器例如AOTF 920或AOTF 1020取得。因为利用AOTF的谱自适应光过滤技术,允许在滤光器透射中的极快速变化(几十微秒),可以经由不同的光谱滤光器取得每个后续图像帧。这就能几乎实时地(CCD帧速率的一半)以增强了的目标对比度来成象。
以矢量B描述背景光谱特性只对均匀背景才是正确的。在某些情况下,可以同时在光学跟踪器的视场中看到几个不同的目标。例如,背景可以是天空和地形,或晴空和云彩。既然如此,背景中的每一象素在多维光谱空间中就有它自己的矢量。图12是用在非均匀背景状态下的光谱匹配过滤的示例图。图12示出这些矢量的端点是怎样在光谱空间形成散射图(scatter plot)的。
图12示出散射图310和目标T在平面320上的投影,平面320垂直于第一主要分量P1并包含第二主要分量P2和第三主要分量P3。经过P2和P3的交点和目标矢量T的投影点的线可求出滤光器F的方向。图13示例性地表示沿滤光器方向Y上的背景BG光强分布和在这个投影中从背景分离出来的目标光强。在多数情况下,滤光器方向可以是高斯曲线。
在这种情况下,通过光谱匹配过滤可实现目标能见度的增强。光谱匹配过滤可以看作主要光谱分量的适当加权组合。主要光谱分量的轴与数据概率分布的椭圆轴重合,它们是协方差矩阵M的特征矢量(eigenvector)。该对称矩阵的这些系数,是背景数据中的概率分布的二阶矩,例如零均值分布(zero-mean distribution),零一阶矩。换句话说,系数Mij是数据与第i和第j谱带之间的相关测度: M ij = 1 / N Σ k = 1 N x ik x jk - - - - ( 4 ) 这里,xpk是去掉平均值之后,p光谱分量在k象素的光谱数据矢量中的值。
光谱匹配滤光器能描述为多维色空间。它的运作,即每一光谱图像与加权系数Fi的相乘运算,是点矢积运算,每一象素向滤光器矢量方向投影光谱矢量。
在较高相关的背景中,散射图形成的椭圆BG是被大大地拉长,通过把图像投影与在椭圆BG的长轴P2’重合的方向来改善目标对比度的可能性较小。当滤光器矢量Y处于与这个轴垂直的平面上时,发现目标的概率明显较高。如图3所示,滤光器矢量Y的方向必须接近目标矢量T’向这个平面投影的方向。当滤光器矢量Y的方向靠近与主轴相关的系统坐标时,就容易在不同的光谱间隔光强的原始坐标中发现这个矢量。
计算滤光器矢量F需要背景知识和目标光谱特性。可以在观察的最初阶段,通过截取并在计算机存储器中存取经过同样滤光器的几幅光谱图像来收集这个信息。可通过对在观察的最初阶段收集到的最初光谱图像中的一组目标图像信息进行分析来获得目标光谱特性。这个与目标位置有关的信息,既可由其他探测设备如雷达提供,也可由操作者单击目标区的计算机鼠标而提供。
一旦获得目标光谱特性,系统就能自动增强目标对比度,直至背景中的特征发生变化。例如,目标从云层中通过就会产生这种变化。为获得背景变化的指示,系统设计可以包括由光学望远镜收集的部分光线来照射的小型光谱仪。光谱仪能将背景光谱与最初的数据比较,并能在光谱形状有显著变化时发生警告。在这种情况下,既可以利用来自光谱仪的背景光谱计算新的滤光器矢量,也可以开始光谱信息收集的新循环。需要注意,例如,如果CCD摄像机具有普通每秒30帧的工作速度,那么在大约0.5秒内能捕获16个图像帧。
图14是AOTF透射曲线图示例。曲线700表示AOTF的光谱透射曲线,以及用一组对单一频率信号的光谱响应710-730对曲线的近似。如图所示,以光谱透射T作为波长λ的函数绘制曲线700。给AOTF施加一个复合驱动信号,任何所希望的AOTF光谱透射曲线形状都能在倍频宽的光谱范围内再生。可以由信号合成器或信号发生器阵列产生这种AOTF的复合驱动信号。例如,信号合成器能用作图3的AOTF驱动器1040。
图15是一个实验性目标增强器运作的时序图800。图15表示如何用公开的发明较快地进行目标增强。图800包括截取正和负的图像信号的时序810,图像相减信号的时序820,显示结果图像信号的时序830,等待场信号结束的时序840,投射AOTF的时序850。
本发明的方法最好在编程处理器上实现。但是,这种方法也可以在通用或专用计算机、编程微处理器或微控制器和外围集成电路部件、ASIC或其他集成电路、诸如分离元件电路之类的硬件电子电路或逻辑电路,诸如PLD,PLA,FPGA或PAL之类可编程逻辑装置上实现。一般来说,任何驻留有能实现图中所示流程的有限状态机都可用来实现本发明的处理功能。
尽管已就其特定实施例对本发明作了说明,显然,本领域的技术人员清楚各种替换、修改和变化。因此,这里提出的本发明优选实施例意图在于举例说明而不是限制。在不偏离本发明的精神和范围的情况下,可以做各种不同的变化。

Claims (27)

1.一种通过合并选定的光谱间隔中的可变图象组来对图象进行实时光学处理方法,其特征在于包括以下步骤:
选择一组光谱间隔;
调整光学滤光器的透射光谱至第一选择的光谱间隔;
经过调整的光学滤光器采集光谱图像;
对每一选择的光谱间隔重复上述步骤;
确定目标区域;
从一组光谱图像组提取目标和背景光谱参数;
对满足应用标准的每一光谱间隔,计算最佳加权系数组;
调整滤光器透射光谱至相应光谱间隔的正加权系数,以创建正滤光器;
经过正滤光器捕获图像;
调整滤光器透射光谱至相应光谱间隔的负加权系数,以创建负滤光器;
经过负滤光器捕获图像;
从经过正滤光器捕获的图像中减去经过负滤光器捕获的图像;
记录和显示结果图像。
2.根据权利要求1所述的方法,其特征在于还包括:完整地循环实时光学处理图像的方法,其中,在每次循环中,所述数个光谱间隔中的至少一个、每个间隔的位置和每个间隔的光谱宽度可以发生变化。
3.根据权利要求1所述的方法,其特征在于还包括:
监控图像背景光谱参数;
确定背景光谱参数是否显著偏离已建立的背景光谱参数;和
如果背景光谱参数显著偏离已建立的背景光谱参数,则再提取目标和背景光谱参数。
4.根据权利要求1所述的方法,其特征在于还包括:以不同的光偏振来采集一组光谱图像。
5.根据权利要求1所述的方法,其特征在于:记录结果图像的步骤包括显示结果图像。
6.一种通过同时合并选定的光谱间隔中的图象组来对图象进行实时光学处理的系统,其特征在于包括步骤:
物镜;
与物镜耦合的声光可调滤光器;
与声光可调滤光器耦合的图像捕获装置;
与声光可调滤光器连接的多频率发生器;和
与多频率发生器耦合的处理器,其控制多频率发生器、计算目标和背景光谱参数、计算最佳图像处理的加权系数和执行图像相减。
7.一种实时光学增强目标和背景之间成像对比度的方法,其特征在于包括以下步骤:
建立目标和背景光谱参数;
根据目标和背景光谱参数计算滤光器系数,以实时地使目标和背景对比度到最大;
根据计算的滤光器系数调整声光滤光器透射光谱;和
经过具有根据计算的滤光器系数所得透射光谱的声光滤光器来捕获图像。
8.根据权利要求7所述的方法,其特征在于还包括:选择初始波长,以供分析。
9.根据权利要求7所述的方法,其特征在于还包括:
监控图像的背景光谱参数;
确定背景光谱参数是否显著偏离已建立的背景光谱参数;和
如果背景光谱参数显著偏离已建立的背景光谱参数,则再提取目标和背景光谱参数。
10.根据权利要求9所述的方法,其特征在于:
在确定背景光谱参数是否显著偏离已建立的背景光谱参数的步骤,对背景光谱参数和背景矢量进行比较。
11.根据权利要求7所述的方法,其特征在于还包括:瞄准光谱图像上的目标区域,其中,在建立目标和背景光谱参数的步骤根据所瞄准的光谱区域建立目标和背景光谱参数。
12.根据权利要求7所述的方法,其特征在于:
在经过与一组计算的滤光器系数相应的光学滤光器捕获图像的步骤,从经过一个滤光器捕获的图像中减去经过另一滤光器捕获的图像。
13.根据权利要求7所述的方法,其特征在于还包括:显示经过与计算所得一组滤光器系数相应的光学滤光器捕获的图像。
14.一种实时光学增强成像对比度的方法,其特征在于包括步骤:
采集一组实时图像;
利用声光滤光器进行从实时图像组至实时图像组的光谱表示的转换;
将实时图像组的光谱表示处理为正和负的离散光谱系数,以创建高对比度图像决定因数自适应光谱滤光器;和
利用高对比度图像决定因数自适应光谱滤光器将实时图像的光谱表示转换为高对比度图像。
15.根据权利要求14所述的方法,其特征在于还包括:选择初始波长,以供创建转换时使用。
16.根据权利要求14所述的方法,其特征在于还包括:
监控图像的背景光谱参数;
确定背景光谱参数是否显著偏离已建立的背景光谱参数;和
如果背景光谱参数显著偏离已建立的光谱参数,则再创建转换、再处理光谱表示和再转换光谱表示。
17.根据权利要求16所述的方法,其特征在于:在确定背景光谱参数是否显著偏离已建立的背景光谱参数的步骤对背景光谱参数和背景矢量进行比较。
18.根据权利要求14所述的方法,其特征在于还包括:瞄准光谱图像上的目标区域。
19.根据权利要求14所述的方法,其特征在于还包括:从经过负离散光谱系数滤光器捕获的图像中减去经过正离散光谱系数滤光器捕获的图像。
20.根据权利要求14所述的方法,其特征在于还包括:存储和显示高对比度图像。
21.一种光学增强成像对比度的系统,其特征在于包括:
物镜;
与物镜耦合的声光可调滤光器;
与声光可调滤光器耦合的图像捕获装置;
与声光可调滤光器连接的多频率发生器;和
与多频率发生器耦合的处理器,其为多频率发生器计算滤光器系数。
22.根据权利要求21所述的系统,其特征在于:多频率发生器包括声光可调滤光器驱动器。
23.根据权利要求21所述的系统,其特征在于:图像捕获装置包括光电检测器阵列,其从声光可调滤光器接收已过滤的图像。
24.根据权利要求23所述的系统,其特征在于:处理器从图像捕获装置接收多个已过滤的图像,并且处理器进一步组合多个已过滤的图像,以创建高对比度图像。
25.根据权利要求24所述的系统,其特征在于还包括:与处理器耦合的监视器,其显示由处理器创建的高对比度图像。
26.根据权利要求21所述的系统,其特征在于还包括与图像捕获装置耦合的帧截取器。
27.根据权利要求21所述的系统,其特征在于:声光可调滤光器从物镜接收图像,并且多频率发生器驱动声光可调滤光器,使其根据处理器计算的滤光器系数过滤图像。
CNB018117317A 2000-04-27 2001-04-26 实时光电图像处理器 Expired - Fee Related CN1311407C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/560,412 US6353673B1 (en) 2000-04-27 2000-04-27 Real-time opto-electronic image processor
US09/560,412 2000-04-27

Publications (2)

Publication Number Publication Date
CN1439145A true CN1439145A (zh) 2003-08-27
CN1311407C CN1311407C (zh) 2007-04-18

Family

ID=24237704

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018117317A Expired - Fee Related CN1311407C (zh) 2000-04-27 2001-04-26 实时光电图像处理器

Country Status (9)

Country Link
US (1) US6353673B1 (zh)
EP (1) EP1290638A1 (zh)
JP (1) JP2003532086A (zh)
KR (1) KR100838909B1 (zh)
CN (1) CN1311407C (zh)
AU (1) AU2001257387A1 (zh)
CA (1) CA2407133C (zh)
TW (1) TW512286B (zh)
WO (1) WO2001082229A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432080A (zh) * 2013-12-24 2016-03-23 软动力学传感器公司 渡越时间相机系统
CN111665622A (zh) * 2019-03-06 2020-09-15 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940999B2 (en) * 2000-06-13 2005-09-06 American Gnc Corp. Method for target detection and identification by using proximity pixel information
AT410033B (de) * 2001-06-06 2003-01-27 Eurolab Instr Gmbh Verfahren und messeinrichtung zur bestimmung zumindest eines lumineszenz-, floureszenz- oder absorptionsparameters einer probe
US7194132B1 (en) * 2002-07-09 2007-03-20 The United States Of America As Represented By The Secretary Of The Navy Method and system for detecting anomalies in multispectral and hyperspectral imagery employing the normal compositional model
EP1656642A4 (en) * 2003-08-22 2007-06-13 Meade Instruments Corp IMAGE PROCESSOR AND IMAGE PROCESSING METHOD
KR100555868B1 (ko) * 2004-06-09 2006-03-03 삼성전자주식회사 아티팩트 처리 장치 및 방법
US7792321B2 (en) * 2004-07-28 2010-09-07 The Aerospace Corporation Hypersensor-based anomaly resistant detection and identification (HARDI) system and method
US8237844B2 (en) * 2005-04-26 2012-08-07 Photon Etc. Inc. Spectrographic multi-band camera
US20060245640A1 (en) * 2005-04-28 2006-11-02 Szczuka Steven J Methods and apparatus of image processing using drizzle filtering
US20070041613A1 (en) * 2005-05-11 2007-02-22 Luc Perron Database of target objects suitable for use in screening receptacles or people and method and apparatus for generating same
US7991242B2 (en) 2005-05-11 2011-08-02 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality
US20090174554A1 (en) 2005-05-11 2009-07-09 Eric Bergeron Method and system for screening luggage items, cargo containers or persons
US7899232B2 (en) 2006-05-11 2011-03-01 Optosecurity Inc. Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same
JP2009544228A (ja) * 2006-07-18 2009-12-10 ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア 偏光を使用した、重複キャストシャドウ成分の分離およびコントラスト強調、ならびに陰影内の標的検出
US8494210B2 (en) 2007-03-30 2013-07-23 Optosecurity Inc. User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same
DE102006052542B4 (de) * 2006-11-06 2008-08-14 Hochschule für angewandte Wissenschaft und Kunst (HAWK) Hildesheim Bilderfassungseinrichtung
US7873235B2 (en) * 2007-01-29 2011-01-18 Ford Global Technologies, Llc Fog isolation and rejection filter
US8335345B2 (en) 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US8254650B2 (en) * 2009-02-27 2012-08-28 General Electric Company System and method for contrast enhancement of time-resolved fluorescence images
US8805083B1 (en) * 2010-03-21 2014-08-12 Jeffrey M. Sieracki System and method for discriminating constituents of image by complex spectral signature extraction
US8970691B2 (en) 2011-08-26 2015-03-03 Microsoft Technology Licensing, Llc Removal of rayleigh scattering from images
AU2012304490B2 (en) 2011-09-07 2015-06-25 Rapiscan Systems, Inc. X-ray inspection system that integrates manifest data with imaging/detection processing
JP6123318B2 (ja) * 2013-02-05 2017-05-10 セイコーエプソン株式会社 測色方法及び測色装置
FR3029265B1 (fr) * 2014-11-27 2017-01-13 Valeo Vision Systeme d'eclairage pour vehicule automobile a moyens statiques de balayage de faisceau lumineux
KR101650319B1 (ko) * 2015-03-06 2016-08-24 에스엔유 프리시젼 주식회사 컬러 카메라를 이용한 두께 측정방법 및 두께 측정장치
WO2016171651A1 (en) * 2015-04-20 2016-10-27 Hewlett-Packard Development Company, L.P. Tunable filters
US10302807B2 (en) 2016-02-22 2019-05-28 Rapiscan Systems, Inc. Systems and methods for detecting threats and contraband in cargo
DE102016215177B4 (de) * 2016-08-15 2024-07-04 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Erfassung von Bilddaten
US10657422B2 (en) * 2017-04-20 2020-05-19 The Boeing Company Methods and systems for hyper-spectral systems
US11327348B2 (en) 2018-09-18 2022-05-10 Eagle Technology, Llc Multi-channel laser system including optical assembly with etched optical signal channels and related methods
US11042052B2 (en) 2018-09-18 2021-06-22 Eagle Technology, Llc Multi-channel laser system including an acousto-optic modulator (AOM) with beam polarization switching and related methods

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647154A (en) 1983-07-29 1987-03-03 Quantum Diagnostics Ltd. Optical image processor
FR2588675A1 (fr) 1985-10-16 1987-04-17 Thomson Csf Systeme de traitement optique d'images lumineuses
US5090807A (en) 1990-01-10 1992-02-25 Environmental Research Institute Of Michigan Real time optical pre-detection processing of multispectral image data
US5166755A (en) 1990-05-23 1992-11-24 Nahum Gat Spectrometer apparatus
US5216484A (en) * 1991-12-09 1993-06-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Real-time imaging spectrometer
US5606413A (en) * 1995-01-19 1997-02-25 Northrop Grumman Corporation Real time spectroscopic imaging system and method
US5781336A (en) 1995-11-28 1998-07-14 Lockheed Martin Corporation Method and system for multi-spectral imaging in the visible and infrared spectrums
US5828451A (en) * 1997-09-30 1998-10-27 Northrop Grumman Corporation Spectral imaging system and method employing an acousto-optic tunable filter for wavelength selection with increased field of view brightness

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432080A (zh) * 2013-12-24 2016-03-23 软动力学传感器公司 渡越时间相机系统
CN111665622A (zh) * 2019-03-06 2020-09-15 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
US11803057B2 (en) 2019-03-06 2023-10-31 Ricoh Company, Ltd. Optical device, retinal projection display, head-mounted display, and optometric apparatus

Also Published As

Publication number Publication date
CA2407133C (en) 2011-04-05
KR100838909B1 (ko) 2008-06-16
WO2001082229B1 (en) 2002-02-28
EP1290638A1 (en) 2003-03-12
US6353673B1 (en) 2002-03-05
WO2001082229A1 (en) 2001-11-01
CN1311407C (zh) 2007-04-18
KR20020093094A (ko) 2002-12-12
TW512286B (en) 2002-12-01
JP2003532086A (ja) 2003-10-28
AU2001257387A1 (en) 2001-11-07
CA2407133A1 (en) 2001-11-01

Similar Documents

Publication Publication Date Title
CN1311407C (zh) 实时光电图像处理器
Gupta et al. Acousto-optic tunable filter based visible-to near-infrared spectropolarimetric imager
US5890095A (en) System for receiving and enhancing electromagnetic radiation input signals
EP0842497B1 (en) Imaging measurement system
AU2014208262B2 (en) Apparatus and method for image super-resolution using integral shifting optics
CN105157837B (zh) 一种基于声光滤光和电光相位调谐的高光谱全偏振成像仪
CN201041514Y (zh) 便携式成像光谱仪
US5828451A (en) Spectral imaging system and method employing an acousto-optic tunable filter for wavelength selection with increased field of view brightness
JP2019509463A (ja) 複数の独立した調整可能チャネルを有する偏光計、および、物質および物体を分類および認識する方法
CN111443045B (zh) 光谱成像分析系统及光谱成像分析方法
CN102353451A (zh) 二次声光可调滤波超光谱成像方法和装置
CN109342328A (zh) 一种内置扫描型显微高光谱成像系统及成像方法
CN108332853A (zh) 一种基于光谱的车载360度全景目标识别系统
CN109632264A (zh) 一种摄像装置环境试验稳定性的检测装置及方法
CN107356333A (zh) 一种红外光谱偏振成像系统及其参数优化配置方法
CN104931141B (zh) 一种全斯托克斯参量的白光双Sagnac偏振成像方法
US4448486A (en) Varying bandpass of optical spatial filter by rotating mirrors having changing reflectivity
US6064510A (en) Spectro-polarimetric imager
Ward et al. An acousto-optic based hyperspectral imaging camera for security and defence applications
CN107144348A (zh) 一种用于实时探测的偏振差分多光谱成像装置及方法
Horstmeyer et al. Pupil plane multiplexing for multi-domain imaging sensors
US4426663A (en) Real-time optical filtering method with improved filtered image detection and bandwidth adjustment
Gupta Hyperspectral and polarization imaging applications of acousto-optic tunable filters
CN109668633A (zh) 基于aotf的光谱成像复合探测方法
CN110715731A (zh) 基于aotf与旋光晶体组合的全线偏振光谱成像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070418

Termination date: 20130426