CN1133952C - 检测图像存在的装置和方法、光学组件和读取光学模式的方法 - Google Patents

检测图像存在的装置和方法、光学组件和读取光学模式的方法 Download PDF

Info

Publication number
CN1133952C
CN1133952C CNB988143313A CN98814331A CN1133952C CN 1133952 C CN1133952 C CN 1133952C CN B988143313 A CNB988143313 A CN B988143313A CN 98814331 A CN98814331 A CN 98814331A CN 1133952 C CN1133952 C CN 1133952C
Authority
CN
China
Prior art keywords
light
scene
array
spatial light
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB988143313A
Other languages
English (en)
Other versions
CN1322328A (zh
Inventor
M��F��·��˹
M·F·路易斯
���˹���Ѷ���
R·A·威尔逊
B·S·洛万斯
D
R·C·D·杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinetiq Ltd
Original Assignee
UK Secretary of State for Defence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UK Secretary of State for Defence filed Critical UK Secretary of State for Defence
Publication of CN1322328A publication Critical patent/CN1322328A/zh
Application granted granted Critical
Publication of CN1133952C publication Critical patent/CN1133952C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/106Scanning systems having diffraction gratings as scanning elements, e.g. holographic scanners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Holo Graphy (AREA)
  • Wire Bonding (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Prostheses (AREA)
  • Eyeglasses (AREA)
  • Lenses (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Character Discrimination (AREA)
  • Optical Couplings Of Light Guides (AREA)

Abstract

公开了一种检测在一个场景中的一种已知类型的一个或者多个图象存在的装置,它包括数字输入设备和光学输出设备。数字输入设备包括一个摄取设备,它把一个摄取的图象传送给第一电子处理设备以产生一个相应于该场景图象的傅立叶变换的场景模式。然后把这一模式以数字方式与相应于一个参考图象的傅立叶变换的一个或者多个参考模式组合。然后使用结果模式调制一个光束,该光束可以被聚焦以执行提供信息的逆傅立叶变换。在一个优选的安排中,在一个空间光调制器上显示该组合模式。还公开了一个“智能”空间光调制器,它包括一个光调制设备阵列,每一设备包括一个检测器和至少一个象素,从而入射在检测器上的光产生一个输出信号,使该信号用于控制调制介质的状态。通过合适的处理,可以使“智能”SLM衰减要么低于一定强度的光,或者仅超过一定强度的光,用作一个可饱和的吸收器。

Description

检测图像存在的装置 和方法、光学组件和读取光学模式的方法
本发明涉及模式识别方法和装置的改进,特别涉及为检测场景中参考物体的存在和/或位置的改进的方法和装置。它也涉及其它发明。
模式识别具有广泛应用,例如在工业中。需要模式识别方案(scheme)的一个情景的例子是检测在繁忙街道上的汽车的类型和位置。其它的例子有工业生产线、安全系统、车辆识别、指纹和面孔识别等。这种处理对人来说当提供有识别车辆类型的图表和街道视野清楚时是微不足道的。然而,通过提供摄像机观看场景和计算机模式识别的处理的自动化却是一个复杂的处理,特别当照度变化和/或车辆特别模糊时。
检测在一个场景的图像内的一个预定已知物体存在的方法是寻找物体和景象之间的相关。这可以通过直接使用该物体和图像实现,但是在许多场合在傅立叶域内处理有关数据效率更高,亦即通过处理物体和图像的空间频率分量。数学上说,这些处理通过“卷积定理”[参考1:J W Goodman]相关。在上面的例子中,参考物体(我们将总指参考为物体,景象为图像)可以是放在一个清楚的背景上的汽车,或者是在一条灌装线上的一个瓶子的形状等。在这些例子中,景象分别可以包括一个交通队列或者灌装线。
为在许多日常应用中有用,常常需要有多于一个的参考物体,例如不同模型的汽车。此外,可能需要使用参考物体几个斜角取向和比例来复盖所有可能的方面。
在现有技术中,已经提议使用光学系统执行物体和图像之间的相关处理。这在60年代首先由A.Vander Lugt建议[参考2]。该系统使用透镜固有的傅立叶变换特性。
附图1表示一个典型的光学Vander Lugt类型的概要。该系统包括一个光摄像机1,它摄取输入场景的图像并驱动一个空间光调制器(SLM)2显示一个相应于摄取的图像的掩码(mask)。在该专利中,使用词“掩码”说明在SLM上显示的模式,该模式一般可以包括振幅和/或相位信息。一个相干的激光束通过一个适当的光束扩展器以产生一个宽的相干光束,该光束通过SLM 2传播。原来的Vander Lugt产品(工件)使用固定的全息图,而不是SLM,SLM在当时不可用。
位于透镜前焦点平面内的SLM 2的输出通过透镜传播,并在透镜的后焦点平面内形成掩码的傅立叶变换,在后焦点平面处它撞击一个第二SLM 4。
为使景象与参考物体相关,由SLM 4形成的掩码包括参考物体的傅立叶变换的相位共轭。通过第二SLM,SLM 4,传播的光,由第二透镜5进行傅立叶变换,在透镜5的后焦点平面处它由输出摄像机6摄取。[数学上说,透镜5理想地执行逆傅立叶变换,但是这一差别实际上不重要]。如果在图像和参考之间存在强相关,则在透镜5的后焦点平面内的模式中产生一个明显的亮尖峰。这一尖峰的位置由在场景图像中的参考物体的位置决定。通常在焦点平面的原点处也能观察到一个大的尖峰,这是由于场景和参考(亦即总强度)的组合傅立叶变换模式的DC空间频率分量和/或通过SLM的像素之间空隙的未调制光的泄漏。
上述经典光学Vander Lugt方案有几种固有缺点。两个透镜和SLM的光学对准非常关键,因此系统对振动有很高的灵敏性。另外,光路径的长度非常长,导致系统庞大而昂贵。另外,所述系统在相似的物体之间不像在实际系统中经常希望的那样有区别,例如不容易区分“E”和“F”。
自从Vander Lugt的原始公开以来,设计和出版了它的方案的许多变种[Goodman,p237以后]。本发明的一个目的是改进在现有技术模式识别方案中存在的一些问题。
相信在本申请中使用的一些术语的讨论是有帮助的。作为本申请的一部分并在权利要求前出现的附录1讨论一些术语。
本发明提供了一种检测在场景中的一种已知预定类型的一个或者多个图像存在的装置,包括:用于摄取相应于一个场景的场景的摄像机;第一处理器备,用于产生一个相应于该场景图像至少一部分的傅立叶变换的场景模式,用于存储一个或者多个参考模式的存储设备,每一参考模式包括各参考图像的傅立叶变换;第二处理器,它用于电子组合场景模式与一个参考模式以产生一个组合模式;和空间光调制器,它用于显示所述组合模式;:至少两个光发射设备,每一光发射设备被设置成在空间光调制器的一侧从不同位置照射所述空间光调制器;一个控制器,它用于控制每一光发射设备的顺序照射;和一个与至少两个空间光发射设备相比位于所述空间光调制器的另一侧的输出检测器,用于接收经过空间光调制器调制的光。
相应地,本发明还提供了一种检测在场景中的一种已知预定类型的一个或者多个图像存在的方法,包括步骤:产生一个相应于至少一部分场景的图像场景;处理至少一部分摄取的图像场景以产生一个相应于该摄取的场景图像的傅立叶变换的场景模式;电子组合该场景模式与至少一个相应于一个参考物体的傅立叶变换的参考模式以产生一个组合模式;和显示所述组合模式到一个空间光调制器上;该方法另外包括提供至少两个光发射设备来从不同位置照射空间光调制器该方法另外包括控制这些设备使得每一设备被高效顺序照射以移动光束源的步骤;和在包含要被监视的光学模式的平面内提供至少一个检测器设备,从而控制设备扫描跨越检测器设备上的2维模式。根据本发明的另一方面,还提供了一个光学组件,包括:一个空间光调制器;至少两个光发射设备,所述光发射设备被设置在空间光调制器的一侧来从不同位置照射所述空间光调制器;一个控制器,它用于控制每一设备顺序照明;和一个输出检测器,用于接收来自至少两个光发射设备的经空间光调制器调制的光。
此外,本发明还提供了一种迅速读取一个2维光学模式的方法,该方法包括:显示将被读取的模式;提供至少两个光发射设备,该至少两个光发射设备设置成从不同方向照射所述模式;提供至少一个检测器设备,用于接收由至少两个光发射设备发射的已经被要被监视的模式调制的光;并且顺序地照射光发射设备以便移动照射模式的光源,由此将光通过所述模式的不同部分到达检测器。
根据第一方面,本发明提供一种检测在一个场景中已知预定类型的一个或者多个物体存在的装置,包括;
用于产生相应于一个场景的摄取的场景图像的设备;
数字输入设备,包括:第一电子处理设备,用于处理至少一部分摄取的场景图像数据集以产生一个相应于至少一部分场景图像的傅立叶变换的一个场景模式,用于存储一个或者多个参考模式的存储设备,每一参考模式包括各参考图像的傅立叶变换;和第二处理设备,它用于电子组合场景模式与一个参考模式来产生一个组合的模式;和一个光学输出设备,它用于产生一个从组合模式导出的光束。
第一和第二处理设备可以是一个公共的处理器。
根据另一方面,本发明包括图像或模式识别装置,它具有一个电子组合处理器;用于给组合处理器输入表示一个场景模式的数字信号的数字场景输入设备;用于给组合处理器输入表示一个参考模式的数字信号的数字参考模式输入设备;和光学输出设备和光变换设备;组合设备用于数字组合输入场景和参考模式以产生一个组合的模式和用于发送一个信号给光学输出设备,后者用于依赖于组合模式产生一个光输出,该光输出被供给光学变换设备,光学变换设备用于傅立叶变换、或逆傅立叶变换组合模式。
在这一阶段参考图15(以及附录1的术语表)是有帮助的,图15列出一些要采用的术语。“图像”是真实的事情,场景图像和参考图像(其可能在系统中未提供)。“模式”是傅立叶变换(或类傅立叶变换),例如场景模式和参考模式。称图像模式和参考模式的相乘为“组合模式”。
参考模式可以是一个综合判别式函数。
光学输出设备可以包括一个空间光调制器,它用于依赖组合模式和光源产生一个掩码,光源用于产生由空间光调制器调制的光束。
该装置还可以包括一个第二光电变换设备,它用于依赖于已经由空间光调制器调制的光的空间模式产生一个输出信号。该调制光随后可以由透镜进行傅立叶变换。
因此,根据第一优选版本的装置包括一个数字输入设备,它执行第一阶段的傅立叶变换,其在Vander Lugt模式中是由光学执行的;和一个光学输出设备,其执行第二傅立叶变换。
优选参考模式数字化存储,要么电子的、或者光学的、磁的或其它方式。它们例如可以是不同“形状”的模式和不同大小,以及表示不同的数据。
摄取的场景模式可以与一组参考模式(或一组参考模式的子集)结合。“组”可以包括所有存储的与要识别的特定物体(或事情)相关的参考模式。
场景图像可以包括一个视觉图像,或可以包括一个从另一输入例如从一个X射线望远镜得到的两维的数据阵列,或由任何传感器或传感器阵列检测到的信号(例如非可见谱、或甚至声音或超声)的两维阵列。“场景”也可以包括其它更一般的数据(不一定要表示一个图片),可以不是两维的,可以例如是数据串,诸如由计算机或通信系统或在一定场合从存储器产生。在每种场合,术语“图像”的意义相应不同。
该装置可以用于以实时方式检测一个场景中的参考物体的存在。例如,这可以意味着在摄取一个场景图像的几分之一秒内产生一个输出,使得操作员看不到延迟。
每秒可以执行5000次相关或更多。每秒可以执行10,000,或20,000、40,000、60,000、80,000、100,000或更多,和每秒可以执行由任何上述数字说明的在高和/或低端的速度范围内的一些相关。
两维数字和光学处理的混合组合提供一些比Vander Lugt相关器好的优点。Vander Lugt方案当然是静态方案,然而预见到新系统通常是动态的-无论是场景还是被使用的参考数据将随时间非常快地变化。新系统消除了在Vander Lugt方案中存在的光学对准和稳定性的困难,因为傅立叶变换数据的相乘是用电方式执行,而不是用光学方式。因此这在来自场景的输入和参考输入之间基本上是完美的“对齐”。第二,它允许在处理图像和参考模式中很大程度的灵活性,例如可以以任意位精度执行组合。第三,光学部件的数目大大减少。这可以减小设备的长度/大小,并改善粗糙性。此外,可以产生图像和参考模式在振幅和/或相位上完美地匹配。
使用门逻辑电路执行两个傅立叶变换模式的乘法,它对给出良好的结果足够快,然后使用一个光学傅立叶变换(逆傅立叶变换),该操作不能足够快地进行数字化处理以使用户感觉是在实时操作、没有明显的延迟这样的速率来比较数百种参考模式与每一输入帧(场景模式)。
摄取的场景图像、场景模式和参考模式可以数字化为例如8位精确度。可以使用更多或更少精确度的数字化,包括纯相位二进制数据,其在本专利的后面说明。
摄取设备(输入摄像机)可以包括一个电荷耦合设备(CCD),诸如CCD摄像机,或CMOS摄像机。这可以包括100,000或更多像素的阵列,例如512*512或更多像素,和产生包括一组可以存储的(至少暂时)数字数据的摄取的图像(帧)。可以提供为选择该帧的全部或选择的一部分(亦即比全部小,可能比全部显著小,例如一帧的1/2,1/4,1/10或更小)的设备以形成一个摄取的场景图像。通常优选处理128*128,256*256,512*512以方便FFT。摄像机优选以25-60Hz的速率产生图像,也就是说以工业标准视频摄取速率。这将节省成本,因为以这些频率操作的设备广泛使用,且由于其经济规模价格较低。然而,可以使用其它频率。
可以使用由多个离散检测器行组成的检测器阵列摄取相关模式,每一检测器行具有与其关联的设备以读出检测到的入射光模式。检测器阵列可以是一个输出摄像机的一部分。从单一检测器行的读出比常规基于摄像机的读出方案快,后者必须执行对一些行的扫描。可以改变该阵列使得该阵列中的每一行在交替的方向上读出。
第一和第二处理设备可以包括一个或者多个数字信号处理板,并可以组合为一个单一处理设备,诸如一个数字电路或计算机程序。在一种安排中,它可以包括一个变换机(transputer)和一个个人计算机,后者包括为对所摄取的场景图像执行傅立叶变换需要的软件。
空间光调制器(SLM)可以包括一个高速光调制阵列,诸如快速位平面空间光调制器(FBPSLM),其在我们较早的出版物中说明[参见参考7和8]。它可以包括一个可在一个基片上提供的铁电液晶材料的阵列。
由被调制光束产生的输出模式为每一参考物体包含至少一个强度尖峰,其在两维输出模式中的(x,y)位置由在所摄取的场景图像中的物体的位置决定。
SLM可以包括像素或元件的一个阵列,所述像素或元件可以在至少一个第一状态和一个第二状态之间切换,在第一状态下光通过元件同时以第一方式调制,而在第二状态下通过元件的光以一种不同的第二方式调制。在每一种场合,光可以要么被延迟或者被调制振幅,或者两者都进行。优选每一元件包括一个液晶像素。该SLM在操作时既可以是透射的,也可以是反射的。与在第一状态下的像素交互作用的光和与在第二状态下的像素交互作用的光相比之间存在基本为180°的相位差。
SLM可以是发射设备,诸如液晶,或反射设备,诸如微型机械设备(例如,电子控制的反射光的移动部件)。对一些反射设备,光不“穿透”它们(但是对其它设备,光穿透它们,例如LC正镜),或许一个更一般的术语是依赖于设备区域的条件,光以多种方式与设备相互作用。
光学输出级可以另外包括一个光学透镜,其可以在SLM和第二光电变换设备(例如输出摄像机)之间或者在SLM前但是在光源后提供。
在一个精细的设计中,透镜可以与SLM自身集成在一起。这可以通过电子处理用于驱动该SLM的组合模式模拟用该组合模式叠置的一个区域平透镜(zone plate lens)而实现。这样,可以没有从该SLM分开的物理玻璃或透明介质光学透镜。另外可选的方案为,可以使用实际的和区域平透镜的结合。在这些环境下输出摄像机的最优位置由区域平透镜和/或实透镜的焦点长度决定。
可以提供一个第二光电变换设备,它包括一个类似在那里提供的摄像机的电荷耦合设备。另外可选的方案为,它可以包括一个光检测器或检测器阵列。这可以位于实际光学透镜的焦点平面内。可以使它用于产生一个包括一个两维数据集的输出信号,或组合模式,表示由在这些透镜的后焦点平面内的调制光形成的模式。这一模式依赖于在参考物体和输入场景图像之间的相关。
可以在靠近SLM附近提供一个光学空间滤波器,例如在SLM和第二光数字变换器之间。这可以包括一个用于修改空间频谱的空间滤波器,例如通过减少高、低、或任何空间频率的组合。可以使用一个高斯差分(DOG)滤波器,其减少非常高和非常低的空间频率分量。可以使用其它滤波器,例如高斯滤波器。后者也可以通过许多激光输出光束的自然强度曲线引入。
可以提供一个“智能”空间光调制器。在一个合适的安排中,这可以在“组合”后,例如在“组合”SLM和第二光电变换设备之间,在摄像机面或在一个中间平面内。智能SLM可以包括一个调制器,其具有一个振幅阈值,低于该阈值光被衰减,只允许强相关尖峰通过。智能SLM可以包括一个多量子阱(MQW)设备。技术中已经公知具有饱和强度1-3kW/cm2的设备[参见参考4],其可以用于100mW的激光光源和具有像素大小为10微米级的SLM。智能SLM在它反应入射到它上面的光这一点是智能的。它方便地具有一个电子控制的发射或放射响应。
另外可选的方案为,智能SLM可以只允许低于阈值强度的光通过。使用智能SLM作为限制器作为输入摄像机或者可能在一个相关器的输出摄像机上可以十分有用。
智能SLM可以不仅具有其像素或区域的两个状态(“亮”和“暗”),而可以代之以具有灰度级数目的设定以取决于入射光的强度而给出可控的变化响应。
该装置可以包括用于周期地摄取场景图像的设备、顺序组合每一所摄取的场景模式与多于一个参考模式以产生一组组合模式的设备、和在摄取每一图像场景之间响应每一组合的模式设定SLM的设备。这需要从场景图像导出场景模式以便以高于摄取场景图像的速率(常常是非常高的速率,可能数百或数千倍高)与几种参考模式比较。这是可能的,因为为每一摄取的场景图像只需一次数字变换以产生一个场景模式,参考模式包括预先计算的变换,典型的是许多几乎即时发生的光学变换。
对于LC SLM,在其设定显示一个或多个组合模式后,它们可以用组合模式的逆驱动以保证基本恒定的电压偏置平均加在调制器上以避免使液晶材料退化(长期平均电压偏置电平优选为零伏特)。
该装置可以包括一个个人计算机或专用信号处理板,它用于执行傅立叶变换步骤。可以提供用于存储一个或多个参考模式的专用存储器,其可以优选保存超过100个参考物体变换(模式),在一个实施例中,设计具有400或500个参考模式用于为涉及一个已知类型的物体的设定。
新的相关技术可以允许组合扫描具有大数目的像素/大的尺寸,因此值得具有大尺寸的摄像机。来自一个摄像机(或其所用部分)的一个输入帧可以具有例如1,000像素、10,000像素或100,000像素的数量级。摄像机阵列不需要是矩形,例如128×512。在一个阵列方向上不需要二进制数字。由于具有能为一帧输入10,000、20,000、50,000、100,000、150,000、200,000、250,000或更多像素(或在上述任何一点的高或低端定义的范围内的输入像素)和能以视频帧速率(25-60Hz)运行、和能傅立叶变换每一帧和与帧(场景)变换相关数百参考模式的相关器,使用新的混合相关技术是可能的。
在一个精细的方案中,该装置在物理上分成至少两部分,第一部分包括一个光学输入设备,其在光学上连接到第二部分,第二部分包括一个基单元,它用于执行傅立叶变换,它也可以包括一个空间光调制器。
通过把该装置分成光学连接的两部分,第一部分可以放置在危险的区域,而用于傅立叶变换的(相对)贵重的计算机和空间光调制器可以放置在另一区域。有可能有多于一个的第一部分输入一个公共的第二部分。
优选第一和第二部分通过一个或者多个光纤或光纤束连接。由第一部分摄取的图像数据可以沿这些光纤传输。一个优点是光纤不发射并通常不受电磁干扰。
优选第一部分包括一个通过一个或者多个光纤或电缆连接到计算机或其它电设备的光学输入设备。
当然,该装置可以进一步分成离散的子部分。通过做成较小的部分,容易包装和运输该装置,如果需要的话。
根据第二方面,本发明提供一种检测在一个场景中是否存在一个或者多个参考图像的方法,包括步骤:
产生相应于一个场景的至少一部分的摄取的场景图像
处理至少一部分摄取的场景图像以产生一个相应于摄取的场景图像的傅立叶变换的场景模式;
电子组合该场景模式与至少一个相应于一个参考物体的傅立叶变换的参考模式,并产生一个相应于该组合模式的调制的光束。
该方法还可以包括调制相干光的光束的步骤,这通过用该光束照射空间光调制器并允许这一被调制光传播到一个输出平面;和监视或显示由被调制的光束形成的光的模式而实现。
因此本方法包括数字化处理摄取的场景图像以执行初始傅立叶变换的步骤,其在Vander Lugt方案中用光学方法执行;和光学处理场景模式和参考模式的组合模式以形成第二傅立叶变换操作。第二傅立叶变换优选通过把SLM的输出通过一个透镜以形成在输出平面内的光学场而执行。
我们可以对摄取的场景图像执行傅立叶变换和处理结果(变换的)场景模式以产生一个只包括相位信息的场景模式。这与全傅立叶变换不同,在全傅立叶变换中产生振幅和相位信息。在傅立叶变换中拒绝振幅信息多少等价于对原始参考物体和场景图像执行边缘检测或边缘增强,公知它能改善一个相关的差别[参见参考5]。当然,在变换了的模式中可以保留振幅和相位信息两者,每一个都到一个选择的精度。然而,通过产生一个与二进制相关的变换(具有实的或者虚的一振幅或相位),傅立叶变换数据优选减少其复杂性,这将加速形成组合模式需要的乘法处理,使相关器更快。作为一个极端的,但是毕竟还是有用,的例子,如果数据减少到1位相位数据(也称为二进制相位数据),则场景模式和参考模式的乘法减少到一个简单的逻辑运算,即XOR功能。为完整起见,我们提到组合模式需要参考物体(参考模式)与图像的傅立叶变换的复共轭相乘或反之。在只有相位数据的场合,这简化计算使成为参考和场景模式的相位的加法。仅相位数据的使用也简化了对SLM的需求,并且在仅有二进制相位数据的场合该SLM可以以铁电液晶设备方便地实现,其在操作时很快。我们当然可以存储参考模式作为一个二进制模式。
更好的是,处理傅立叶变换信息以产生一个只包括二进制信息的场景模式。这样,如前所述,在仅相位信息的场合,场景模式只包括二进制数据,具有例如编码相对于(一个任意的)参考相位范围为0到180°的相位的一个逻辑值,和一个第二逻辑值,其用于180到360度的相位。
在场景模式包括在摄取的场景图像的傅立叶变换中包含的仅相位信息的二进制表示的情况下,参考模式可以相似地也包括一个参考图像的仅有二进制相位的傅立叶变换。然而,不必强制参考和场景模式具有相同的格式。
本方法可以包括使用一个或者多个逻辑元件组合场景模式与参考模式的步骤。可以使用一个异或门(XOR),相信也可以代之以使用一个比较器(但是优选一个XOR)。场景模式的每一个元件可以与在参考模式中它的相应元件组合以产生在第二组合模式中的一个相应元件。这样,对于512乘512的图像,可以执行512*512的XOR操作来产生一个组合的模式。当然,在另一个可选的方案中,可以组合多位场景模式与多位参考模式并可选在组合后二进制化。在所有场合,数字化执行计算,并因此保持两个模式完美的对齐,对Vander Lugt方案来说的一个优点,在Vander Lug方案中小的机械运动可以破坏光学对齐。
本方法可以进一步包括使用FFT技术处理一个或多个参考图像以产生一个或多个(变换了的)参考模式的预备步骤。
可以使用快速傅立叶变换或FFT算法产生摄取的场景图像的傅立叶变换。因为只需要二进制化的仅有相位信息,因此它可以通过监视全FFT的实分量的符号方便地产生,全FFT的实分量提供在适合的180度范围上的相位的指示。另外可选的方案为,可以使用傅立叶变换数据集的虚部的符号决定相位。
可以使用一个二进制空间光调制器,亦即包括一个像素阵列的调制器产生相应于组合模式的掩码,所述像素可以响应来自乘法器的一个信号在两个状态之间切换,所述乘法器把场景模式和参考模式相乘以产生组合模式。像素可以包括液晶像素或可以是微型机械设备,诸如使用微机械技术形成的微型镜阵列。当然,可以使用其调制介质具有多于两种状态的SLM。
空间光调制器调制相干光光束。SLM可以包括可以在至少两种状态之间切换例如具有180度相位差的元件的一个阵列。一般说来,SLM可以调制振幅和/或相位,并可以以透射或反射操作。
可以使用一个激光器或激光二极管产生由SLM调制的光束。可以在光束到达SLM前使其通过一个光束扩展器。
由SLM调制过的光可以传播到一个光电变换设备,诸如摄像机,可能要通过一个透镜。
所述光可以不必相干到激光容差。相信对于在空间上是相干的、但是或许不必时间上相干的光是重要的。该系统能用非激光光源例如LED操作。虽然预见到通常将使用激光,因为它便宜、易用、高效和相干,但是不打算限制到这一类型光源,如果其它光源能用的话。的确,使用时间不相干光源也许有优点,如同在不相干成像的场合,可以理解所讨论的本发明不必限制为相干成像。
在一个精细的方案中,被调制光束通过结合一个透镜到SLM自身可以聚焦。可以预见,本方法包括使用数字信号处理预处理组合模式的步骤以结合或叠置一个区域平透镜的不同模式。这样,相应于一个预定已知参考图像的存储的数据可以被修改为不仅是该参考图像的真实数据,而是由区域平透镜的叠置修改的数据,被调制的数据存储在相应于参考图像或模式的存储器中。
在另一个可选的步骤中,可以在光学系统中紧靠SLM提供一个滤波器。它可以在SLM之前或之后。这将修改不同空间频率分量的相对重要性。例如,可以提供高斯或高斯差分(DOG)滤波器。该滤波器例如在一个振幅SLM的形式下可以固定、或可预编程。可编程性加到总处理器的灵活性上,例如,通过使其在不同时间多少不同于在一个场景中的图像,其类似但不同于参考图像。可以最初以一种缩减的差异方式运行模式识别相关器,使空间可编程滤波器设定为“粗略”,而在找到对在一个场景中的某些至少有一个近似的匹配后再次运行该相关器而使其相关器设定为“精确”。这可以通过控制可编程滤波器作为一个可变空间滤波器而实现。可以在组合SLM之前例如提供高斯滤波器。可以在SLM之后靠近傅立叶平面输出摄像机处提供一个DOG滤波器。
在一个精细的方案中,可以在单一SLM上同时显示多于一个的组合模式。例如,可以把4个组合模式“镶”入该SLM的各四分之一内。这能使在输出平面内同时产生4个相关模式。这些可以涉及一个场景模式与多于一个参考模式的组合,或多个参考模式与一个场景模式的组合,或多个场景模式与多个参考模式的组合。
可以通过提供一个摄像机监视输出平面内的模式,输出平面可以是一个透镜或多个透镜的焦点平面。
在另一步骤中,本方法可以包括控制到达输出摄像机(或其它检测器)的光的强度。这可以通过在SLM和摄像机之间提供一个智能空间光调制器实现。所述光可以受阈值限制,基本只允许高于或低于预定强度的光达到摄像机,或甚至是基本只通过在上下阈值之间的光。在另一结构中,SLM可以作为一个光限制器操作,或作为一个阈值。可以使一个或多个SLM提供光限制和光阈值限制两者。优选使一个SLM作为一个相关器中的阈值。
与使用仅有二进制相位信息关联的一个问题是在透镜的焦点平面处的模式中产生两个相关尖峰。这两个尖峰关于相关模式的原点对称。另外,通常在原点处产生一个大DC尖峰,其当参考图像靠近摄取的场景图像的中心时覆盖相关尖峰。
相信双尖峰的问题对于二进制方案是唯一的。两个尖峰的存在产生检测场景图像中的被识别物体的位置时的模糊性。
可以使用双尖峰的存在跟踪场景中被识别的物体。当摄取设备(亦即第一光电变换器诸如摄像机)不直接指向场景中的参考物体时,产生两个尖峰。当其被准确地指向时,产生一个单一较高尖峰。这样通过调节第一光电变换器的定向来保持最高的峰值输出,精确地跟踪一个运动物体和/或把一个物体置于输入摄像机/场景输入设备的中心。
使用这一效应,可以安排要放置的参考物体的最希望的部分(例如一个部件的螺栓孔或车辆号码牌)总在用以形成参考模式的参考图像的中心。于是,当使用系统定位该部件及其螺栓孔时(或拍摄一个号码牌),如果一个部件在摄取的图像中的话,则产生两个尖峰。当把摄像机指向该螺栓孔时,这两个尖峰在相关模式的中心处重叠。因此有可能通过移动摄像机直到两个相关尖峰重叠时瞄准摄像机,和/或任何其它设备(诸如携带要插入一个螺栓孔的螺栓的臂)。
根据另一方面,本发明包括一个用于检测一个场景中的参考图像存在和/或位置的装置,包括一个用于摄取场景图像和处理场景图像以产生表示该场景图像的傅立叶变换的一个场景模式的设备,和用于存储多个与该场景图像相关的参考模式的存储器,参考模式是使其参考物体置于参考图像中心的参考的傅立叶变换。
最希望,当产生一组中每一参考模式时把参考物体的最重要的部分置于参考图像的中心。
在一个优选的系统中,存储参考模式而不是参考图像,每一参考模式相应于一个参考图像的傅立叶变换。
安排一个物体的最重要的特征总是在参考图像的中心的原理比该模式识别装置具有更广阔的应用性,并也可以有利地用于在输出平面内产生单一相关尖峰的系统中。这一点十分有用,因为它允许系统相加通过智能SLM的所有输出,然后一个尖峰标识在该场景中的参考点的位置和存在。
在另一个精细的改进中,本方法可以包括施加一个线性调频脉冲编码的模式到传送到SLM的组合模式的谱上以产生掩码的另一步骤。可以使该线性调频脉冲模式用于聚焦由透镜形成的模式的部分,使得DC分量和两个相关尖峰的每一个聚焦到不同的焦点平面。本方法可以进一步包括监视在一个焦点平面内形成的只相应于一个相关尖峰的模式。可以在只聚焦一个而非全部相关尖峰的焦点平面提供一个摄像机或其它监视器。因为DC分量和其它相关尖峰未聚焦,因此它们很模糊,不能清楚显现。它们还将被智能空间光调制器清除,如果存在的话。
可以在二进化之前计算线性调频脉冲模式并将其加在每一参考模式上。然后在二进化之后可以把线性调频脉冲后的参考与摄取的场景模式组合。
有各种方式引入线性调频脉冲和二进制化要加在一个二进制相位SLM上的数据。例如,可以把线性调频脉冲与摄取的图像数据集组合。另外可选的方案为,可以计算线性调频脉冲编码的模式作为一个二进制模式并与一个二进制化的参考模式或场景模式组合。在这一场合,两个相关尖峰都聚焦在相同的平面,不过DC信号不聚焦。
可以根据应用使用多于一个线性调频脉冲编码的模式。
当相关尖峰和DC信号聚焦在不同的平面时,可以引入一个空间滤波器以阻塞DC尖峰。
本方法另外可以包括下述步骤:周期摄取场景图像;在摄取每一场景图像之间顺序与多于一个的参考模式组合每一相应的场景模式;在摄取场景图像之间用每一产生的组合模式驱动SLM。这将使场景图像以摄取场景图像的速率与几个参考(或更多参考)比较。这是可能的,因为对于每一摄取的图像只需要一个数字变换,参考模式预先计算,而光学变换几乎同时发生。参考模式的预先计算去除了实时进行耗时的傅立叶变换的需要。
输出信号可以包括来自CCD摄像机的输出。它可以使用一个阈值检测器和给SLM加门限处理。如果检测到一个强度高于预定阈值的点,则可以假定在摄取的场景中存在参考图像,并通过输出信号。如果强度低于该阈值,则无信号通过。这去除了背景噪声。如果组合模式的逆傅立叶变换在到达检测器之前积分的话这将十分有用。例如,如果通过的信号限制在阈值,则有可能运行数百次阈值限制的相关而不担心对任何相关输出检测器系统会发生什么(其在没有阈值限制时将需要重新设定或由于积分的背景信号的建立给出错误的匹配)。这能使系统处理无匹配比如果不积分的话快得多。有可能用一个共同的相关器处理来自多个场景摄取设备的输入。一个智能SLM是执行上述的优选方式。
根据另一方面,本发明提供一个智能空间光调制器,它包括一个光调制设备阵列,每一设备包括一个光检测器,和一个调制介质的至少一个像素,其中光检测器用于测量入射在其上的光的强度以产生一个输出信号,该信号用于控制调制介质的状态。
虽然提到了一个“像素”,并主要用于多个像素(在一个阵列中提供的离散可控区域),但是也打算广义解释“像素”足以包括非像素化设备(不是真正的像素化的),诸如结合一个光导体或其它光传感器的光学寻址SLM。
智能SLM可以包括也可以不包括用于处理输入信号以产生控制信号的处理器设备,所述控制信号用于控制调制介质的状态。每一像素将典型地具有它自己的电寻址电路和可能的话它自己的检测器。
调制介质可以包括例如液晶材料、光敏材料、或微型机械设备的一个可移动部分或其它振幅调制设备。
与每一像素或像素组关联的光检测元件可以产生一个输出信号,它随入射光的强度增加(或它可以减小)。
处理器设备可以包括一个比较器。该比较器的一个输入可以连接到一个参考信号,而另一个输入连接到光检测元件的输出。这可以当输入信号高于或低于一个预定的阈值能级时用于产生为切换液晶到透射状态所需要的控制信号。
这一安排可以提供这样一种形式的SLM,它用于只发射低于一个预定阈值能级的光。该阈值自身可以例如响应光束中光能级的改变被外部控制。这可以自动进行,另外可选择的方案为,可以使SLM用于只发射超过一个预定阈值强度能级的光。这例如在去除图像中低能级背景光中有用。
在一个不同的应用中,可以使处理器设备用于当输入超过阈值时产生为改变液晶(或其它调制介质)的状态到一个完全或部分不同状态所需要的控制信号。在限制发射强度的该设备中,可以在一个像素或其一侧提供光检测元件。如果在一侧,则检测器上的光强度独立于该像素的状态。如果检测器在该像素的后面,则到达该检测器的光通过操作该像素首先被调制并形成一个反馈回路。
在其最简单的形式中,智能空间光调制器可以包括一个两维的相同的光调制设备的阵列。每一光调制设备可以直接从单一电压源供电,诸如一个通过一个传导电极结构的电池。这可以在基片上形成。它可以是金属的,或者用光学透明材料诸如氧化铟锡ITO。在一个简单的安排中,调制器可以通过检测器输出直接驱动。一个像素可以受由一个光检测器产生的并直接施加于其上的信号控制,也可以通过一个电阻。多个像素,诸如一行像素或一个像素阵列,可以由光敏信号驱动。一个公共的电源可以给每一光传感器控制的对像素的输入提供电力,通常以一个公共的电压。
优选地限制检测器和处理设备相对于相关的一个或者多个像素来说到一个较小区域。它们可以与在基片上的调制介质集成形成。
可以使用在兰宝石上的硅基片或在尖晶石上的硅基片产生智能空间光调制器。
根据另一方面,本发明提供一种调制光束的方法,包括步骤:在光束的路径上提供至少一个检测器,和在光束的路径上提供调制介质的至少一个像素,并在检测器的输出满足预定条件的场合改变像素的调制状态以衰减一部分光束。
可以在单一设备中提供检测器和像素,该设备可以另外包括一个用于处理检测器输出的处理器设备。
在限制器的情况下,优选本方法包括在像素后提供检测器使得检测器和像素形成一个反馈回路的另外的步骤。这改变由像素通过的光的量使被控制到一个像素稳定能级。
本方法可以另外包括在控制像素前处理由检测器产生的信号。这可以使用任何公知的数字逻辑或模拟处理技术执行。
当入射在检测器上的光低于一个预定的阈值,或当入射在检测器上的光的强度超过一个预定的阈值时可以满足预定条件。
再一次,本方法可以包括使用任何公知的数字逻辑或模拟处理技术处理检测器输出的步骤。
本方法可以通过在一个或者多个像素后面提供一个CCD摄像机(或其它像素化的检测器)而改进。在这种场合,像素可以安排在CCD摄像机前面的一个阵列中。
摄像机的每一像素可以与SLM的一个相应像素对齐。这保证当所有像素被调制以阻塞光时没有光到达该CCD。例如,如果在光束中的所有光超过(或不超过)阈值,则这可以发生。
根据另一方面,本发明提供一种光学模式识别和/或定位的方法,包括步骤:
组合表示一个场景图像的场景模式与一个表示一个参考图像的参考模式以产生一个线性调频脉冲调制的组合模式(这里,参考和/或场景模式或许已经与一个线性调频脉冲信号组合);
在一个空间光调制器上显示线性调频脉冲调制的组合模式;
产生一个由空间光调制器调制的光束;和
监视该调制的光束以检测在所摄取的场景图像中的参考图像的存在和/或位置。
本方法可以包括组合包含一个图像的仅有二进制相位的傅立叶变换的一个场景模式与一个参考图像的一个仅有二进制相位的傅立叶变换的另外的步骤。在该场合,在产生两个相关尖峰的地方,线性调频脉冲可以聚焦这两个尖峰为分开的平面以克服或改进物体位置模糊的问题。
本方法另外可以包括邻近SLM提供一个光学透镜的步骤,例如在SLM和第二光电变换设备之间。另外可选的方案为,可以添加一个区域平透镜。线性调频脉冲和/或区域平透镜的使用可能使相关器更紧凑,例如通过去除对光学透镜的需要。
场景图像或模式、参考图像或模式和线性调频脉冲组合的模式可以包括数字数据。
已经显示的另一个优点是,一个线性调频脉冲信号的应用允许使用稍微非平面的SLM而仍能产生可用的相关模式。这种非平面SLM可以通过在制造加工中的不完善产生,并要比光学平面SLM便宜得多,因为后者具有较低的产量。
根据再一个方面,本发明提供一个光学模式识别和/或定位装置,包括组合表示一个场景图像的傅立叶变换的场景模式与表示一个参考图像的傅立叶变换的参考模式以产生一个组合模式的设备;组合一个组合的模式与一个线性调频脉冲信号以产生一个线性调频脉冲调制的组合模式的设备;用于显示该组合模式的一个空间光调制器;用于发射一个光束的光源,该光束由所述空间光调制器调制;用于监视调制器光束以检测在场景图像中的参考图像的存在和/或位置的监视设备。
根据另一方面,本发明包括一种控制可对准元件与一个希望的场景物体对齐的方法,该方法包括拍摄一个包含该物体的场景图像;变换该场景图像以得到二进制化的傅立叶变换场景模式;组合该场景模式与相应于匹配该场景物体的一个参考物体的二进制化的傅立叶变换参考模式以产生一个二进制化的组合模式;逆傅立叶变换该二进制组合的模式以产生一个具有至少两个相关尖峰的相关输出;控制可对准元件与该场景物体对齐以便把相关尖峰彼此接近,优选使其基本重合。
优选可对准元件的运动由控制设备自动控制。
使用对齐相关尖峰而对准某些的概念可以具有应用的领域包括装配线(例如对齐螺钉和孔,或在固定在一起之前的部件)和医学应用(例如对齐钻和骨头,或医学激光和瘤),或对齐摄像机和某些物体,为对齐面孔或号码牌。
根据另一方面,本发明提供一个结合根据本发明其它任何方面的一个智能空间光调制器的光学模式识别装置。
该模式识别装置可以按照本发明的第一方面,在该种场合,可以在第二光电变换设备前提供智能空间光调制器。该模式识别装置另外可选择包括一个标准的Vander Lugt光学系统或其多个变体中的一个-例如图1。
智能空间光调制器可以放置在尽可能靠近一个光电变换设备的图像平面的地方,它用于检测相关模式。这可以是一个CCD摄像机。优选可以选择智能空间光调制器的像素的像素间隔匹配或至少近似匹配CCD摄像机的像素的像素间隔(例如,使得摄像机像素相对于SLM像素在其上面)。这使系统对智能空间光调制器中的像素间隔较不灵敏,或对其基本不灵敏。还可以把一个SLM、或一个可饱和的吸收器或具有同样功能的介质放置在介于该“组合”SLM和一个输出光电变换器(如果提供的话)之间的图像平面内。
可以使智能空间光调制器用于只通过超过一个预定阈值的光。这使处理由CCD阵列检测到的模式极大简化。因为只有高能级信号分量通过,因此可以假定,每一个通过的信号相应于一个相关尖峰。这些尖峰可以通过在一段时间上积分摄像机输出而检测到,例如就第一光电变换器的一帧时间内执行的许多或全部相关处理期间(其可以是数百相关处理/组合模式)。没有智能空间光调制器的话,这种积分将不会产生有意义的结果,因为在每一像素处建立许多低能级信号。当然,如果摄像机可使用超快读出的话则这一点不需要。
积分的一个缺点是丢失一些信息,尽管这在许多应用中是可接受的。在精确参考模式上的信息丢失,产生相关尖峰。然而,这可以被接受,特别是如果所有参考模式在不同的程度和方向上指的是同一参考物体的话。例如,也许希望检测一定汽车模型的存在和近似位置,而不管其距离或精确的方向。如果在该参考上的一个固定的重要点总如前所述位于中心的话,甚至更可以接受,因为我们然后检测在该参考上该点的位置。
在模式识别系统的另一可选择的应用中,可以使SLM用于限制到达CCD摄像机的光的强度。这可以帮助防止由高强度分量引起的发亮饱和摄像机或任何其它类型的检测器。这种设备的一种商业应用是“对准和点击”摄像机以中止明亮的太阳光以防止过度曝光的照片,或视频摄像机,或其它成像系统。另一个应用是在夜间对打开头灯的车辆号码牌的拍摄。可以预见其它的应用。这种摄像机可以是模式识别系统的输入摄像机。
因此,在另一方面,本发明涉及包括一个根据本发明任何其它方面的智能光空间调制器的摄像机。
可以提供智能SLM作为摄像机透镜的附件,或与一个包括一个透镜和一个智能SLM的透镜单元集成,或在摄像机内透镜后面。
施加在智能SLM内的每一比较器上的参考信号可以响应在总入射图像内的平均光强度的测量设定,总入射图像诸如在一个模式识别装置内的模式。这允许自动补偿要保持的变化的背景光能级。
根据另一方面,本发明提供一个光学组件,包括:
至少两个光发射设备和一个透镜,每一个光发射设备相对于该透镜的光轴在不同位置分开放置;
一个控制器,它用于顺序控制每一设备的照射;
在光发射设备和透镜之间提供的空间光调制器;
一个输出检测器阵列,它用于接收由SLM调制的光。
该光学组件可以用于形成一个模式识别装置的一个部件。
“在光发射设备和透镜之间”指的是,在从光发射器发射的光在其到达透镜前的光路径内。
光发射设备应该提供空间相干,例如,可以使每一个用于发射一个发散的或平行的光束。
在高速模式识别系统中,处理速度可以使相关模式以实时方式高速产生,亦即到每秒约10,000个相关,或可能更高。这可能给用于分析结果相关模式所用的检测电路的速度施加限制。使用CCD摄像机结合门限技术可以得到好的结果。然而,CCD摄像机不能达到从专用单一检测器或线性检测器阵列可以获得的高的读出速度,特别当CCD具有大数目的像素时。该光学装置使用从在输出摄像机中的一个线性检测器阵列得到的好处。线性检测器阵列可以非常快地读取,可以只由时钟速度限制。因为只希望输出(而不是进行计算强度很大的处理)组合的模式,所以使用非常快的读出设备诸如线性阵列可以十分有利。
根据一个实施例的装置通过遍历一个二维输出模式操作,该二维输出模式通过空间光调制器通过有效“移动”光源跨越检测器阵列在透镜的焦点平面上形成。
检测器阵列可以包括一行检测器、或者两行或更多平行的行的检测器。每一行可以包括两个或者更多个检测器,或许10个、几十个、一百个、几百个、甚至上千的数量级、或更多检测器。
在一个最优选的装置中,提供一个多于两个光发射设备的阵列。这可以包括一个以基本正交一个光轴安排的两个或更多个光发射设备的线性阵列,该光轴通过空间光调制器和透镜的中心。光发射设备的阵列可以与检测器阵列正交对准。可以有几个、十个、几十个、一百个、几百个、甚至上千的数量级、或更多光发射设备。
可以在光发射设备和SLM之间提供一个准直透镜。可以为所有设备提供一个单一的准直透镜。
也可以在光发射设备和SLM之间提供一个极化器。该极化器可以形成SLM的一部分。
优选但不一定必需在SLM和检测器阵列之间提供傅立叶变换透镜。另外可选的方案是它可以形成SLM的一部分。它可以包括一个由结合一个区域平透镜功能到由SLM产生的掩码模式中而产生的一个虚拟透镜。
光发射设备可以包括用于产生一个相干光源的激光器或激光二极管。优选只安排或控制一个光发射设备以便在任何时刻发射一个光束。
设备阵列可以包括一个VCSEL阵列。
对于在SLM上显示的512乘512的像素掩码,感兴趣的输出区域也包括全分辨率的512*512点,并可以提供一个具有512个元件和512个元件检测器的VCSEL阵列。以这种方式,不需发生信息损失,如果控制设备把该VCSEL的每一个元件打开,依次以512步扫描二维模式。然而,并不总是必须以全分辨率读输出,和可以提供比有的SLM像素较少的检测器像素。在该限制内,一个智能SLM或饱和吸收器可以后随一个单一的大面积检测器。
可以使用一些平行安排的检测器阵列。在这种场合,为最优结果需要的VCSEL阵列的数目减少到R/N,这里R是在SLM中的行(或列)数,而N是检测器阵列的数目。当然,可以理解,在最极端的场合可以只使用一个发射器阵列和R个检测器阵列。
根据另一方面,本发明提供一种监视一个二维光学模式的方法,该二维光学模式当光束通过一个空间光调制器时通过提供至少两个光发射设备和在该设备和空间光调制器之间的一个透镜产生,该至少两个设备位于相对于透镜的光轴的不同位置,包括步骤:控制所述设备使得每一设备被顺序照亮以有效移动光束源和在一个平面内提供至少一个检测器设备,所述平面包括要被监视的光学模式,从而控制该设备横跨检测器设备扫描该二维模式。
通过依次照射每一光源,可以跨越检测器移动该二维模式。在实际的相关应用中,检测器阵列的输出当其检测到任何相关尖峰存在而出现时通常由阈值限制。还可以随时间积分门限信号。
本方法可以包括提供3或4或更多光发射设备,和多于一个的检测器。
光源可以放置在正交于透镜和SLM的光轴的一条线上。检测器设备还可以包括一行检测器。这可以安排在正交于透镜的光轴的方向和正交于光发射设备的线的方向。
本方法可以另外包括在一个或者多个光发射设备和SLM之间提供一个准直透镜。
光发射设备优选包括激光二极管。
光学组件可以结合到根据本发明的第一方面的一个模式识别装置中。它也可以用于实现本发明的第二方面的方法的一部分。无论在哪种场合,可以驱动SLM以显示一个相应于至少一个图像的傅立叶变换和一个参考的傅立叶变换的组合的模式。在SLM后面的光学透镜然后作为一个光学傅立叶变换器,和跨越检测器扫描一个二维相关模式。
可以理解,这里讨论的几个发明可以在模式识别领域外找到多种应用,而不限制在那一领域。
根据另一方面,本发明提供一种检测一个场景中的一个参考物体的存在和/或位置的方法,包括步骤:
通过发射电磁辐射的至少一个脉冲照射该场景;
产生一个所摄取的场景图像,它相应于在辐射的脉冲被发射后的预定时间接收到的反射的辐射;
处理所摄取的场景图像的至少一部分以产生一个相应于所摄取的场景图像的傅立叶变换的场景模式;和
电子组合该场景模式与至少一个相应于一个参考图像的傅立叶变换的参考模式以产生一个组合模式。
辐射可以包括紫外光、可见光或红外光、或其它波长。
在一个优选的安排中,本方法另外包括步骤:
使用空间光调制器产生一个相应于组合模式的掩码;
用空间光调制器调制相干光束;和
监视在用空间光调制器调制后形成的光的模式。
通过发射一个诸如光的辐射脉冲,可以在一个预定延迟的时间摄取场景图像,这里该延迟保证摄取的场景图像相应于已经越过一个预定距离的光。当在该装置和场景之间存在雾或烟时,其可能淹没该场景图像,该光将在图像被摄取前反射回来。相似地,诸如墙壁或树的背景物体可能被拒绝,因为从它们来的反射光到达太晚。因此可以分离从离开检测器预定距离处的一个物体的反射。这可以使模式识别容易得多,因为可以减少不相关的数据的量。这可以例如在车辆通过雾中行驶时拍摄车辆号码牌非常有用,或许作为用于识别加速车辆的速度检测器系统的一部分。
可以使用一个激光器产生辐射脉冲。
优选本方法可以包括摄取相应于几个不同时间延迟的场景图像的步骤。这通过一次观看场景的一个片段(在观看方向深度上片段)允许在三维空间中执行模式识别技术。这帮助模式识别处理,并利用这里所述的处理器的非常高的速度。因此本方法可以包括摄取至少两个场景图像,它们相应于从在一个场景中的一个物体的具有不同距离的部分反射的光。从这两个图像,通过使用相应于通过一个参考物体的“切片”的参考模式执行空间分析可以识别一个物体。
脉冲持续时间的数量级可以为1ns、或到10ns或更长。接收到的光可以通过一个光学增强器。可以使其以持续时间通常为50psec到10ns脉动,取决于应用。
当然,容易理解,本发明的这一方面可以与本发明的其它方面的任何特征结合,并在本质上是对一般模式识别技术的精细改进。的确,这里公开的任何不同的特征和发明可以与这里公开的另一发明和特征结合使用。
照射脉冲可以从图像被摄取的同一点或基本同一点导出。另外可选的方案是,它可以从不同的位置导出。
本技术可以用作在对使用一种模式识别方案已经确定一个识别类的物体初始存在后的图像识别的精细改进。本方法可以与本发明前述方面的任何装置和方法结合。在一个优选的方法中,首先使用空间相关检测一个物体的位置。然后摄取两个相应于该物体有不同距离的不同部分的场景图像(或更多)以帮助识别。
脉冲的时间/范围选通检测与前面讨论的快速相关器技术结合特别有用,因为这可以是第一相关器,其可以足够快以利用场景的3维切片图片。
根据另一方面,本发明提供用于检测在一个场景中的一个参考物体的存在/或位置的装置,包括:用于产生至少两个组合的模式掩码的设备,所述设备用于组合至少一个场景模式与至少一个参考模式以产生一个第一组合模式掩码;用于组合至少一个场景模式和至少一个参考模式以产生一个第二组合模式掩码的设备;和用于在一个空间光调制器上同时显示所述至少两个组合的模式掩码的显示设备。
组合的模式掩码优选不在显示设备上彼此叠置。
按照本发明的另一方面,检测在一个场景中的一个参考物体的存在和/或位置的方法包括:
通过组合至少一个场景图像与至少一个参考图像而产生至少两个中间掩码(组合模式);
在一个空间光调制器上同时显示所述至少两个掩码。
可以用一个光束同时照射这两个中间掩码(组合模式)。可以提供透镜以聚焦由SLM调制到一个焦点平面内的光束的那部分。
以这种方式,可以同时产生两个相关模式。
当然,可以在任一时间在SLM上同时显示3个、4个或更多中间掩码。每一中间掩码可以产生一个各自的相关模式。
中间掩码可以“贴”在SLM上。中间掩码可以彼此相邻相贴。一个例子是4个中间掩码可以用出现在该SLM的各四分之一的一个掩码显示。
可以通过电子组合依赖于一个检测到的图像的傅立叶变换数据集(场景模式)与一个参考物体的傅立叶变换数据集(参考模式)产生中间掩码。两者都可以包括仅有二进制相位数据。
根据再一方面,本发明提供一种减少为保持SLM(其可以包括液晶材料)每一像素上的一个纯零电压所需要的时间以防止液晶分子离解的方法,电压的变化改变像素的调制状态,包括步骤:
相应于输入到调制器的至少一个显示的掩码施加或者建立加在空间光调制器的各像素上的电压,和
在符号与电压和相反的时间内给每一像素施加需要的电压。
这也许需要多于一个的掩码。
现有技术中有许多方案来保持纯零电压,例如,在每一掩码显示后显示一个“负”掩码。然而,这导致50%的可用显示时间被重复显示该负掩码;这通常是不希望的。
在我们的方法中,使用相反符号电压连续施加掩码。优选用正电压显示一个掩码,后面跟着一个具有负电压的不同的掩码,然后跟着一个具有正电压的第三掩码等。它的效果是每一像素随时间有不同的平均电压,其对于时间上随机的顺序值趋向于零。
优选存储施加在每一像素上的电压和。然后可以查询这一数据为SLM上的每一像素产生需要的改正的正和负电压以实现随时间的纯零电压。
可以预先计算在预定时间期间加在调制器上的模式。然后可以从预计算的模式(而非时间测量的电压)单个计算为每一像素为减少离解效应所必须施加的电压。这样,从要施加的模式序列可以计算为得到近似纯零电压而必须施加的正电压模式和负电压模式的最优组合。如果需要的话,可以在例如两个或更多模式后显示一个单一的“补偿”图像以保持零平均电压。事实上,我们设想只在数十个或更优选在数百个模式后才显示一个“补偿”图像。
这样,代替用模式基(pattern basis)“补偿”一个模式上的SLM的像素,我们只在一批模式显示后才补偿。因此,在SLM上显示希望的模式可以比现有技术方法快一倍。
根据再一方面,本发明提供一个结合有空间光调制器(SLM)的光学系统,它用于减少为保持SLM的每一像素上的一个纯零电压所需要的时间,它另外包括:用于产生要在SLM上显示的一些模式(一个模式表列)的生成设备;用于在SLM的每一像素上建立由显示上述模式表列产生的纯积分电压偏置效果的设备;和通过显示该组模式用于给每一像素施加一个基本同振幅的相反的表列修正电压或施加在那一级的积分电压的设备,使得在积分电压后施加在每一像素上的纯积分电压基本为零。
应该理解,用于组合场景模式和参考模式的组合单元/多重单元通常是在权利要求1的安排中使用的电/数字组合器,但是对本发明的其它方面,或者对于各种优选的特征,组合器不需要是数字设备而可以是任何适合的组合器。
现在参考附图仅作为例子说明本发明的几个实施例,附图中:
图1表示用于模式识别的现有技术的Vander Lugt光学相关器的典型展开图;
图2是根据本发明的一个方面的模式识别装置的一般原理图;
图3是一种不同的表示,表示图2装置的主要部件部分;
图4表示在由图2和3所示装置处理一个图像期间形成的各种图像和模式;
图5是在一个二进制相位模式的傅立叶变换平面内存在两个相关尖峰的原理表示。这一简单的例子以一个二进制相位衍射表示具有两个主要衍射顺序的光栅。为简单起见,图中省略了傅立叶变换透镜;
图6原理表示在光轴的方向上分开放置的平面内使用线性调频脉冲建立一个DC和两个相关尖峰;
图7表示没有线性调频脉冲的相关模式的实验记录的3维标绘图,该图表示具有比两个对称放置的相关尖峰较大强度和面积的中心DC尖峰;
图8表示当在处理期间施加一个线性调频脉冲时产生的相应模式,表示只有一个尖峰与DC尖峰焦点对准,而第二相关尖峰不在焦点内;
图9表示一个备选光学系统,用于扫描一个使用SLM和一个透镜横跨(a和b)一个线性检测器阵列产生的二维相关模式;和(c)使用一个光源阵列的一些线性检测器阵列;
图10表示一个典型的问题,其中高强度光可以引起观察者的解网膜损坏,或在摄像机中刺目的闪光或过载/眩目的照耀;
图11表示一个原理的“智能”空间光调制器;
图12以侧立视图表示一个修改的“智能”SLM的原理图;
图13表示对一个光学模式识别方案的精细改进的原理图,其中一些模式被同时“贴”在一个空间光调制器上;
图14原理表示相似于关于图2和3说明的模式识别装置可以如何使用光纤分成两部分或更多部分,使其可以应用于例如危险的环境;
图15表示用于定义由该装置处理的数据以产生一个相关模式的各种术语;
图16表示正交于一个线性检测器阵列的VCSEL阵列,横跨该线性检测器阵列可以通过控制VCSEL阵列的照射扫描一个二维模式;
图17表示一个检测器阵列,它包括一些平行的检测器行,同时交替从左或右读出;
图18是一个示意图,表示如何可以使用照射辐射的一个像素来摄取一个场景的一个图像切片以减少背景的杂乱,并使一个物体的一些这种切片相关以改善识别和/或定位的精确度;
图19表示减少使在SLM中的液晶像素离解最小所花费的时间的方法;
图20表示在从摄取的一个相应于人脸的场景中识别瞳孔的一个光学相关器的示例应用;
图21是一个“智能”SLM的两个可能的安排的原理视图,包括的一个排列是其中在阵列中的每一设备包括一个检测器,该检测器控制围绕每一检测器放置的4个一组的像素。
根据本发明的至少一个方面的一个模式识别装置的原理图示于附图2。说明用于在实验室构造一个原型装置的关键部件的另一可选的图示于图3。
该装置是一个混合系统,其中一部分处理由数字电子设备执行,部分处理由光学设备执行。借助两个光电变换设备和一个电光变换设备从电子到光子或从光子到电子变换信息。
一个示例应用是检测街道场景上汽车的存在。该系统可以用于从在参考数据中保存的信息识别是否存在一种特定类型(型号)的汽车。至少在一种操作方式中,也可以使它用于识别汽车在该场景中的位置。
在前面段落中说明的例子中,使用一个电荷耦合设备10诸如一个CCD摄像机摄取场景的图像。在实验室中,使用718×512像素的摄像机。所选择的摄像机对可见光很灵敏,不过关于由该摄像机记录的波长的可变范围没有进行假设。对红外线的操作有时是优选的,因为它在白天和夜间都能运行。的确,可以想象能够省略该摄像机和该系统能够用于处理其它类型的图像或能够安排在一个二维阵列中的更抽象的数据。
另一个例子是从面部照片识别人眼,如图20所示。
摄像机每二十五分之一秒产生一个被摄取的512×512的场景图像。把每一被摄取的场景图像(或选择的一个)下载到数字存储器11中临时存储。
数字存储器11(或一个分开的存储器)还存储一组参考模式。在该例中,每一模式可以相应于一个图像的傅立叶变换,该图像可以是不同类型的汽车,或者是从不同角度观看的一个汽车,或者是从各种不同角度和/或从一些不同的距离观看的不同的汽车。
数字存储器作为一个个人计算机的一部分提供(如图3所示)。个人计算机使用一个专用图像获得板13从CCD摄像机以视频速率摄取场景图像。
存储在存储器中的摄取的场景图像数据集传送给专用变换机14(在当前操作版本中,但是变换机不认为是必需的),它产生相应于所摄取的场景图像的一个傅立叶变换的场景模式。以图像获得板的摄取速率执行傅立叶变换。
用于构造场景模式的实际的傅立叶变换数据通过使用一个FFT例行程序初始计算被摄取图像数据集的复二维傅立叶变换。接着,变换机舍弃在复数数据中编码的一些信息和形成一个包括仅有二进制相位数据的场景模式。它当然是非复数数据。
参考模式也可以作为从参考图像或物体的傅立叶变换产生的仅有二进制相位数据编码。这与多位数据比较节省了存储器。为保证系统尽可能快地运行,这些参考傅立叶变换在使用该系统之前计算,并存储在存储器中。如果只存储了原始参考物体数据,则该参考的每一傅立叶变换需要实时计算。这将引起系统瓶颈。参考存储器可以在用户的控制下编程(可以改变在活动的“活的”存储器中保存的参考模式)。
为识别和/或定位在摄取的场景图像中的一个参考图像,必须比较参考模式和摄取的场景模式。例如为把400个参考模式与每一摄取的场景模式比较,必须以在二十五分之一秒内400次组合的速率执行组合这些模式的处理,如果该系统以实时方式以视频摄取速率运行的话。
处理摄取的场景图像以产生场景模式中的仅有二进制相位数据。这表示为这一图像减少复杂性的傅立叶变换模式。因为参考模式也采取仅有二进制相位数据的形式,因此可以使用快速简单的逻辑电路例如异或门组合这两个模式。组合的图像模式和参考模式形成一个组合模式,其在由控制器15a驱动的空间光调制器(SLM)15上显示。
在实验室原型中使用的SLM 15包括一个快速位平面空间光调制器(FBPSLM),其作为申请人和英国剑桥大学之间联合合作的一部分开发。
提供本设备具有它自己的控制板15a,控制板15a包括为存储参考物体数据集的存储器。可以存储数百参考模式作为仅有二进制相位信息。它们可以以表分组到一起。例如,参考模式可以相应于不同制造的汽车。一个表可以包括为每一种制造的一个参考模式。其它可以包括为一个单个制造的所有参考模式。
个人计算机12控制(经由通信线)要访问哪一个参考模式表以形成一个特定的组合模式。优选依次通过移位所有相关的模式表形成一组组合模式。然而,可以使用先前的信息以减少检索或修改对一个特定表的检索顺序,亦即,如果只希望识别汽车的一种制造。当然,可以理解,如果系统检索表A并为模式X发现一个匹配,则控制设备然后可以使用这一事实,即模式X匹配控制选择要检索的下一个表(例如表B而不是表C,如果Y匹配的话将会检索表C)。
如前所述,场景模式与一个参考模式的相乘使用XOR门执行,因为只存在二进制信息。这是一个非常快的处理,并因为其数字化性质而达到模式的完美的对齐。
当前可用的FBPSLM具有有限的分辨率,只能显示可以被使用的320×512个像素。在该种场合,计算FFT模式作为512×512像素模式并舍弃在该模式的中心320×240像素外的数据。这作为一个低通空间滤波操作。然而,可以想象可以使用较大的SLM,其一当前正在开发。给SLM提交比所摄取的较少数据这一原理应用于其它尺寸范围。
由FBPSLM显示的相应于组合模式的至少一部分的实际组合模式(掩码)用于调制光束。如图3所示,光束由激光16在通过光束扩展器和线性极化器17之前产生。把扩展的极化相干光照射以反射方式工作的FBPSLM 15。从FBPSLM反射的光定义一个由FBPSLM显示的模式编码的被调制的光束。FBPSLM每秒能够显示大约一万模式(掩码)。
FBPSLM调制光束的相位。SBPSLM中的每一像素对入射波形给与零或半波长的延迟(逐个像素)。只有相对相位是重要的。每一像素的状态取决于第二中间数据集的相应样本的二进制值。FBPSLM这样给光束供给二进制相位调制模式。
反射光束由透镜18进行光学傅立叶变换。光通过透镜变换被调制的模式,使得在透镜的后焦点平面内产生需要的相关模式,其可以由位于该焦点平面内的一个CCD阵列19检测。
如果任何两个模式(从参考和场景导出的)匹配,则从参考模式和场景模式产生相关模式,而透镜将由两个关于原点对称放置的、强烈聚焦的尖峰组成。这表示在为一个相位逆转光栅的特别简单场合的图5中。另外,在原点处形成一个特别大的尖峰,其本质上是由于SLM的像素间区域产生。两个尖峰的存在是傅立叶变换数据的相位的二进制化的副效应。
从这两个尖峰,可以容易地确定在场景中是否存在一个特定的参考图像。如果当一个参考模式与一个场景模式相关时存在一个尖峰,则可以假定在该场景中存在该参考。如果没有形成相关尖峰,则可以假定不存在参考图像。可以借助阈值电路做出决定。
相关模式还能够使粗略决定场景中参考图像位置。一般说,尖峰在相关模式的(x,y)平面内的位置与在场景中的参考图像的位置有关。
有可能使用这一点指引一个物体朝向定位的物体。例如,可以指导钻头朝向需要一个孔的一个被识别的区域。可以安排,随着第一光电变换设备朝向场景中的参考物体运动,两个尖峰聚合为一。
放置在透镜的焦点平面内的输出摄像机产生一个输出信号,其可以被依次分析以检测在场景中的参考物体的存在和/或位置。在一个简单的场合,摄像机的输出随时间积分,例如使得覆盖一些参考物体比例和/或定向,以便从当前理想值例如10kHz减少需要的摄像机的读出帧速率。
另外可选择的方案为,可以从摄像机记录的模式中产生一个可以被数字处理以识别相关尖峰的信号。例如,可以在屏幕上显示摄取的表示场景的场景图像并可以叠放一个标记以指示在该场景中的一个参考物体的位置。该标记可以例如是一个叉。这例如当结合医用激光使用本发明使用于烧去一定的组织部分而不是别处时,如果它恰当对准和加电的话,可以十分有用。
可以理解,第一光电变换设备(输入摄像机)可以以二十五分之一秒的速率摄取图像帧。在一组参考模式有400个的场合,在SLM上每秒要显示10,000个模式。这也就意味着输出摄像机在理想的情形下需要每秒10,000帧的输出速率,但是这不是必需的(例如,可以把输出信号积分)。
说明基本模式方案后,下面说明几个有利的特征,它们中的许多是任选的。它们可以包括它们自己的权利,不必限制到模式识别领域。
仅有二进制相位变换
如上所述,本发明的本质是在模式识别方案中数字和光学变换的组合。
用于数字数据的优选的变换是从傅立叶变换导出的1位仅有二进制相位数据。仅有二进制相位数据的使用特别适合用于快速二进制调制器,诸如铁电液晶SLM,包括FBPSLM。多位级变换数据可以作为备选使用,不过为获得最大的好处,需要基于几个调制级的调制器。我们不知道当前这一类型任何适合的商业设备。
使用仅相位的傅立叶变换信息(拒绝振幅信息)的关键好处是它改善了在具有无白色空间谱的“噪声”场景中的检测。
为第一中间数据集和参考数据集使用仅二进制化的相位信息的主要原因是其与具有二进制响应的液晶SLM的固有兼容性,和二进制数据可以使用例如一个异或门与之相乘的较快的速度。
一般说来,二进制相位信息的使用导致性能的下降,因为相位数据的量化的粗糙性。此外,二进制数据导致两个相关尖峰在傅立叶变换透镜的输出平面内形成,如图5所示。
两个尖峰的产生已在现有技术文献中讨论。当然,这在整个输出场是成立的,不仅是相关尖峰。一般说来,这种行为是不希望的,因为它导致定位一个被识别目标的模糊性。然而,正是这一现象可以应用于参考物体识别和跟踪中。
可以看到,相关尖峰在输出平面中的位置(相对于中心)是在用以产生参考数据集的图片中的参考物体和在摄取的场景中要识别的事项的相对移位的测量。例如,如果物体和参考距其各自的场景中的原点同样放置,则没有相对移位,在原点处出现单一输出尖峰。
已经确立,为使在图2和3中所示的模式识别装置正确操作,可以任意放置参考。在物体跟踪的场合,这提供一种有价值的自由度。因为经常需要跟踪在场景中存在的运动而找寻物体的点。使该点作为为找寻的参考物体的每一比例/方向的参考图像(用于建立参考模式)的中心是方便的。在这一场合,当在该参考物体上的点在输入平面的中心时,输出相关尖峰在输出平面的中心。这样,在跟踪处理中,当场景物体的希望的区域总与一个跟踪设备(例如摄像机或钻)中心对准时目标是保持相关尖峰在输出平面的中心。在使用二进制相位SLM的本发明的模式识别系统的场合,这又有附加的优点,在这些环境下输出尖峰具有完全的强度,上面讨论的两个对称的尖峰合并成一个强中心尖峰。这一事实可以用来帮助参考物体的识别和跟踪,和使用下述事实,即当场景参考物体的位置完美匹配该参考的位置时输出尖峰不分裂。当然,在这一陈述中隐含的是在处理器中参考物体被识别。跟踪一个物体的例子可以是移动摄像机跟踪运动汽车的号码牌并然后摄取该号码牌的照片。另一个例子可以是保持激光或钻在工件上产生一个孔之前与运动工件对准。
当场景由物体支配并完美匹配参考物体时使用仅相位滤波器有另一个有兴趣的结果,使得在物体和参考的(仅二进制化的相位)傅立叶变换之间有完美的相位共轭关系:-在这些环境下离开SLM的场是一个均匀振幅的平面波(假定输入照射是均匀的),使得输出在理论上是一个Airy函数,独立于物体/参考。这可以十分有用,因为与一般物体/参考的ACF比较它具有非常低的侧叶(sidelobe)能级和固定强度。如果照射激光具有高斯强度分布,则输出进一步平滑。高斯分布可以减少系统的灵敏度以精确匹配物体和参考,因为它等价于使用一个减少输出中的高空间频率成分的滤波器。
因此可能希望提供一个空间滤波器,特别与一个二进制化的系统结合。
线性调频脉冲滤波器
认识到,在一定的环境下在傅立叶变换透镜的输出平面内存在两个相关尖峰是不利的,建议在参考仅有二进制相位傅立叶变换数据集(参考模式)中包括一个线性调频脉冲(非线性相位项)。线性调频脉冲与区域平透镜密切相关。理论上和在实验中已经证明,这对把两个相关尖峰聚焦在沿光轴的不同平面内有效果。还证明了在原点处的DC尖峰也移位到一个不同的平面。通过把输出摄像机放置在这些平面中的一个内,则只有一个尖峰被聚焦。这允许不希望的DC分量和一个尖峰在输出摄像机上的大小减小。相应于该不希望的尖峰的光沿输出平面散开。这在图6中表示。
在一个实施例中线性调频脉冲相位模式在结果参考模式二进制化之前进行计算并加到参考相位模式上。然后在FBPSLM上显示来自该参考和输入模式的结果组合谱并用透镜对其进行光学傅立叶变换。可以证明,由于该线性调频脉冲,产生的两个相关尖峰在z方向上在距离z’和z”处聚焦在透镜的焦点平面的两侧中的任一侧平面内。还可以证明,在x-y平面内的相关尖峰的位置根据所用线性调频脉冲的大小缩放。
图7和8表示由分别带或不带线性调频脉冲的参考模式产生的相关信号的室验记录结果。图7是摄像机放置在透镜的焦点平面并未施加线性调频脉冲的记录。图8是施加线性调频脉冲的记录:摄像机放置在z方向上直到一个尖峰在平面z’处聚焦。图8成功地显示第二相关尖峰和DC分量不聚焦。
实验表明,如果作为二进制模式计算线性调频脉冲然后加到一个二进制模式上,则产生的两个尖峰聚焦到同一x-y平面。因此这一点对一个二进制模式不一定是希望的,因为两个尖锋会被聚焦(不过有利的效果是在原点的尖锋散焦)。
相信可能设计线性调频脉冲作为对SLM的外部结构,其可以是固定的,也可以是变化的。
实验表明,对于模式识别,线性调频脉冲理想地在该模式被二进制化之前相加和可以加到两个模式或只加到其中的一个模式上。也许更方便的是预计算该模式并将其加到参考模式上。因此可能比较一组模式与不同的线性调频脉冲,使得可以实时或顺序地从一个表列内随机选择线性调频脉冲以产生在z方向上的一个扫描焦点。与线性调频脉冲的结合允许焦点在3维中实时变化。例如,FBPSLM的当前设计允许线性调频脉冲模式每秒大约改变10,000次。应用可以包括光盘和全息存储器的存储器访问,而不需要机械移动部件。
在一些应用中,可以需要可变线性调频脉冲,例如,在Wigner变换或模糊函数中的时间/频率分析,这里在输入信号中可以存在未知的线性调频脉冲。应用附加的线性调频脉冲的目的是找寻一个取消未知线性调频脉冲的线性调频脉冲以便检索希望的信号。
线性调频脉冲也可以由SLM以多于两个调制级(亦即非二进制)使用。它的优点是,多个调制级只产生一个相关尖峰,并因此其光通量更高效。虽然由于只有一个相关尖峰而去掉了被找寻物体的位置的模糊性,但是仍然有一个由DC尖峰的存在产生的问题。因此,使用线性调频脉冲散焦DC尖峰仍然是有利的。就我们所知,这一性质在文献中尚未讨论。
还应该注意,线性调频脉冲具有和透镜相似的数学表示,并且在实验中已经证明,不必与线性调频脉冲结合使用透镜。这简化了光学系统的设计。
在实际中,一个线性调频脉冲函数简单地与一个FFT模式相乘。它可以预计算或甚至从一个“查阅”表访问。另外可选择的方案为可以通过卷积把线性调频脉冲施加给信号。
空间光调制器
为实现本模式识别方案,必须提供一个空间光调制器,它能够显示组合模式作为一个相位编码的空间掩码。
已知一种合适的SLM作为快速位相位空间光调制器(FBPSLM)。可以使用其它SLM(包括其它硅背板设备)。
FBPSLM包括一个320×240的像素阵列,其填充率为65%。这允许最大的帧速率为22.7KHz,这足以每秒显示超过10,000个模式。像素是DRAM类型。
在FBPSLM中,和在大多数SLM中一样,在每一像素上施加电场。对于一个二进制SLM,每一像素将有两种调制状态。对于相位调制,这些相应于不同的延迟。
为避免像素材料在净电流下的离解(dissociation),所施加的电压理想上极性要变化,使得对于像素材料随时间看上去的净电压基本上是DC平衡的零。
在现有技术中,通过显示一个模式然后显示逆模式,使两个模式显示同样长的时间,亦即在每一相关/卷积图像显示后显示一个逆图像,而实现一个DC平衡状态。然而,这将导致为SLM的一半显示时间冗余。在速度很重要的模式识别中,这一冗余时间可以给在一个给定时间内可以执行的参考相关的总数目设置一个限制。
为减少在SLM中的冗余时间数量(既在图2和3中所示的模式识别方案中,也在结合一个SLM的任何其它的系统中),建议产生一个要在SLM上显示的模式表。然后可以相加当显示该表时随时间施加在每一像素上的电压。然后可以从该和值计算一个单一模式,并可以在SLM上显示为产生一个DC平衡所需要的一个单一模式。可以显示表中的模式使得一些具有负电压,一些具有正电压,以近似到零净电压。它们可以作为交替的正或负电压模式显示。
在模式识别系统中,施加在为例如两个、三个或四个或更多个模式的像素上的电压可以相加。可以想象,一个模式表也许会有数百种组合模式(组合的场景模式和参考模式)。可以想象,一张表可以包括由为一个要识别的特定物体的一个参考模式集产生的所有组合的模式-也就是说该表可以在SLM上显示,然后,在显示为一个特定预定的物体的所有相关组合的模式后,通过一个偏置电压给SLM的像素/材料加偏压以补偿由该表施加的电压的净效果。然后可以计算一个平衡电压并用来控制像素。平衡模式对每一求和只需施加一次,但是可以有长的持续时间和对每一像素不同-一些可能需要在该时期翻转,亦即到负或正。这表示在附图19中,其结合在一个光学模式识别系统中,在这里组合的模式要在SLM上显示。
智能SLM可以具有上和/或下光强度阈值,并依赖于入射光的强度改变其与入射光的相互反应。这些阈值的值优选由用户独立地改变,例如通过使用可编程智能SLM。
可以想象,一个智能SLM的门限功能可以数字化执行,并只有从来自高于一个预定(可能变化地控制的)值的像素来的信号被像素通过。
备选模式识别技术
在图2和3的实施例中,相关模式聚焦到一个CCD摄像机。当为每一摄取的图像进行大量的参考/图像相关时,对输出摄像机的速度施加严峻的考验。例如,如果每个摄取图像与400个参考相关,并且拍摄摄像机以视频速率操作,亦即每秒25帧的话,则输出摄像机每秒必须处理10,000个模式。可以想象,输出摄像机可以因此对相应于可以进行的参考相关的最大数目设置限制。
在一些环境下,例如,如果输入摄像机移向一个“目标”,则其在该摄像机的观察场的正当中心的地方,而相关尖峰被限制在靠近该输出场的中心处,如前所述。因此,可以使用中等大小(例如48×48像素)和几个kHz的高的帧速率输出摄像机。
为去除这一可能的瓶颈,开发出另外一种可选择的光学方案,其示于图9(a)到(c)。
如图9(a)到(c)所示,用一个VCSEL阵列100替换激光光源。CCD摄像机用一个线性输出检测器阵列替换。VCSEL阵列包括一个线性激光二极管阵列,该阵列的中心与通过SLM 102和聚焦透镜104和105(只要提供)的中心的轴重合。线性检测器阵列也以该轴为中心,但是对VCSEL垂直,如图16所示。
为理解图9所示系统的功能,假定在SLM上每秒产生100个模式。在一个CCD摄像机上聚焦的图像(如图2所示)通常包括每行512个像素的512行。在一个修改后的摄像机中,可以并行读出每一行像素,所有512行在100分之一秒内读取。这在其自身可以是对CCD摄像机的一个有用的修改。可以使每一输出通过一个阈值电路,以检测相应于在场景中的参考物体的存在的相关尖峰。
图9所示系统通过“移动”光源使得二维输出模式逐步跨过一个线性阵列而解决了在不同方式中的问题。
为实现和512×512像素的CCD阵列相同的结果,VCSEL可以包括512个激光二极管,而线性阵列可以包括512个检测器。通过一次打开一个激光二极管,并以一个单一模式在SLM显示的时间之内循环遍所有512个二极管,可以横跨线性阵列扫描整个二维模式。
在实际中,通过在一个单一线性检测器阵列上走遍所有(例如)512行实现这种方案也许不方便或不合适。对这一困难的一个可能的解决方案是使用较少数目n的这种线性阵列,如在图(9c)中原理所示。在这一场合,需要的VCSEL的数目是512/n。在图(9c)中表示的分开输出检测器阵列H的例子和VCSEL的减少程度相同,如果透镜是相同的话。“n”可以是1、2、3、4或更大。
在图17所示的一个精细的改进方案中,提供一些检测器行。以交替方向读出每一行,亦即第一行从左,第二行从右,第三行从左,等。
相信VCSEL阵列概念不能用真正的Vander Lugt方案工作。然而,对于熟悉本技术的人不难确定哪一种光学设备能与该扫描的线性检测器思想工作-所公开的的确可行。
“智能”调制器
它的使用不限于相关器。
对高速读出相关模式问题的一个可能的解决方案已经作为对CCD摄像机的另外可选方案说明。然而,对于许多应用,CCD摄像机的使用可以是最好的解决。例如,在场景中的参考的精确比例/定向不重要的场合,来自CCD的输出可以就时间简单地积分以检测相关尖峰。不幸的是,在非常高的速度下,旁瓣(side lobe)和背景杂乱信号可能淹没相关尖峰。
为解决这一问题,申请人开发了一个“智能”空间光调制器,其可以用于作为一个非线性滤波器,它可以以一种方式安排为只通过例如相应于一个相关尖峰强的光学尖峰。因为这将去除低能级背景杂乱信号,因此从CCD来的积分的输出信号的询问成为一个吸引人的主题。如果所有的参考都以一个公共点为中心的话,这特别成立,因为输出尖峰此时相应于该点,不管参考的比例和定向。
“智能”SLM还可以解决的一个不同的问题示于图10。一个远处的场景由观察者通过一个透镜L 201观察,它形成图1中平面P1上的一个中间图像。亮点B1在这一中间图像平面内引起亮点B2,和在观察者的视网膜上引起一个亮点B3。
亮点B3可以使观察者眩目或损坏视网膜或引起摄像机发亮(或在常规照像机中对胶片过度曝光)。建议的“智能”SLM将限制亮点B3的强度。
图11表示出一个简单的“智能”SLM。它包括一个矩形二维基片300,载有一个相同元件的阵列,全部由一个公共电源(即电池)通过在基片上提供的一个导电电极结构供电。电极结构可以是金属的,或者是用光透明导体诸如氧化铟锡(ITO)形成。在图11所示的SLM中,检测器301、一个关联的放大器(未示出)、一个比较器(未示出)和一个晶体管(也未示出一在某些实施例中不存在)占据从液晶像素302一个较大的发射区分开的小区域。通过这一结构,当把液晶通过一个晶体管连接到一个电位时,大多数光通过SLM像素。如果施加一个电压的话,则液晶改变以减弱光。(在这一版本中,SLM配置为一个振幅设备,二不是相位设备,不需要液晶)。
还可以使这种设备直接从与一个电阻R串联的检测器操作。R上的电压是:V=iR,i=电流,其正比于光强度。该电压加在调制器例如液晶上。
图11的SLM作用如下。入射到检测器301上的光产生一个小的光电流。其由放大器放大并供给比较器的一个输入。比较器的输出连接到一个参考电压。当足够的光入射到检测器上产生一个大于参考的比较器输入时,比较器输出,以之操作晶体管打开关联的液晶像素302。这样,很容易理解,通过根据检测灵敏性和放大器增益选择合适的参考电压,可以使像素以预定入射光强度开关。
图11所示简单的SLM将阻断所有在一定阈值强度上面的光(事实上很难完全阻断光,只是严重衰减到一个设定的程度-亦即像素要么是“亮”,要么是“暗”)。
为限制光强度而不是在其超过阈值时切断光,设计出一种示于图12的另外可选择的调制器。在这一安排中,检测元件放置在其关联的像素后面而不是其一侧。在这一场合,亮点将不会完全消失,而是限制到一个自一致的阈值能级。这一安排对于眼睛保护例如为使用摄像机是优选的。
图21示出另外一个可选择的智能SLM。在这一安排中,一个检测器301控制调制介质302的一组4个相邻的像素。
为适合用在模式识别方案中作为去除背景假信号的设备,对比较器的连接可以反过来(或可以反过来操作晶体管),或某些其它修改方式,使得像素阻断光直到检测器上的光超过阈值能级。这可以允许经阈值限制的信号的积分合适,因为只有强相关尖峰通过输出摄像机。
在一个更一般的场合,检测器的输出可以连接到任何逻辑电路以控制每一像素的操作。一个检测器和关联的电路可以与多于一个的像素关联。例如,可以在SLM的一个2×2像素阵列的中心提供检测器。
可以想见,“智能”空间光调制器可以以一些方式结合到一个相关系统中。
首先,可以想见,一个用于衰减图像场景的高强度部分的智能SLM可以在一个用于拍摄场景图像的输入摄像机的前面(或在其前面的一个中间图像平面内)提供。这例如可以防止明亮的太阳或光使摄像机发亮,或胶片过曝光。太阳光可以被完全阻断,或者更为优选的是衰减到较低强度。该智能SLM滤波器可以建立在摄像机内,或建立在一个透镜单元内,或者是一个附加的滤波器单元,它连接到摄像机上,或以某种其它方式关联。
一个相似的“智能”SLM也可以结合在光相关器中,其位于用于显示组合的模式或线性调频脉冲调制的组合模式的SLM后但在输出摄像机前。在这一场合,如果组合的信号包括一个线性调频脉冲以散焦二进制系统中一个相关尖峰的话,则可以在包括一个相关尖峰的离开该SLM最远的平面内放置一个摄像机。然后可以在包括另一个相关尖峰的中间平面内放置一个智能SLM。该智能SLM可以衰减在该平面内的不希望的尖峰以改善辨别率。可以使用相似的安排以去除DC尖峰,这通过把一个智能SLM放置在包括该DC尖峰的平面内实现。这些思想可以是一个独立的发明。该设备将有一个可编程的辨别率改变的滤波器。
可以在输出摄像机前面放置一个去除(或至少衰减)低于阈值强度同时通过(或反射,如果是一个反射设备的话)高于阈值强度的光的另一可选的智能SLM。它可以形成输出摄像机自身的一部分。这将用于去除背景杂乱信号。在这一场合,输出摄像机的输出可以在一些组合模式上积分。如果产生一个超过预定电平的输出电压,则可以假定,存在用于产生该组合模式的参考模式集中的参考。如果需要的话,然后可以再次遍历识别的参考集而不积分一些模式,以识别模式参考集的哪一个模式与该场景图像等同,可能还把这些模式放在可以使用的显示器的中心(如果使用显示器的话)。然而,可能只需要知道一个参考在这里,而不是其比例或定向,在该种场合,不需要与参考进行第二次比较操作。
在一个系统中,把参考模式分成几个模式表。这些表可以包括主表和子表。主表可以包含至少一个从每一子表来的代表模式。例如,每一子表可以包括一个特定汽车的不同视图,而主表包括每一汽车类型的一个视图。一旦使用主表识别到一个相关例如说存在一辆汽车(或某一类型),则可以使用子表依次更清楚识别该汽车的特定视图。这证明在识别一个参考的存在比遍历所有参考模式时间上更加有效。为精确确定哪一个参考产生了相关尖峰,可以在SLM上依次显示组合的模式和仔细监视相关尖峰的存在。这在图19中用示意图表示。
在该最后的思想中和在前面的讨论中,参考模式都可以是综合的判别式函数。
也已经开发出这里说明的模式识别系统的另一种可选的操作方法。当被找寻的物体需要从非常相似的物体中识别或辨别时这特别有用。提供一个光源,它用于以一系列短持续时间的突发光照射场景。当然,可以使用光以外的波长,只要拍摄摄像机兼容(或的确其它非电磁的信号传输传播机构)。图18表示用于一种典型场景的这一方法。
在第一步骤,发射一个短脉冲辐射。该脉冲可以具有1纳秒的数量级,给出空间程度例如为一个可见光脉冲30cm。然后使反射的光场通过一个脉动的图像增强器并记录在一个摄像机上。然后处理由摄像机记录的拍摄的图像以形在图2和3的实施例中表示的一个第一场景图像,并与一个或者多个参考比较。然后对可以被检测到的第二脉冲重复这一点,允许逝去的时间大于第一拍摄图像记录的时间。
一种另外可选的版本是发送出第一脉冲并测量返回时间以获得一个范围-其然后可以以测距仪方式作用。然后可以围绕这一平均执行一系列变动范围。
通过改变发射脉冲和摄取返回信号之间的延迟时间,可以构建该场景的一个3维图像形式。该图像的每一“层”可以与一个或者多个参考图像相关。这也允许识别在一个场景中由背景杂乱信号模糊的物体。在实际中,空间分辨率由发射的脉冲的长度支配,作为增强器操作的时间长度。如图18所示,可以去除来自停泊的汽车和灌木的不希望的反射。这是在三维成像的可能性之外的一个不同的优点。
进一步精细的改进
新的混合数字/光学模式识别装置的另一个有利的特征是可以在SLM上“贴”多于一个的掩码模式以便在聚焦透镜的输出平面内产生几个相应的模式。这是可能的,因为不需在光轴上有该模式的DC频率(就像在经典的Vander Lugt相关中一样)。
在经典的光学相关器中,如图1所示,存在一个定义的光轴。当用第一透镜对图像场景进行傅立叶变换时,空间频率所有都以该轴为中心。必须放置在傅立叶变换平面内的参考模式必须相似地与该轴对齐。
使用数字傅立叶变换技术处理数据的第一阶段,空间频率没有确定的顺序。这允许SLM同时显示例如4个或者更多模式。例如,这些可以贴在4个象限内,如图13(a)到(c)所示。这具有一些显著的优点。
首先,在SLM上显示的空间频率,如每一个图13所示,可以以任何顺序安排(其与下面的需要不同:空间频率从光轴仔细地按序排开一我们可以在SLM的不同区域映射同样的组合模式而仍能适当操作)。第二,可以随镶贴的模式数目增加而增加相关速率。当进行傅立叶变换时每一镶贴将产生它自己的相关模式,在该模式上一个或者多个检测器(诸如CCD)可以并行工作。
镶贴模式的使用还允许一些不同的线性调频脉冲模式并行地应用于单一组合模式。可能希望这点来分开相关区域和避免交叉对话。此外,可以摄取多谱图像(例如,红色、绿色、兰色),其可以被并行处理,每一镶贴例如相应于一种颜色。
再一个修改示于图14。在这一安排中模式识别装置分成两部分。一部分50包括一个光输入设备502,其通过光缆503连接到计算机504或其它电子设备上。光输入设备接收通过光缆传输的输入摄取数据。
计算机在该例中用电池供电,并在一个自保持单元中提供,它产生场景图像和场景模式,并将它们通过第二光纤505传输到基单元506。基单元506包括执行傅立叶变换需要的数字信号处理电路。它还包括一个空间光调制器和光透镜(在提供时)。
这一安排的优点是光输入设备可以远离电子设备放置直到数十千米。光纤不受电磁干扰,因此可以使输入摄取数据在电磁噪声环境中获得。
另外,通过从贵重的调制器和数字信号处理硬件分开相对不贵重的光学输入设备和计算机,它们变得单个较便宜和较小。我们可以从多个输入设备(光学的或不是光学的)给一个公共的相关器输入信号,其然后可以被依次或同时分析。
容易理解,以一种方式看来本发明包括一个混合数字/光学相关器。已经公开了许多有利的特征,其中许多具有比模式识别领域广阔的多的应用。例如,许多公开的装置和方法虽然主要作为一个完整的模式识别系统的一部分开发,但是在其它领域有宽广的应用。可以为任何新的个别的特征以其自己的权利寻求保护。
应该理解,表述“傅立叶变换”意在包括不同类型的变换,包括正弦、余弦、哈特莱(Hartley)、魏文莱(Wavelet)变换等。虽然每一种变换具有稍微不同的特征,但是它们所有的都可以用数字化实现以定义在所公开的模式识别装置中使用的同样的模式、参考模式、和组合模式。
本申请讨论了用“光”执行本发明。当然本发明可以用光学光或任何波长的电磁辐射、和核磁共振(机器可读信息)成像实现。的确,医学成像和医学应用是本发明有巨大潜在应用的领域-自动或远程控制医学激光相对于已知的人体结构的对准和/或运动可以是一个应用,例如只当找到一个正确的模式匹配(正确对准)时才允许医学激光操作。
还可以在非电磁波传播的场景中使用本发明,例如用声音或超声,或其它压缩波能量传输。因此,读者应该解释“光”覆盖所有上述形式,或许“信息携带传播器”是一个合适的较广的术语。如前所述,“场景”不需要表示一个物理事情或图片。
后面接着是附录1和附录2,前者是词汇表,后者是参考文献表,请读者在分析本专利申请前阅读这些参考。
                 附录1
       在本专利申请中使用的术语和略称
模式识别是用以说明识别在场景中的一个参考物体是否存在的处理的术语。
场景图像和参考物体可以是实际的事情,诸如排在一个队列(场景)中的汽车(物体),或可以是较抽象的数量,诸如数据阵列甚至一个数据串。为简单起见,它们总是称为场景图像和参考物体。
综合判别式函数是参考数据的有效组合,例如汽车的侧面和正面的组合。用其减少识别场景中一个物体存在需要的参考的数目。
常常提到文字光电变换器-这些通常是摄像机或检测器阵列。
常常提到文字电光变换器-这些通常指的是使用SLM,空间光调制器。在文本中作为例子说明的SLM总是像素化设备,亦即包括单个调制元件的阵列。存在多种类型的SLM。最普通的设备使用液晶或微型机械元件作为光调制设备。
SLM可以以多种方式操作,例如以透射方式或以反射方式。在文本中为简单起见我们总是指工作在透射方式下的SLM。应该理解,SLM稍微修改一下结构也可以用于反射方式,也打算对此保护。
在SLM上显示的模式称为掩码。
在所说明的系统中,一个透镜常常形成掩码模式的傅立叶变换,该输出在透镜的后焦点平面内被监视。这形成相关器的输出(模式)。然而,我们常常指这为聚焦,因为在相关处理中当查找的参考物体在场景中存在时光被聚焦以形成输出焦点平面内的一个相关尖峰。
理想地,在傅立叶变换和逆傅立叶变换之间有差别,但是这一差别没有实际的重要性,所有变换这里都称为傅立叶变换。相似地,术语傅立叶变换用于覆盖密切相关的变换,诸如余弦变换。
在参考物体和场景之间的相关的处理可以在空间频域上执行。在这一处理中的第一步骤是用一个的傅立叶变换的复共轭乘另一个的傅立叶变换。(第二步骤是取该乘积的逆傅立叶变换。)在仅相位数据的场合,在第一步骤中,只必需计算相位差。在仅有二进制相位数据的场合,这一点最容易通过一个XOR逻辑操作实现。在文本中,“组合的”应该在这一意义上理解。
文本中说明的模式从物体或场景的傅立叶变换产生。
一个场景中的物体的位置由坐标(x,y)定义。
线性调频脉冲波形是具有恒定振幅和线性变化频率的模拟波形。对这一点的二维二进制光学近似是一个相位反转区域平透镜。为简化起见,在文本中我们称这为区域平透镜。
在要求权利的多种结构中,包括一个区域平透镜,常常与一个常规玻璃透镜结合。除非专门提到,可以假定该区域平透镜在操作说明中没出现。在这一场合,相关器输出总是取自实玻璃透镜的后焦点平面。
我们常提到“智能”SLM。这应该理解为这样一种设备,其中,透射的(或反射的)光强度由入射光强度通过一个施加的电压的媒介决定。该电压可以施加到邻近个别光检测器的像素上。
                 附录2
参考文献
1.J.W.Goodman,″傅立叶光学简介″,McGraw-Hill公司,第二版,第9页(1996)
2.A Vander Lugt,″通过复数空间滤波的信号检测″,IEEE Trans.Inf.Theory IT-10,139-145页(1964)
3.J.W.Goodman,″傅立叶光学简介″,McGraw-Hill公司,第二版,第237页(1996)
4.A.J.Seeds,″量子井和激光:光电子系统中的新应用″,第5届光电子学会(94年12月)文摘,448-449页(1994)
5.J.L.Horner,P.D.Gianino,″仅有相匹配的滤波″,Appl.Opt.23,812-816页(1984)
6.D.Psaltis,E.G.Paek,S.S.Venkatesh″光学图形与二进制空间调制器相关″,Opt.Eng 23,698-704页(1994)
7.W.A Crossland,T.D.Wilkinson,T.M.Coker,T.C.B.Yu,M.Stanley,″快速位平面SLM:高产量和低成本的硅空间光调制器上的新的铁电子液晶″OSA TOPS 14(空间光调制器),102-106页(1997)
8.W.A Crossland,T.D.Wilkinson,T.M.Coker,A.B.Davey,T.C.B.Yu,″高产量和低成本的硅空间光调制器上的新的铁电子液晶:快速位平面SLM″,铁电子213,219-223页(1988)
9.S.Vallmitjana,S.Bosch,I.Juvells,D.Ros,″新型多匹配滤波器:设计和试验实施″,Appl.Opt.25,4473-4475页(1986)
10.M.A.A.Neil,E.G.S.Paige,″阻断2级二进制傅立叶全息图的反向对称″,处理全息系统,装置和应用,Neuchatel,(1993).
11.G.Y.Yates,R.A.Gallegos,T.E.McDonald,F.J.Zutavern,W.D.Helgesen,G.M.Loubriel,″近场目标识别的范围门限图形″,Proc.SPE 2869,374-385页(1997)
12.J.L.de Bougrenet de a Tocnaye,E.Quemener,Y.Petillot,″复合对多通道仅有二进制相的滤波器″,Appl.Opt.36,6646-6653页(1997).
13.B.J.Pernick,″用于光学相关器的仅有相和仅有二进制相空间滤波器:调查″,Opt.& Laser Technol.23 273-282页(1991)。
14.W.A.Crossland,M.J.Birch,AB.Davey,and D.G.Vass″用于智能空间光调制器的铁电子液晶/硅VCSI主干技术″IEEColloquium″二维光电子识别阵列″1991年10月。

Claims (59)

1.一种检测在场景中的一种已知预定类型的一个或者多个图像存在的装置,包括:用于摄取相应于一个场景的场景的摄像机;第一处理器备,用于产生一个相应于该场景图像至少一部分的傅立叶变换的场景模式,用于存储一个或者多个参考模式的存储设备,每一参考模式包括各参考图像的傅立叶变换;第二处理器,它用于电子组合场景模式与一个参考模式以产生一个组合模式;和空间光调制器,它用于显示所述组合模式;:至少两个光发射设备,每一光发射设备被设置成在空间光调制器的一侧从不同位置照射所述空间光调制器;一个控制器,它用于控制每一光发射设备的顺序照射;和一个与至少两个空间光发射设备相比位于所述空间光调制器的另一侧的输出检测器,用于接收经过空间光调制器调制的光。
2.根据权利要求1的装置,其中,在光发射设备和检测器之间提供一个具有聚焦功率的光学元件。
3.根据权利要求2的装置,其中,光学元件是一个透镜或镜子。
4.根据权利要求2的装置,其中,在空间光调制器和检测器之间提供所述光学元件。
5.根据权利要求2到4中任何一个权利要求的装置,其中提供一个另外的具有聚焦功率光学元件,一个光学元件在光发射设备和空间光调制器之间提供来校准在其中通过的光,而其它光学元件在空间光调制器和检测器之间来将由所述空间光调制器调制的光聚焦到所述检测器上。
6.根据权利要求1的装置,其中,检测器阵列包括至少一行检测器。
7.根据权利要求1的装置,其中,有一个具有纵向的检测器阵列,其中,光发射设备安排在基本在正交检测器阵列纵向延伸的一行内。
8.根据权利要求1的装置,其中,一个光发射设备阵列与通过空间光调制器的中心的光轴基本正交对准。
9.根据权利要求1的装置,其中,在光发射设备和空间光调制器之间提供一个对准透镜。
10.根据权利要求1的装置,其中,在光发射设备和空间光调制器之间提供一个极化器。
11.根据权利要求1的装置,其中,极化器形成空间光调制器的一部分。
12.根据权利要求1的装置,其中,光发射设备包括以下类别中的一个设备:激光器、激光二极管。
13.根据权利要求1的装置,使它用于在使用时只有一个光发射设备在任何时刻发射光束。
14.根据权利要求7或8的装置,其中,所述设备阵列包括一个VCSEL阵列。
15.根据权利要求1的装置,其中,检测器包括一个检测器元件阵列。
16.根据权利要求1的装置,其中,检测器包括一行或多行检测器元件的一个线性阵列。
17.  根据权利要求1的装置,其中,有一个光发射设备的线性阵列和一个线性输出检测器阵列,其中,交叉所述阵列,使得在使用时从光发射设备阵列的光发射设备来的光可以扫描空间光调制器和建立一个遍历输出检测器的等价的光输出系列。
18.根据权利要求1的装置,其中,从下表选择空间光调制器:透射设备、反射设备。
19.根据权利要求1的装置,其中,空间光调制器是一个二进制设备。
20.根据权利要求1的装置,其中,在检测器阵列前提供一个门限设备,该门限设备允许光到达检测器或检测器阵列,如果光的强度超过一个预定的阈值的话。
21.根据权利要求1的装置,其中有具有一个光轴的透镜或其它聚焦光学元件,还有一个光发射设备的线性阵列,其基本正交于该光轴,其中,有一个检测器阵列,其基本正交于光轴和光发射设备线性阵列的行两者。
22.根据权利要求1的装置,其中有一个具有至少一行检测器的检测器阵列,其中,为在它们行中相对侧交替配置的检测器阵列行中的逐个检测器提供读出电路。
23.根据权利要求22的装置,其中,在检测器阵列中有单一检测器行。
24.根据权利要求23的装置,其中,在一行中至少有3个光发射设备。
25.根据权利要求24的装置,其中,使控制器用于以在行中依次顺序照射下一相邻光发射设备。
26.根据权利要求1的装置,其中,以一个阵列提供光发射设备。
27.一种检测在场景中的一种已知预定类型的一个或者多个图像存在的方法,包括步骤:产生一个相应于至少一部分场景的图像场景;处理至少一部分摄取的图像场景以产生一个相应于该摄取的场景图像的傅立叶变换的场景模式;电子组合该场景模式与至少一个相应于一个参考物体的傅立叶变换的参考模式以产生一个组合模式;和在一个空间光调制器上显示所述组合模式;该方法另外包括提供至少两个光发射设备来从不同位置照射空间光调制器该方法另外包括控制这些设备使得每一设备被高效顺序照射以移动光束源的步骤;和在包含要被监视的光学模式的平面内提供至少一个检测器设备,从而控制设备扫描跨越检测器设备上的2维模式。
28.根据权利要求27的方法,其中,在该系统中提供一个透镜、镜子或其它聚焦光学元件,和光发射设备位于相对于该光学元件的光轴的不同位置。
29.根据权利要求27的方法,其中,有一行多于两个光发射设备,下一相邻光发射设备沿该行依次被照射。
30.一个光学组件,包括:一个空间光调制器;至少两个光发射设备,所述光发射设备被设置在空间光调制器的一侧来从不同位置照射所述空间光调制器;一个控制器,它用于控制每一设备顺序照明;和一个输出检测器,用于接收来自至少两个光发射设备的经空间光调制器调制的光。
31.根据权利要求30的光学组件,其中,在光发射设备和检测器之间提供一个具有聚焦功率的光学元件。
32.根据权利要求31的光学组件,其中,光学元件是一个透镜或镜子。
33.根据权利要求31或权利要求32的光学组件,其中,在空间光调制器和检测器之间提供所述光学元件。
34.根据权利要求31的光学组件,其中,提供另外一个具有聚焦功率的光学元件,一个光学元件在光发射设备和空间光调制器之间提供来校准在其中通过的光,而其它光发射元件在空间光调制器和检测器之间提供来将由所述空间光调制器调制的光聚焦到所述检测器上。
35.根据权利要求30的光学组件,其中,检测器包括至少一行检测器元件。
36.根据权利要求30的光学组件,其中,有一个具有纵向的检测器阵列,其中,光发射设备安排在基本在正交检测器阵列纵向延伸的一行内。
37.根据权利要求30的光学组件,其中,一个光发射设备阵列与通过空间光调制器的中心的光轴基本正交对准。
38.根据权利要求30的光学组件,其中,在光发射设备和空间光调制器之间提供一个对准透镜。
39.根据权利要求30的光学组件,其中,在光发射设备和空间光调制器之间提供一个极化器。
40.根据权利要求30的光学组件,其中,极化器形成空间光调制器的一部分。
41.根据权利要求30的光学组件,其中,光发射设备包括以下类别中的一个设备:激光器、激光二极管。
42.根据权利要求30的光学组件,使它用于在使用时只有一个光发射设备在任何时刻发射光束。
43.根据权利要求30的光学组件,其中,所述设备阵列包括一个VCSEL阵列。
44.根据权利要求30的光学组件,其中,所述检测器包括一个检测器元件阵列。
45.根据权利要求44的光学组件,其中,所述检测器包括一行或多行检测器元件的一个线性阵列。
46.根据权利要求30的光学组件,其中,有一个光发射设备的线性阵列和一个线性输出检测器阵列,其中,交叉所述阵列,使得在使用时从光发射设备阵列的光发射设备来的光可以扫描空间光调制器和建立一个遍历输出检测器的等价的光输出系列。
47.根据权利要求30的光学组件,其中,从下表选择空间光调制器:透射设备、反射设备。
48.根据权利要求30的光学组件,其中,空间光调制器是一个二进制设备。
49.根据权利要求30的光学组件,其中,在检测器阵列前提供一个门限设备,该门限设备允许光到达检测器或检测器阵列,如果光的强度超过一个预定的阈值的话。
50.根据权利要求30的光学组件,其中有具有一个光轴的透镜或其它聚焦光学元件,还有一个光发射设备的线性阵列,其基本正交于该光轴,其中,有一个检测器阵列,其基本正交于光轴和光发射设备线性阵列的行两者。
51.根据权利要求30的光学组件,其中有一个具有至少一行检测器的检测器阵列,其中,为在它们行中相对侧交替配置的检测器阵列行中的逐个检测器提供读出电路。
52.根据权利要求30的光学组件,其中,在检测器阵列中有单一行检测器。
53.根据权利要求52的光学组件,其中,在一行中至少有3个光发射设备。
54.根据权利要求53的光学组件,其中,使控制器用于以在行中依次的顺序照射下一相邻光发射设备。
55.结合按照权利要求30的光学组件的模式识别相关装置。
56.一种迅速读取一个2维光学模式的方法,该方法包括:显示将被读取的模式;提供至少两个光发射设备,该至少两个光发射设备设置成从不同方向照射所述模式;提供至少一个检测器设备,用于接收由至少两个光发射设备发射的已经被要被监视的模式调制的光;并且顺序地照射光发射设备以便移动照射模式的光源,由此将光通过所述模式的不同部分到达检测器。
57.根据权利要求56的方法,其中,在所述系统中提供一个透镜、镜子或其它聚焦光学元件,和光发射设备位于相对于该光学元件的光轴的不同位置。
58.根据权利要求56的方法,其中,提供一个空间光调制器,并将其驱动以显示相应于一个场景模式和一个参考模式的傅立叶变换的至少一个组合的模式。
59.根据权利要求56的方法,其中,有一行多于两个光发射设备,下一相邻光发射设备沿该行依次被照射。
CNB988143313A 1998-09-24 1998-09-24 检测图像存在的装置和方法、光学组件和读取光学模式的方法 Expired - Fee Related CN1133952C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/GB1998/002876 WO2000017809A1 (en) 1998-09-24 1998-09-24 Improvements relating to pattern recognition

Publications (2)

Publication Number Publication Date
CN1322328A CN1322328A (zh) 2001-11-14
CN1133952C true CN1133952C (zh) 2004-01-07

Family

ID=10826798

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB988143313A Expired - Fee Related CN1133952C (zh) 1998-09-24 1998-09-24 检测图像存在的装置和方法、光学组件和读取光学模式的方法

Country Status (11)

Country Link
US (1) US7067784B1 (zh)
EP (2) EP1116169B1 (zh)
JP (2) JP4197844B2 (zh)
CN (1) CN1133952C (zh)
AT (2) ATE246380T1 (zh)
AU (2) AU9176398A (zh)
CA (2) CA2345262A1 (zh)
DE (2) DE69816876T2 (zh)
MX (1) MXPA01003035A (zh)
NO (1) NO20011519L (zh)
WO (2) WO2000017809A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122595A1 (en) * 1999-06-04 2002-09-05 Rikk Crill Apparatus and method for radial and angular or rotational analysis of images for shape content and matching
US7103223B2 (en) 2000-03-27 2006-09-05 Look Dynamics, Inc. Apparatus and method for radial and angular or rotational analysis or images for shape content and matching
CA2349828A1 (en) * 2001-06-06 2002-12-06 Andrew M. Zador Method, apparatus, and system for extracting denoised, high-resolution images, texture, and velocity from a lower-resolution, noisy detector
IL174590A (en) * 2005-03-29 2015-03-31 Yoel Arieli A method and an imaging system for the analysis of optical properties of an object illuminated by a light source
US7634771B2 (en) * 2005-04-29 2009-12-15 Sap (Ag) Object generation in packages
GB0510470D0 (en) 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
GB2434934A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Processing coded aperture image data by applying weightings to aperture functions and data frames
GB2434877A (en) 2006-02-06 2007-08-08 Qinetiq Ltd MOEMS optical modulator
GB0602380D0 (en) 2006-02-06 2006-03-15 Qinetiq Ltd Imaging system
GB2434935A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imager using reference object to form decoding pattern
GB2434937A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imaging apparatus performing image enhancement
GB2434936A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Imaging system having plural distinct coded aperture arrays at different mask locations
GB0615040D0 (en) 2006-07-28 2006-09-06 Qinetiq Ltd Processing method for coded apperture sensor
US8692974B2 (en) * 2007-06-14 2014-04-08 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method using pupil filling by telecentricity control
US8189172B2 (en) * 2007-06-14 2012-05-29 Asml Netherlands B.V. Lithographic apparatus and method
US7988297B2 (en) 2007-10-19 2011-08-02 Look Dynamics, Inc. Non-rigidly coupled, overlapping, non-feedback, optical systems for spatial filtering of fourier transform optical patterns and image shape content characterization
CA2725377A1 (en) * 2008-09-08 2010-03-11 Ned M. Ahdoot Digital video filter and image processing
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP5515848B2 (ja) * 2010-02-24 2014-06-11 大日本印刷株式会社 光学素子およびその製造方法
EP3211299A1 (en) * 2012-10-24 2017-08-30 SeeReal Technologies S.A. Illumination device
US9110240B2 (en) * 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
US10591870B2 (en) 2014-05-01 2020-03-17 Celloptic, Inc. Birefringent lens interferometer for use in microscopy and other applications
CN104091977B (zh) * 2014-05-06 2016-06-15 无锡日联科技股份有限公司 卷绕锂离子电池的检测方法
US10284825B2 (en) 2015-09-08 2019-05-07 Rambus Inc. Systems with integrated refractive and diffractive optics
WO2017169656A1 (ja) * 2016-03-31 2017-10-05 パナソニックIpマネジメント株式会社 撮像装置
JP2019515354A (ja) * 2016-05-06 2019-06-06 セルオプティック、インコーポレイテッドCelloptic, Inc. 顕微鏡法及び他の応用例で使用するための複屈折レンズ干渉計
JP6721698B2 (ja) * 2016-09-26 2020-07-15 株式会社日立製作所 撮像装置
US10620447B2 (en) 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
US11410028B2 (en) 2017-09-20 2022-08-09 Look Dynamics, Inc. Photonic neural network system
US11665324B2 (en) * 2018-08-06 2023-05-30 University Of Maryland, College Park High fidelity configuration for two-photon SLM microscopy
WO2023139922A1 (ja) * 2022-01-20 2023-07-27 株式会社フジクラ 光演算装置及び光演算方法
CN116538949B (zh) * 2023-07-03 2023-09-15 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法
CN117593501B (zh) * 2023-11-24 2024-08-30 杭州隆硕科技有限公司 一种激光测距望远镜模式转换方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2282505A (en) * 1993-09-23 1995-04-05 Sharp Kk Three dimensional imaging apparatus

Also Published As

Publication number Publication date
WO2000017809A1 (en) 2000-03-30
AU9176398A (en) 2000-04-10
DE69816876T2 (de) 2004-04-22
US7067784B1 (en) 2006-06-27
CN1322328A (zh) 2001-11-14
EP1116170B1 (en) 2004-03-10
EP1116169B1 (en) 2003-07-30
ATE261602T1 (de) 2004-03-15
DE69915499T2 (de) 2005-02-03
CA2345262A1 (en) 2000-03-30
EP1116170A1 (en) 2001-07-18
DE69915499D1 (de) 2004-04-15
NO20011519L (no) 2001-05-25
ATE246380T1 (de) 2003-08-15
DE69816876D1 (de) 2003-09-04
MXPA01003035A (es) 2002-04-09
WO2000017810A1 (en) 2000-03-30
NO20011519D0 (no) 2001-03-23
JP2002525685A (ja) 2002-08-13
CA2345261A1 (en) 2000-03-30
JP4197844B2 (ja) 2008-12-17
JP2002525762A (ja) 2002-08-13
AU6209899A (en) 2000-04-10
EP1116169A1 (en) 2001-07-18

Similar Documents

Publication Publication Date Title
CN1133952C (zh) 检测图像存在的装置和方法、光学组件和读取光学模式的方法
CN1101056C (zh) 生成距景物距离的图象的方法和装置
US9852321B2 (en) Image capturing device
CN1238808C (zh) 识别与测量通过激光扫描通道的包的自动系统和方法
US8087587B2 (en) Dual laser aiming patterns for an imaging-based bar code reader
CN1844852A (zh) 生成景物的混合图象的方法
CN1448692A (zh) 位移传感器
US20070222756A1 (en) Optical mouse having an optical structure capable of high sensibility
US9046680B2 (en) Scanning illumination microscope
CN1234114A (zh) 用于分析井板、凝胶和斑点的数字成像系统
EP3674686B1 (en) Learning device, method, and program for discriminator
CN1412712A (zh) 特别在可携式仪器中的用于图像投影的电光组件
CN109739033A (zh) 一种无波前探测的液晶像差校正方法
US5544252A (en) Rangefinding/autofocusing device of joint transform correlation type and driving method thereof
US20240062025A1 (en) Asset verification system and methods of using same
EP2215503A2 (en) Multi-focal spot generator and multi-focal multi-spot scanning microscope
CN1842976A (zh) 信息接收装置、信息传输系统以及信息接收方法
US20080030874A1 (en) Negative spherical aberration component-based imaging lens assembly in imaging reader
Chao et al. Grayscale optical correlator
JP3451264B2 (ja) 空間統合スライド画像光相関器
CN201681045U (zh) 便携式无线传输图像显示型微生物快速检测探照灯
CN1220019A (zh) 用于从二维数据阵列中检索数据的校准方法和设备
RU2599357C2 (ru) Оптоволоконный фотосепаратор
Büchele Optimization of a single molecule fluorescence microscopy setup
Meier et al. Quantum Ghost Imaging without an Optical Delay Line for Non-Destructive Imaging of Water Content in Plants

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: JINNITICK CO., LTD.

Free format text: FORMER OWNER: ENGLAND MINISTRY OF NATIONAL DEFENCE

Effective date: 20041224

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20041224

Address after: London, England

Patentee after: Qinitik Co., Ltd.

Address before: England Hampshire

Patentee before: British Ministry of Defence

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040107