CN110573984A - 光学处理系统 - Google Patents

光学处理系统 Download PDF

Info

Publication number
CN110573984A
CN110573984A CN201880028760.XA CN201880028760A CN110573984A CN 110573984 A CN110573984 A CN 110573984A CN 201880028760 A CN201880028760 A CN 201880028760A CN 110573984 A CN110573984 A CN 110573984A
Authority
CN
China
Prior art keywords
optical
input
slm
filter
spatial light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880028760.XA
Other languages
English (en)
Other versions
CN110573984B (zh
Inventor
N·J·纽
R·J·托德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optalysys Ltd
Original Assignee
Optalysys Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optalysys Ltd filed Critical Optalysys Ltd
Publication of CN110573984A publication Critical patent/CN110573984A/zh
Application granted granted Critical
Publication of CN110573984B publication Critical patent/CN110573984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06EOPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06EOPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
    • G06E3/003Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements forming integrals of products, e.g. Fourier integrals, Laplace integrals, correlation integrals; for analysis or synthesis of functions using orthogonal functions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/144Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

一种将多个独立光学相关器并入一个系统中的方法。就“独立光学相关器”而言,我们意指包括输入SLM、滤波器SLM和相机的光学相关器,其与适当的相干照明和傅里叶变换透镜组合。就“一个系统”而言,我们意指多次利用每个独立相关器的元件的单个光学系统。

Description

光学处理系统
技术领域
本发明涉及光学处理。本发明的某些实施例涉及基于光学相关的处理系统和光学模式识别系统。
背景技术
在诸如光学相关器之类的相干处理系统中,激光或其他相干源通常被采用以通过一个或多个空间光调制器(SLM)设备以相位或振幅而被调制,或以相位和振幅的组合而被调制。这些通常包括液晶设备,但也可以是微镜微机电(MEMs)设备。光学相关器设备通常用作光学模式识别系统,诸如EP1546838(WO2004/029746)和EP1420322(W099/31563)中描述的系统。在4f匹配滤波器或联合变换相关器(JTC)系统中,用函数来对SLM设备寻址,所述函数通常基于要“匹配”到输入函数的参考函数/模式的傅里叶变换表示来表示输入或参考模式(其可以是图像)和/或滤波器模式。
诸如互补金属氧化物半导体(CMOS)或电荷耦合设备(CCD)传感器的相机通常位于光学系统的输出平面中以捕获所得到的光学强度分布,在光学相关器系统的情况下,所述光学强度分布可以包含标示输入和参考函数的相似性和相对对齐的局部相关强度。
在涉及现有技术和本发明二者的相干光学系统的类型中使用的最常见的函数是光学傅里叶变换(OFT)——将空间或时间分布分解成其频率分量。这类似于由以下等式标示的二维傅里叶变换的纯形式:
其中(x,y)表示空间/时间变量,并且(u,v)是频率变量。
OFT可通过图1中所示的光学系统来实现,其中由空间光调制器2(通常为液晶或机电MEMs阵列)在相位或振幅上调制波长为λ的准直相干光(通常为激光)1。然后经调制的波束穿过焦距为f的正会聚透镜3并聚焦在透镜的后焦平面中,其中诸如CMOS阵列4的检测器被定位成捕获所得到的傅里叶变换的强度。
在光学处理系统中,OFT可以被用作对基于电子/软件的快速傅里叶变换(FFT)族算法的直接替换,提供了在处理时间和分辨率方面的显著优势。该过程可以用作各种功能的基础。本申请中主要关注的函数是光学相关(在模式识别、比较或分析中使用)。
两个或更多个函数之间的相关可以用两种主要方式在光学系统中实现。第一种方式是匹配滤波器过程,其由以下等式标示:
r(x,y)*g(x,y)=FT[R(u,v)*×G(u,v)] (2)
其中大写函数表示它们的小写等同物的傅里叶变换;“*”指示相邻函数的复共轭,并且“*”表示相关函数。
实现相关的第二种方式是使用联合变换相关过程,诸如EP1546838(WO2004/029746)中描述的1/f JTC。
在每种情况下,相关性被形成为两个函数的乘积的逆傅里叶变换,这两个函数本身已经被傅里叶变换。
图2示出“4f”光学系统,其可以用于实现匹配滤波器或派生过程。图2示出了由SLM像素阵列6调制并且然后透射通过透镜7并聚焦在第二SLM像素阵列8上的波长为λ的准直相干光5,从而在第二SLM 8的像素处形成在第一SLM上显示的函数的OFT。然后通过透镜9对所得的光学矩阵乘法进行逆傅里叶变换,并且在检测器阵列10(其可以是相机)处捕获结果。
对于匹配滤波过程,由第一SLM 6的像素显示的模式将是“输入场景”g(x,y),并且在第二SLM 8上显示的模式将表示参考函数r(x,y)的傅里叶变换的版本。例如,“输入场景”或输入数据可以是特定个体的要针对参考图像或一系列图像,诸如各种疾病的DNA数据,进行匹配的DNA数据。由检测器阵列10捕获的输出数据突出了正被匹配的两组DNA数据之间的匹配,包括匹配和对齐的水平。
WO00522563和EP1004954各自描述了多个光学相关器的使用。
与现有技术相比,本发明的实施例提供改进的光学处理。
发明内容
在第一方面,提供了一种包括两个或更多个光学相关器的光学处理系统,每个相关器包括光学输入空间光调制设备和滤波器空间光调制设备,其中,在使用中,系统接收在系统内形成多个光学路径的光学输入,每个光学路径从每个输入空间光调制设备直到每个滤波器空间光调制设备。
换句话说,光学处理系统包括共享相同光学硬件的多个光学相关器(输入SLM、滤波器SLM和具有适当光学器件的相机),以便允许光学硬件沿着通过系统的多个光学路径的重用,从而增加有效光学相关器的数目。
例如,SLM可以是二元SLM。
提供了将多个独立的光学相关器并入一个系统中的方法。就“独立光学相关器”而言,我们意指本领域已知的光学相关器,包括输入SLM、与适当相干照明结合的滤波器SLM和傅里叶变换透镜。就“一个系统”而言,我们意指单个光学系统,其跨不同的独立相关器多次利用每个独立相关器的元件,以便通过“重用”相同的光学硬件来实现更高的性能。每个相关器的光学输出被例如相机检测,所述相机包括在所述“一个系统”中。
因此,根据本发明的“一个系统”在单个光学相关器本身内实现了多个光学路径,而不需要多个光学相关器。
例如,具有两个输入SLM和两个滤波器SLM的系统可以被配置为使得存在通过光学系统的四个光学路径,从每个输入SLM直到每个滤波器SLM。这样,利用两个独立相关器所需的光学硬件,可以实现四个独立相关器。类似地,利用四个输入SLM和四个滤波器SLM,存在通过适当配置的系统可能的16个独立的光学路径。这样,利用四个独立相关器所需的光学硬件,可以实现16个独立相关器。单个相机传感器或多个相机传感器可以适当地配置在输出平面中。
例如,波束分离元件被配置为将光学输入分离到两个正交方向,且其中所述空间光调制器设备中的两个彼此正交。在一些实施例中,波束分离元件是例如由玻璃制成的“实体块”元件。
有利地,光学相关器系统可以是模块化的。就“模块化”而言,我们意指具有一个或多个“模块”的系统,所述一个或多个“模块”可以被有利地添加以根据需要扩展所述“一个系统”,而不需要本领域已知的使用多个光学相关器。在包括在单个相机传感器上产生相关峰的多个输入SLM和滤波器SLM的模块化光学相关器系统中,提供了用于确定哪个输入SLM和滤波器SLM对应于给定相关峰的方法。这些方法以使用数据的符号表示为基础,使得数据的“覆盖区(footprint)”被定义。例如,1D数据可以跨输入SLM上高度为多个像素的行编码。该行内的相关峰的相对位置是确定性的。
第一,为了确定哪个输入SLM对应于给定的相关峰,可以使用多种方法。在第一种情况下,输入图像在空间上跨SLM移位。这导致相关峰中的对应移位。相关峰的位置可以基于斑点相对于输入参考的位置而与特定输入SLM相关。在第二种情况下,波束分离器被用于在距最终透镜不同的光学路径距离处跨多个相机传感器分离输出。输入SLM沿着光学路径被对应地移位,使得每个相机在一个SLM的图像平面中。因此,峰值将出现在多个相机中的一个上,唯一地对应于输入SLM中的一个。
第二,为了确定哪个滤波器SLM对应于给定的相关峰,可以使用多种方法。在第一种情况下,滤波器SLM具有引入的小倾斜,其对应地平移相关斑点的位置。在第二种情况下,当给定的滤波器被创建时,它与特定的相位-倾斜相组合,以便在任何相关峰上施加已知的平移。可使用相对于输入SLM上的数据的覆盖区的相关斑点的已知平移来唯一地确定给定相关峰是归因于哪个滤波器SLM。
因此,在附属方面中,提供了以下系统:
如以上所描述的系统,其中可以确定对应于观察到的相关峰的特定输入和滤波器SLM对。
如以上所描述的系统,由此,对应于给定相关峰的输入SLM由相关峰的位置、取决于跨输入SLM的数据的平移来确定。
如以上所描述的系统,由此,对应于给定相关峰的输入SLM由沿波束移位的多个相机传感器中给定峰值出现在其上的那个相机传感器确定,其中输入SLM对应于相机而移位。
如以上所描述的系统,由此,对应于给定相关峰的滤波器SLM由相关峰的位置、取决于引入到滤波器SLM中的倾斜来确定,所述倾斜导致相关斑点相对于输入SLM上所示的符号的对应移位。
如以上所描述的系统,由此,对应于给定相关峰的滤波器SLM由相关峰的位置、取决于在计算适当的滤波器时引入的移位来确定,所述移位诸如由在进行快速傅里叶变换之前平移符号而引入。
如以上所描述的系统,由此,对应于给定相关峰的滤波器SLM由相关峰的位置、取决于在计算适当的滤波器时引入的移位来确定,所述移位诸如由向滤波器应用相位-斜坡而引入。
在另一个方面,提供了一种识别诸如基因序列的序列的方法,该方法包括以下步骤:
·接收序列输入数据;
·将所述输入数据转换为多个二元符号以获得二元或灰度图,其中二元或灰度符号在宽度上具有预定大小m个像素且在长度上具有n个像素;以及
·对所述二元或灰度图进行光学处理以识别序列。
识别序列的该方法可由基于光学相关的处理系统或使用如上文所描述的任何系统的协处理器来采用。有利地,这导致比现有技术中能够实现的快得多的序列识别。就协处理器而言,我们意指适合于补充主处理器的功能的系统,诸如常规CPU。有利地,这导致增强的高性能计算(HPC),其表示相对于现有技术的显著改进。
在附属方面,基因数据可以通过传达底层数据结构的其他方法来表示。例如,数据可以被表示为图,该图然后被SLM用于将信息编码到光学场中。
在附属方面,这些技术可以应用于除了基因数据之外的数据集。例如,可以使用这些技术来表示并且然后搜索任何有序或基于串的数据。将意识到的是,这些技术不是仅适用于基因数据,而是可以应用于任何1D数字数据流。
附图说明
图1是从申请人自己的现有技术得出的光学路径图;
图2是示出已知“4f”光学系统的另一光学路径图;
图3示出了根据本发明的使用两个输入SLM和两个输出SLM的模块化系统;
图4示出了根据本发明的使用四个输入SLM和四个输出(即,滤波器)SLM的模块化系统;
图5示出了来自具有系统模块的两个输入SLM的系统的测试数据,其中一个输入SLM数据在x方向上移位一个像素;
图6示出了与图3中示出的系统类似的布局,其中添加了第二CMOS传感器和波束分离器;
图7示出了来自图6中所示的双相机系统的两个相关平面;
图8示出了根据本发明的使用模块化系统的光学协处理器;
图9示出了展开的(无反射镜或波束分离器)光学系统和这样的过程,通过所述过程可以将输入SLM和对应的相机移位以便引起相关峰在其中形成的平面的分隔,从而允许辨别对应的输入SLM;
图10示出了系统可以如何被设计为使得给定的相机像素子集上的斑点对应于由于在不同的滤波器SLM上显示的滤波器而引起的相关;
图11示出了基因组测序应用中的TGAC“读”串及其对二元过滤器输入的转换;
图12示出了被转换为二元符号的各个TGAC基本字符;以及
图13示出了两个符号之间的示例性相关图。
具体实施方式
图3示出了根据本发明可以如何实现具有两个输入SLM和两个滤波器SLM的系统的实施例。图3的系统基于经典“4f”架构,但是具有重要的差异。
波长为λ的相干光从激光源11发射,并通过准直透镜12传输到第一模块100。在一些实施例中,激光通过单模光纤被递送到系统。第一模块100包括两个反射输入SLM 13、14和第一波束分离器15。每一个SLM可以是像素阵列,诸如液晶阵列或MEMs像素阵列。在一些实施例中,SLM包括包含几百万个像素的高分辨率像素阵列。阵列内布置的是输入场景g(x,y)。
该方案可以与实体块方案组合。在该示例中,波束分离器是立方体形式的实体块。两个输入SLM 13、14使用光学粘合剂接合,或者充分相邻于波束分离器的侧面,使得它们被定位为彼此正交并且光学上被定位为彼此一致。波束分离器由两个玻璃棱镜15a、15b形成。在优选实施例中,玻璃棱镜由相同折射率的相同玻璃形成,在它们界面处具有部分反射涂层(例如,半镀银镜或其他适当涂层)。波束分离器15优选地将光均匀地分离到两个正交方向,使得波束分离器接收的进入光以相等的比例被传输到第一和第二输入SLM。将意识到的是,光被分离成的比例不必是每输入SLM 50%,而是比例可以改变,只要两个输入SLM都接收到一些光发射即可。当更多的模块被添加到系统中时,为了使光在光学模块之间均匀分布,光的比例会被刻意地改变。
来自第一模块的输出通过透镜16传输并聚焦在包括两个滤波器SLM 17、18和第二波束分离器19的第二模块200上。在该示例中,第二模块与第一模块100基本相同。特别地,第二波束分离器与第一波束分离器基本相同——即由具有部分反射涂层的两个玻璃棱镜19a、19b形成的实体块。
第二模块200的滤波器SLM 17、18各自接收在第一SLM上显示的函数的OFT(光学傅里叶变换)。每个滤波器SLM可以是像素阵列,诸如液晶阵列或MEMs像素阵列。在一些实施例中,SLM包括包含几百万个像素的高分辨率像素阵列。布置在阵列内的是滤波器场景R(x,y)。滤波器场景可以是要针对输入场景匹配的一个或多个参考图像的傅里叶变换(只要SLM的调制范围允许这被示出,并且做出对该限制的考虑)。在实践中,这可以是一系列参考图像,诸如从DNA序列得出的图像。结果通过透镜20被聚焦,并且结果在检测器(在这种情况下为数码相机21)处被捕获。透镜16和20优选地在适当的平面处产生相应进入波束的傅里叶变换。激光器11和相机21也可以以与SLM接合到波束分离器的方式类似的方式接合到玻璃。匹配被示为由相机检测到的斑点,诸如图5中所示的那些。
因此,图3示出了包括光学输入、至少一个光学处理模块和检测元件的模块化光学处理系统;其中至少一个光学处理模块包括两个或更多个空间光调制器设备和用于分离光学输入且将光学输入传输到所述两个或更多个空间光调制器设备的波束分离元件。
就“模块化”而言,我们意指具有一个或多个“模块”的系统,所述一个或多个“模块”可以被有利地添加以根据需要扩展系统。因此,模块化方案使得光学系统能够被扩展,例如,添加另外的输入或滤波器SLM。“模块”包括两个或更多个空间光调制器设备(SLM)和波束分离元件。系统的模块性也增加了鲁棒性。
例如,模块具有至少一个输入SLM和至少一个滤波器SLM。在优选实施例中,模块可以包括两个或更多个输入SLM。有利地,通过包括两组输入数据,处理速度加倍。将意识到的是,可以通过根据需要包括另外的傅里叶变换透镜和附加模块来扩展光学系统。
波束分离元件可被配置为将光学输入分离到两个正交方向,且其中所述空间光调制器设备中的两个彼此正交。立方体形状使得模块能够以“实体块”或“实体光学器件”方案来构建。其还使得各种电-光组件(诸如激光器、SLM的光学输入,诸如相机的检测元件)能够被接合到玻璃,因此减少或消除了进入系统的局部振动和颗粒,因此改进了系统的准确度。实体块方案是有利的,因为它能够实现系统的模块化方面,同时提供具有很少振动并且因此提供更准确和精确的光学处理的鲁棒系统。就“实体”块而言,我们意指玻璃或其他合适材料的块,其中光行进通过所述材料(而不是空气)。
该方案有利地使得光学系统能够被扩展,当附加光学硬件被并入时,包括具有另外的输入和滤波器SLM的附加模块,获得性能的二次增加。图4是示出系统可以如何被扩展的透视图。特别地,图4的系统110使用四个输入SLM(每个模块300、400两个)和四个滤波器SLM(每个模块500、600两个)。在此示例中,分别使用三个波束分离器40及41将光引导到输入/滤波SLM。为了简单起见,该图没有示出除了激光输入之外还可以用于实现傅里叶变换的每个透镜。
在图4中,在50处示意性地表示激光源,并且在60处示出相机。来自多个光学源的多个光束也可以根据系统的需要被使用和组合。在激光源、SLM模块和相机之间,系统包括由引导光学路径的实体块51、52和53形成的实体玻璃组装件。实体块53包括或可自身构成傅里叶变换透镜,其中产生进入波束的傅里叶变换。类似地,实体块52可被配置为执行傅里叶逆变换。
图4的系统有效地包括16个光学相关器路径,从四个输入中的每一个到四个滤波器中的每一个。这说明了光学硬件的有效利用。对该方案的扩展是可能的:并入附加的SLM以进一步缩放处理吞吐量并增加有效的独立相关器的数量。
通过系统投射的激光表示信息载体。信息或输入数据,例如基因组序列或其他模式,被呈现给两个或更多个输入SLM。稍后讨论的输入数据的编码定义了相关峰可在其内发生的覆盖区。输入数据在该覆盖区内的位置可以用于确定对应的峰值对应于哪个光学相关器路径。
在优选实施例中,输入数据和/或滤波器数据可以在x或y方向上移位,特别是相对于其他输入SLM移位。这可以是硬件位移、控制电子设备或应用于特定SLM的其他编程路由的结果。对于第二、第三和另外的SLM的输入场景中的每一个,移位可以是在x或y方向上的如n个像素的移位。在一个实际实施例中,移位可以是对二元片段的移位,第二个SLM为+1,第三个SLM为+2,第四个SLM为+3。结合四个滤波器输入SLM操作的四输入SLM配置,允许在某些实施例中16个唯一配对被并发处理。
图5示出了由具有系统模块的两个输入SLM的系统中的相机接收的测试数据,其中一个输入SLM数据相对于另一个输入SLM数据在x方向上移位一个像素。有效地,这导致“双输入”,其具有来自多个SLM的输入数据的空间分隔以便确立已经从哪个输入SLM获得作为结果的相关峰。图5中所示的强度峰值是输入场景和滤波器场景之间的匹配的示例。在实施例中,当两个输入SLM与单个滤波器SLM并发使用时,这在允许结果被区分方面也是有利的。在替代实施例中,数据在y方向上移位。在另外的实施例中,参考数据串或场景可以在y方向上在滤波器SLM中移位。该移位可以是y方向上的n个像素。对于SLM中的每一个,n可以是不同的整数。例如,对于y方向上的第二滤波器SLM,n可以是+1,对于y方向上的第三滤波器SLM,n可以是+2,并且对于y方向上的第四滤波器SLM,n可以是+3。
在一个实施例中,由两个滤波器SLM引起的相关峰可以移位(在x或y方向上)。在一种情况下,这是通过在SLM之一中引入小倾斜来实现的。在替代实施例中,在基于FFT(快速傅里叶变换)的滤波器生成计算之前,来自一个SLM的滤波器数据在y方向上移位多个像素。在另外的替代实施例中,在FFT滤波器计算之后应用相位-倾斜。图10示出了可以如何通过相对于输入数据上的底层符号并入适当的移位来分配不同的相机像素以对应于不同的滤波器。
在诸如图4的系统(其使用4个输入SLM)的使用多个输入SLM的系统中,可以使用用于SLM中的一个或全部的软件来移位数据,使得优选地,每个输入在空间上不同于其他输入(对于每个输入存在“个性化”)。这避免了批量处理,并且因此提供了快得多和高效的处理。查看最终由相机接收的精确像素位置,因此可以确定相关强度源自哪个输入SLM和滤波器SLM配对。由相机传感器接收的图像可以被划分成不同SLM和滤波器之间的可识别的配对行和列,并且数据的移位有助于确立哪个输入滤波器配对产生了该匹配。在优选实施例中,相机中的像素可归因于特定的输入-滤波器配对。因此,2输入、2滤波器SLM系统可用于有效地产生与四个1输入、1滤波器相关器(每个输入场景针对2个滤波器被处理)相同的结果——但使用相同的光学系统。如图4所示,可通过向系统添加另外的输入和滤波器SLM来进一步增加该性能,其中4个输入SLM和4个滤波器SLM用于产生16个独立相关器系统的等效性能(4个输入中的每一个与4个滤波器相关),这些SLM全部在一个光学系统内。
在图6中示出了通过单个光学系统实现多个相关过程的替代方法。这是与图3中所示的4-f系统类似的布局,其中添加了第二CMOS传感器501和波束分离器502。如在图3中那样,在系统中存在两个输入和两个滤波器SLM,其再次与单个光学系统一起使用以如四个独立相关器系统那样执行。然而,在这种情况下,涉及第一输入503和两个滤波器505、506的配对的相关图像平面被物理地移位。这通过使输入SLM 503和相机502沿着其光学路径(由虚线标示)位移距离Δz来实现。输入SLM 503和相机502之间的光学路径长度保持不变。图9示出了“展开的”这种相同的光学系统,以便去除镜和波束分离器并且平行地表示通过系统的光学路径。
使输入图像平面沿着波束位移Δz具有在相反方向将系统的所得傅里叶变换平面位移相同距离(或在傅里叶变换系统中具有光学缩放的系统的情况下,位移适当缩放的距离)的直接效果。因此,与第一输入场景有关的相关平面不再与和第二输入场景有关的相关平面重合。因此,相机传感器502也被相应地位移距离Δz。因此,可以在第一相机508上看到与第一输入有关的相关强度,并且可以在第二相机501上看到与第二输入和滤波器有关的相关强度。将另外的输入和滤波器SLM添加到系统(例如,如图4所示的系统中布置的输入和滤波器SLM)允许该方法被扩展,使得可以在单个光学系统的界限内产生更不重合的相关平面。
这可以在图7中看到,图7示出了来自图6中所示的双相机系统的两个相关平面。两个图像包含相同的相关斑点的栅格,其涉及在输入中显示的函数的多个等间隔的重复与两个滤波器SLM中表示的对应函数的配对。两个斑点之间的平移是通过将一个滤波器SLM相对于另一个稍微倾斜而引入的。不同相机传感器上的斑点的出现归因于相机传感器和输入SLM沿着波束的移位,使得斑点不同地聚焦到相机上,即使相同的信息被包含在每个光学路径内。两个图像彼此独立但由相同光学系统瞬时产生。
优选地,输入/滤波器SLM是二元SLM,尽管也可以使用灰度SLM。例如,二元SLM可以包括液晶SLM、铁电-电动SLM、微电镜设备(MEMs)或多像素栅格。在某些实施例中,SLM可以调制相位和/或幅度。二元铁电SLM提供快得多的切换速度和帧时间,并且可以优选地比滤波器数据快得多地流式传输输入数据。例如,灰度过滤器数据可以以每秒60到240帧流式传输,而输入数据以每秒2400帧或更快(比过滤数据快至少10到40倍)流式传输。
通常,相机的帧率将比二元SLM的帧率慢,例如以每秒大约300帧操作。适应这种帧速度失配的一种方式是将多个二元输入帧与较少数目的滤波器帧进行比较,所有这些帧都在相机传感器的一个帧内。这导致“批量处理”的形式,其中在单个相机帧中检测到的相关强度将指示若干可能匹配之一。然后必须执行进一步的询问以探明特定的匹配。该询问可以由光学相关器执行,或者由相关联的数字计算机来执行。
图8示出了使用如上所描述的模块化系统的光学协处理器系统120。协处理器包括激光源50、两个SLM模块700、800以及两个相机60,两个SLM模块700、800包括如上所描述的两个SLM和波束分离器。同样,系统组件通过由实体块54、55、56形成的实体玻璃系统连接,并且相机60接合到各个块,如图8中所示。块55和56各自包括傅里叶变换透镜(未示出)。光学系统被安装到驱动器PCIe卡,并且在该示例中使用开放应用编程接口(API)来处理系统所执行的光学相关所表示的信息。
图8的系统120可以用于多个应用中,包括对齐搜索以识别例如核苷酸和蛋白质序列中的一个或多个模式。
系统可以用于实现精确和相似性搜索,包括短读和长读,视情况而定。
图9示出了“展开的”这种相同的光学系统,以便去除镜和波束分离器并且平行地表示通过系统的光学路径。
符号替换
如上所描述的根据本发明的系统具有将数据序列或图像与参考图像进行匹配的应用。
在一个实施方案中,所述系统用于在大蛋白质序列中定位特定序列的肽或氨基酸。在该应用中,表示特定氨基酸序列的数据可以通过输入SLM流式传输以找到匹配,其中它们匹配通过过滤器SLM流式传输的参考序列数据。
所述系统用于对照参考DNA序列定位特定序列的核苷酸碱基(“基因序列”)。在该示例中,由定序器机器产生的DNA样品在本领域中是可用的。DNA“读”串或“片断”从定序器机器生成,通常长度为101或301个碱基对,并且由4个核苷酸碱基T、G、A、C组成,如图11所示。如所图示的并且根据下面更详细描述的方法,图11的TGAC串要被转换为二元数据集或输入。跨SLM平铺不同数据的表示。
将DNA序列转换为像素化阵列。如图12所示,二元符号生成器用于将输入序列数据转换为二元符号,每个TGAC基本字符都被转换为二元符号。参考先前的实施例,由输入SLM显示要识别的序列——或片段。在相同编码下制备DNA参考数据库序列的对应表示。这被转换为使用例如快速傅里叶变换的滤波器,并且由滤波器SLM显示。当在过滤器SLM中识别出片段时,在相机中通过一个或多个点适当地显示结果。点还指示是否已通过其强度获得完全或部分匹配,所述全部或部分匹配与正被比较的数据中的公共信息的比例成正比。
从图13清楚地,该符号编码定义了“覆盖区”,在该“覆盖区”内可以预期形成相关峰。这样,上述技术允许基于特定输入SLM和滤波器组合来控制该覆盖区内的该相关峰的精确位置,从而允许辨别相关峰对应于什么。
该光学方案使用相关性模式识别,其中每个基本字符被映射到二元符号。通过找到每个符号之间的最低匹配相关性水平来生成符号。这增加了在大的和非常复杂的DNA序列中识别受关注序列的可能性。
输入和滤波器SLM上的2D数据的表示是根据针对两个SLM获取的复杂(幅度和相位)描述数据来做出的。
在另一个实施例中,符号不是二元的,而是利用多个级别。这将阻止使用二元SLM来表示输入。
在另一个实施例中,DNA参考数据库被编码并直接显示在输入SLM上。要搜索的数据被类似地编码,并且使用例如快速傅里叶变换被转换为滤波器。这显示在滤波器SLM上。
在另一个实施方案中,基因数据可以通过传达底层数据结构的其他方法来表示。例如,数据可以被表示为图,该图然后被编码为适合于在SLM上显示的2D表示。输入SLM然后用于显示以这种方式编码的基因序列。此外,以类似的方式对正在搜索的序列进行编码,并且生成(使用例如快速傅里叶变换)在滤波器SLM上显示的适当的滤波器。

Claims (14)

1.一种包括两个或更多个光学相关器的光学处理系统,每个相关器包括光学输入空间光调制设备(SLM)和滤波器空间光调制设备,其中,在使用中,所述系统接收在所述系统内形成多个光学路径的光学输入,每个光学路径从每个输入空间光调制设备直到每个滤波器空间光调制设备。
2.根据权利要求1所述的光学处理系统,其中所述空间光调制设备是反射性的。
3.根据权利要求1或权利要求2所述的光学处理系统,其中所述空间光调制器设备是二元空间光调制器。
4.根据前述权利要求中任一项所述的光学处理系统,其中所述系统包括两个或更多个模块,其中至少一个模块包括两个或更多个输入空间光调制设备,并且其中至少一个模块包括两个或更多个滤波器空间光调制设备。
5.根据权利要求4所述的光学处理系统,其中所述模块中的至少一个包括波束分离元件,所述波束分离元件被配置为将所述光学输入分离到两个正交方向。
6.根据前述权利要求中任一项所述的光学处理系统,其中所述输入空间光调制设备包括输入数据,并且其中所述滤波器空间光调制设备包括滤波器数据,所述系统还包括用于分别跨所述输入和滤波器空间光调制器设备移位输入或滤波数据的装置。
7.一种处理从根据前述系统权利要求中任一项的光学处理系统接收的光学输出的方法,所述方法包括以下步骤:
标识所述光学输出的相关峰的位置;
跨所述输入SLM位移光学输入数据以由此获得所述相关峰中的移位;以及
基于所述光学输出的位置和所述移位来识别对应于所述相关峰的输入SLM。
8.一种处理从根据前述系统权利要求中任一项的光学处理系统接收的光学输出的方法,其中所述光学输出被分离以由多个相机在不同的光学路径距离接收,所述方法包括以下步骤:
标识所述光学输出的相关峰的位置,
跨所述输入SLM位移光学输入数据以由此获得相应相机的图像平面中的移位;
沿着相应光学路径位移所述多个相机以检测所述光学输出;以及
基于所述光学输出的位置识别对应于所述相关峰的输入SLM。
9.一种处理从根据前述系统权利要求中任一项的光学处理系统接收的光学输出的方法,所述方法包括以下步骤:
倾斜滤波器SLM,由此获得相关峰相对于所述输入SLM的对应移位;以及
基于所述光学输出的位置和所述移位来识别对应于所述相关峰的滤波器SLM。
10.一种处理从根据前述系统权利要求中任一项的光学处理系统接收的光学输出的方法,所述方法包括以下步骤:
在进行快速傅里叶变换之前平移所述SLM的滤波器数据,由此获得相关峰相对于所述输入SLM的对应移位;以及
基于所述光学输出的位置和所述移位来识别对应于所述相关峰的滤波器SLM。
11.一种处理从根据前述系统权利要求中任一项的光学处理系统接收的光学输出的方法,所述方法包括以下步骤:
将相位-斜坡应用于滤波器SLM以由此获得相关峰相对于所述输入SLM的对应移位;以及
基于所述光学输出的位置和所述移位来识别对应于所述相关峰的滤波器SLM。
12.一种识别序列的方法,所述方法包括以下步骤:
■接收序列输入数据;
■将所述输入数据转换为多个二元或灰度符号以获得二元或灰度图,其中二元或灰度符号在宽度上具有预定大小m个像素且在长度上具有n个像素;以及
■对二元或灰度图进行光学处理以识别序列。
13.一种协处理器,其包括根据前述系统权利要求中任一项的系统。
14.根据权利要求12所述的识别序列的方法,其使用根据前述系统权利要求中任一项的基于光学相关的处理系统或权利要求13所述的协处理器。
CN201880028760.XA 2017-03-17 2018-03-16 光学处理系统 Active CN110573984B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1704319.1A GB2560584B (en) 2017-03-17 2017-03-17 Optical processing systems
GB1704319.1 2017-03-17
PCT/EP2018/056765 WO2018167316A1 (en) 2017-03-17 2018-03-16 Optical processing systems

Publications (2)

Publication Number Publication Date
CN110573984A true CN110573984A (zh) 2019-12-13
CN110573984B CN110573984B (zh) 2024-04-02

Family

ID=58688429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028760.XA Active CN110573984B (zh) 2017-03-17 2018-03-16 光学处理系统

Country Status (6)

Country Link
US (1) US11062101B2 (zh)
EP (1) EP3596576A1 (zh)
JP (1) JP7206213B2 (zh)
CN (1) CN110573984B (zh)
GB (1) GB2560584B (zh)
WO (1) WO2018167316A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594911B (en) 2020-01-31 2023-08-30 Optalysys Ltd Hashing methods and/or systems
GB202011415D0 (en) 2020-07-23 2020-09-09 Optalysys Ltd Public-key cryptography methods and/or systems
GB2598627A (en) 2020-09-07 2022-03-09 Optalysys Ltd Optical processing system
GB2598757B (en) 2020-09-10 2023-11-15 Optalysys Ltd Optical processing systems and methods with feedback loop

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528702A (en) * 1991-05-31 1996-06-18 Seiko Instruments Inc. Optical pattern recognition apparatus with coordinate conversion function
CN1292102A (zh) * 1998-03-02 2001-04-18 微激光系统公司 采用超紫外光的图形发生器
WO2001077736A1 (en) * 2000-04-05 2001-10-18 Litton Systems, Inc. Adaptively aligned optical correlator and method
US6330361B1 (en) * 1999-03-16 2001-12-11 Litton Systems, Inc. Adaptively aligned optical correlator and method
US20040188643A1 (en) * 2003-03-24 2004-09-30 Photon Dynamics, Inc. Method and apparatus for high-throughput inspection of large flat patterned media using dynamically programmable optical spatial filtering
US20100085496A1 (en) * 2007-03-13 2010-04-08 Cambridge Correlators Ltd Optical processing
CN104508586A (zh) * 2012-07-04 2015-04-08 奥普拓塞斯有限公司 可重新配置的光学处理系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2512154B2 (ja) * 1989-06-19 1996-07-03 松下電器産業株式会社 光ニュ―ラル素子
JP3023694B2 (ja) * 1990-07-27 2000-03-21 セイコーインスツルメンツ株式会社 多参照画像用光パターン認識方法
US5148496A (en) * 1990-12-24 1992-09-15 Litton Systems, Inc. Optical correlator with symmetric reflective optics
JP3096717B2 (ja) * 1991-02-13 2000-10-10 住友大阪セメント株式会社 ニュ−ラルネットワ−ク
GB9726386D0 (en) 1997-12-12 1998-02-11 Univ Cambridge Tech Optical correlator
DE69823839T2 (de) * 1998-11-25 2005-08-11 Cisco Systems International B.V. Optisches Gerät zur Verarbeitung von digitalen optischen Signalen
CA2363138C (en) * 1999-03-01 2010-05-18 Bae Systems Electronics Limited Head tracker system
JP3773774B2 (ja) * 2000-10-06 2006-05-10 独立行政法人科学技術振興機構 多光源小型並列結合変換相関装置
GB0222511D0 (en) 2002-09-27 2002-11-06 Cambridge Correlators Ltd Optical correlator
JP4355585B2 (ja) * 2004-02-03 2009-11-04 Tdk株式会社 個人認証方法、個人認証システム及び光情報記録媒体
GB2461894B (en) * 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
US8351031B2 (en) * 2009-06-05 2013-01-08 Spectral Sciences, Inc. Single-shot spectral imager
US8908189B2 (en) * 2011-04-15 2014-12-09 Carl Zeiss Meditec, Inc. Systems and methods for swept-source optical coherence tomography
JP6043228B2 (ja) * 2013-04-05 2016-12-14 浜松ホトニクス株式会社 光学モジュールおよび光照射装置
WO2015024871A1 (en) * 2013-08-19 2015-02-26 Basf Se Optical detector
US9703260B2 (en) * 2013-09-11 2017-07-11 Akonia Holographics Llc Methods and apparatus for coherent holographic data channels
GB2521111B (en) * 2013-09-27 2017-08-02 Two Trees Photonics Ltd A correlator
US9474143B2 (en) * 2014-08-19 2016-10-18 University Of Dayton Systems and methods for generating complex vectorial optical fields

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528702A (en) * 1991-05-31 1996-06-18 Seiko Instruments Inc. Optical pattern recognition apparatus with coordinate conversion function
CN1292102A (zh) * 1998-03-02 2001-04-18 微激光系统公司 采用超紫外光的图形发生器
US6330361B1 (en) * 1999-03-16 2001-12-11 Litton Systems, Inc. Adaptively aligned optical correlator and method
WO2001077736A1 (en) * 2000-04-05 2001-10-18 Litton Systems, Inc. Adaptively aligned optical correlator and method
US20040188643A1 (en) * 2003-03-24 2004-09-30 Photon Dynamics, Inc. Method and apparatus for high-throughput inspection of large flat patterned media using dynamically programmable optical spatial filtering
US20100085496A1 (en) * 2007-03-13 2010-04-08 Cambridge Correlators Ltd Optical processing
CN104508586A (zh) * 2012-07-04 2015-04-08 奥普拓塞斯有限公司 可重新配置的光学处理系统

Also Published As

Publication number Publication date
GB2560584A (en) 2018-09-19
CN110573984B (zh) 2024-04-02
GB201704319D0 (en) 2017-05-03
EP3596576A1 (en) 2020-01-22
JP2020516924A (ja) 2020-06-11
GB2560584B (en) 2021-05-19
JP7206213B2 (ja) 2023-01-17
US20200097691A1 (en) 2020-03-26
WO2018167316A1 (en) 2018-09-20
US11062101B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110573984B (zh) 光学处理系统
US20230152087A1 (en) Systems and Methods for Estimating Depth from Projected Texture using Camera Arrays
US10809056B2 (en) Structured light projector
EP3028088B1 (en) Aperture scanning fourier ptychographic imaging
US10249051B2 (en) Depth extracting camera system using multi focus image and operation method thereof
CN112400175A (zh) 光学处理系统
JP2002525685A (ja) プログラム可能レンズアッセンブリ及びこれを組み込んだ光学システム
CN113748313B (zh) 三维测量系统及三维测量方法
US20180313759A1 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US20240085717A1 (en) Super-resolution imaging system and method, and nucleic acid sequencing imaging system and method
CA3180502A1 (en) Methods and apparatus for arranging atoms in arrays
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JPH06214281A (ja) 空間統合スライド画像光相関器
JP2003223642A (ja) 顔画像認識システム
Colburn et al. Metasurfaces for generating complementary wavefront-coded beams for three-dimensional scene reconstruction
US11822287B1 (en) Binocular holographic machine vision system and method for identifying locations of target elements
CN103477309B (zh) 在光学导航设备中或者与光学导航设备有关的改进
SU588548A1 (ru) Оптическое устройство дл умножени матриц
EP2503379A1 (en) Optical processing method and apparatus
JP2023090091A (ja) 波面計測装置及び波面計測方法
Huang et al. Learnable Polarization-multiplexed Modulation Imager for Depth from Defocus
CN115003982A (zh) 使用全光相机和结构化照明确定表面的三维轮廓的系统和方法
Muravsky et al. Accurate definition of correlation peak position by optical speckle-displacement correlation technique
Kumar Three-dimensional imaging using a novel rotating point spread function imager
Fan et al. Study on the measurement of image motion between sequential images based on optical correlator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant