CN104246826B - 编码定位系统、方法和装置 - Google Patents

编码定位系统、方法和装置 Download PDF

Info

Publication number
CN104246826B
CN104246826B CN201380010647.6A CN201380010647A CN104246826B CN 104246826 B CN104246826 B CN 104246826B CN 201380010647 A CN201380010647 A CN 201380010647A CN 104246826 B CN104246826 B CN 104246826B
Authority
CN
China
Prior art keywords
code
path
coding
pixel
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380010647.6A
Other languages
English (en)
Other versions
CN104246826A (zh
Inventor
爱德华·道斯基
布拉德利·思斯桑姆
格雷戈里·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ascentia Imaging Inc
Original Assignee
Ascentia Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ascentia Imaging Inc filed Critical Ascentia Imaging Inc
Priority to CN201711089924.3A priority Critical patent/CN107861102B/zh
Publication of CN104246826A publication Critical patent/CN104246826A/zh
Application granted granted Critical
Publication of CN104246826B publication Critical patent/CN104246826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

编码定位系统包括多个光通路,它们布置成协同地成像至少一个对象于多个检测器上。每个所述通路包括不同于其他光通路中的任何其他定位代码的定位代码,以修正穿过其的电磁能量。来自所述检测器的输出数字图像能够处理以确定所述对象在所述检测器上的子像素定位,使得相比仅通过检测器几何形状能更精确地确定所述对象的位置。另一编码定位系统包括多个光通路,它们布置成协同地成像局部极化数据于多个像素上。每个所述通路包括不同于其他通路中的任何其他极化代码的极化代码,以独特地极化穿过其的电磁能量。来自所述检测器的输出数字图像能够处理以确定系统的用户的极化图。

Description

编码定位系统、方法和装置
相关申请的交叉引用
本申请要求以下申请的优先权:提交于2012年1月3日的、标题为“ANGULAR CODINGFOR 3D OBJECT LOCALIZATION(3D对象定位的角度编码)”的第No.61/631,389号美国临时申请;提交于2012年2月29日的、标题为“ANGULAR CODING FOR 3D OBJECT LOCALIZATION(3D对象定位的角度编码)”第No.61/634,421号美国临时申请;提交于2012年3月8日的、标题为“SYSTEMS AND METHODS FOR MOTILITY AND MOTION OBSERVATION ANDDISCRIMINATION(用于运动性以及运动观察和鉴别的系统和方法)”的第No.61/634,936号美国临时申请;提交于2012年3月23日的、标题为“ANGULAR CODING FOR 3D OBJECTLOCALIZATION(3D对象定位的角度编码)”的第No.61/685,866号美国临时申请;提交于2012年4月11日的、标题为“ANGULAR CODING FOR 3D OBJECT LOCALIZATION(3D对象定位的角度编码)”的第No.61/686,728号美国临时申请;提交于2012年5月3日的、标题为“ANGULARCODING FOR 3D OBJECT LOCALIZATION(3D对象定位的角度编码)”的第No.61/687,885号美国临时申请;提交于2012年6月5日的、标题为“ANGULAR CODING FOR 3D OBJECTLOCALIZATION AND MOTION DETECTION(3D对象定位的角度编码以及运动检测)”的第No.61/655,740号美国临时申请;提交于2012年7月18日的、标题为“ANGULAR CODING FOR3D OBJECT LOCALIZATION(3D对象定位的角度编码)”的第No.61/673,098号美国临时申请;提交于2012年8月23日的、标题为“ANGULAR CODING FOR 3D OBJECT LOCALIZATION(3D对象定位的角度编码)”的第No.61/692,40号美国临时申请;提交于12012年10月3日的、标题为“POLARIZATIONCODING(极化编码)”的第No.61/720,550号美国临时申请;以及提交于2012年11月21日的、标题为“POLARIZATION CODING(极化编码)”的第No.61/729,045号美国临时申请。所有上述专利申请通过整体参考并入此处。
美国政府权利
本发明是根据美国军方UCSD PO#10320848授予的W911NF-11-C-0210合同,在美国政府支持下进行的。政府在该发明中具有特定权利。
背景技术
估计和检测对象的3D位置和方位是首要问题。许多现有技术系统具有的问题是,不利地影响可实现的尺寸、重量和功率、对象3D定位和方位的成本和精度。
图1示出的执行3D定位的现有技术光学数字成像系统(上图)的首要问题在于分辨率,其与图像感测像素的空间密度有关:具体来说,固定系统的像素在几何上限制更高精度。通常,现有技术数字成像系统,当镜头处于其最大直径时,对于特定尺寸的像素来说,镜头后面形成的图像尺寸是最大的;换句话说,图像平面处的空间带宽积(SBP)最大。在小直径镜头但边光角度或者F/#恒定的情况下,较小图像被捕获并且系统的SBP会降低。但随着镜头直径的减小,图像尺寸变得如此小使得对于通常景象来说,所有对象信息没有足够详细地被捕获。
类似地,在图1示出的现有技术测量系统(上图)中,传感器之间的基线B确定SPB,因此确定用于估计系统100中对象105的x、y、z值的精度。光学件110a和110b的焦距分别是fa和fb,它们分别在距它们相应传感器120a和120b的光学轴向为距离ya和yb处形成对象105的图像。距离ya和yb的估计可确定y位置以及fa/ya之比和fb/yb之比的确定范围,因而传感器120a和120b更密集的采样可以增加估计精度,但代价是尺寸、重量和功率会更高。
类似图1的上图示出的立体成像系统的两个元件,现有技术雷达系统(见图1的下图)还使用检测器阵列以检测3D空间中的对象。雷达系统编码多元件天线阵列中的每个元件,以检测/定位/丢弃(等)3D空间中的目标中所存在的非已知噪声和杂波。天线元件的数量理论上除了SNR之外不会限制潜在角度估计的准确度。
图1的雷达系统(下图)和图1的光学件系统(上图)之间的主要差别涉及这样的事实:典型雷达波长能够用天线102a、102b至102n时间相干地采样。在雷达系统中,天线元件布置成使得每个元件的场图(field pattern)重叠。数学权重104a、104b至104n应用于阵列元件或者通路,然后求和106以确定输出信号平方107。权重能够是确定性的(诸如傅里叶系数),或者能够是采样数据的函数,诸如自回归(AR)模型中使用的,并且能够具有成图1的复杂单位圆的示意图,其中能够示意出信号振幅和对象角度。
发明内容
现有技术定位成像系统的限制可以根据本公开来改善,其中,元件的光学阵列布置得更类似于雷达系统,使得每个元件或者通路的场图重叠。通过下述编码定位光学件或者专用编码定位传感器的实施方式,数学权重还可以应用于所述阵列。解码提供了期望的信息,使得光学成像系统能够以在性能、尺寸、重量和功率上优于传统非相干立体式成像系统(图1)的方式执行定位任务。不同于以上现有技术中存在的问题,利用以下公开的编码定位系统,空间以及角度分辨率能够通过信号噪声比来确定,而不是通过实际图像像素的空间分辨率来确定。非耦合分辨率以及像素密度或者采样为光学系统提供了降低的尺寸、重量成本和功率以及还可以执行定位、方位和图像成形。
在实施方式中,编码定位系统可以包括光学件、代码、传感器和处理机,其中定位精度与光学件、代码和传感器中至少两个的接头设计相关。
在实施方式中,编码定位系统形成远程对象的N个样本,每个样本用独特代码来编码。
在实施方式中,编码定位系统设计成使得相比于未编码时,采样相同远程对象的通路之间的交叉信息被降低。
在实施方式中,所述通路由以下至少一个组成:图像、孔径、波长、极化和视场。
在编码定位系统的实施方式中,多次测量中的代码采用正弦函数。
在编码定位系统的实施方式中,无偏移代码总计为零。
在编码定位系统的实施方式中,N次测量形成了作为空间位置的函数的测量向量。
在编码定位系统的实施方式中,N次测量形成了测量向量,测量函数具有的量值和相位作为空间位置的函数。
在编码定位系统的实施方式中,无偏移代码形成正交系。
在编码定位系统的实施方式中,成像系统的采样PSF是空间变量。
在编码定位系统的实施方式中,测量的样本作为虚像中子像素的改变的函数而改变。
在编码定位系统的实施方式中,测量向量与存储或者估计的对象向量进行比较以检测所述对象和方位和/或位置。
在编码定位系统的实施方式中,测量向量使用了对象的数学模型以估计对象参数。
在编码定位系统的实施方式中,测量空间域、时间域、谱域和/或极化域中的至少一个。
在编码定位系统的实施方式中,测量空间域、时间域、谱域和/或极化域中的至少两个。
在编码定位系统的实施方式中,同时进行对远程对象多次测量时间、谱、空间和极化中的至少一个域。
在编码定位系统的实施方式中,同时进行对远程对象多次测量时间、谱、空间和极化中的至少两个域。
在编码定位系统的实施方式中,测量可见波长。
在编码定位系统的实施方式中,测量IR波长。
在编码定位系统的实施方式中,N次测量构造为无偏移。
在编码定位系统的实施方式中,N次测量设计成使得在不存在噪声时N次测量的平方的和是常数。
在编码定位系统的实施方式中,空间定位中的不确定性小于检测器像素的面积。
在编码定位系统的实施方式中,所述光学件相比于FOV可降低所需的内存存储以及定位不特定性。
在编码定位系统的实施方式中,相比于传统成像系统,光学件和以数据为基础的信号处理降低了存储的数据。
在编码定位系统的实施方式中,多个系统用于方位和3D定位中至少一个。
在编码定位系统的实施方式中,多个系统被使用以估计方位和3D位置中至少一个的变化。
在编码定位系统的实施方式中,估计或者检测到的方位或者位置的改变精于像素间距。
在编码定位系统的实施方式中,使用互补测量向量以估计方位和3D位置中至少一个的变化。
在实施方式中,编码定位系统提供测量向量,测量向量代表超出检测器的空间频率限制像素的傅里叶分量。
在编码定位系统的实施方式中,通过空间偏移系统形成单像素传感器和多次测量。
在编码定位系统的实施方式中,通过临时偏移系统形成单像素传感器和多次测量。
在编码定位系统的实施方式中,编码是空间的和时间的。
在编码定位系统的实施方式中,所述互补通路被选择以降低整个光学系统的长度。
在实施方式中,编码定位系统提供互补测量,互补测量与数字处理结合以形成最终图像,分辨率对应于总测量数。
在实施方式中,提供方法和装置用于执行长范围照片点测量,相比于检测器像素间距具有高精度。
在实施方式中,提供方法和装置用于相关光学数据的简化并且存储。
在实施方式中,提供方法和装置用于相对对象位置估计,相比于像素数量具有高精度。
在实施方式中,提供方法和装置用于绝对方位估计。
在实施方式中,提供方法和装置用于绝对3D位置估计。
在实施方式中,提供方法和装置用于从已知点传递位置和方位参考信息中的至少一个至新点。
在实施方式中,提供方法和装置用于高速公路信息的数据收集和数据简化。
在实施方式中,提供方法和装置用于方位和3D位置估计以用于机器控制。
在实施方式中,提供改进以用于方位和3D位置估计以进行安置。
在实施方式中,方法和装置用于执行室内应用的方位和3D位置估计中的至少一个。
在实施方式中,方法和装置用于执行方位和3D位置估计中的至少一个以应用于非真实的GPS覆盖。
在实施方式中,方法和装置用于执行远对象方位和3D位置估计中的至少一个以输入模型构建处理。
在两像素传感器的实施方式中,对象的角度测量被使用以计数视场中对象的数量。
在两像素传感器的实施方式中,多个传感器的角度测量被使用以计数组合视场中对象的数量。
在以不同方式对每个通路进行编码的实施方式中,能够捕获多于一个的现有技术信息像素。
在将每个通路编码为范围的函数的实施方式中,对于不在无穷远处的对象能够实现聚焦。
在将每个通路编码为范围的函数的实施方式中,能够实现场图像的延伸深度。
在将每个通路编码为范围的函数的实施方式中,能够实现用于图像中点的范围估计。
在实施方式中,光学运动单元提供了航位推测用于导航。
在实施方式中,编码定位系统包括多个光通路,它们布置成协同地成像至少一个对象于多个检测器上。每个所述光通路包括定位代码以光学地修正穿过其的电磁能量,并且每个定位代码不同于其他光通路中的任何其他定位代码。来自所述检测器的输出数字图像能够处理以确定所述对象在所述检测器上的子像素定位,并且使得相比仅通过检测器几何形状能更精确地确定所述对象的位置。
在实施方式中,编码定位系统包括多个光通路,它们布置成协同地成像局部极化数据于多个像素上。每个所述光通路包括极化代码以独特地极化穿过其的电磁能量,每个极化代码不同于其他光通路中的任何其他极化代码。来自所述检测器的输出数字图像能够处理以确定用于系统的用户的极化图(polarization pattern)。
在实施方式中,编码定位系统包括多个光通路,它们布置成协同地成像移动景象于多个像素上。每个所述光通路独特地确定其在所述景象的运动中的二维尺寸变化。刚性主体模型耦合所述通路的输出以约束物理运动的位置和方位的全局变化。处理子系统将来自每个通路的数据分解为全局运动向量。
在实施方式中,编码定位系统包括多个编码定位通路,其中所述系统具有的费雪信息大于不具有定位代码的光学系统。
在实施方式中,定位光学数据的方法包括协同地成像至少一个对象于多个检测器上,同时对每个光通路独特地实施定位代码,并且处理来自所述检测器的输出数字图像以确定所述对象在所述检测器上的子像素定位,使得相比仅通过检测器几何形状能更精确地确定所述对象的位置。
附图说明
图1的上图是现有技术光学位置估计系统的例子;而图1的下图是基于雷达的现有技术定位系统的例子。
图2的上图示出了用于位置估计的一个编码定位系统的实施方式;而图2的下图提供了雷达类推。
图3示出了编码定位系统的实施方式,以及根据另一实施方式的感测及处理方法。
图4示出了编码定位系统的实施方式,并且根据另一实施方式的公知介质进行的感测及处理方法。
图5示出了一个两像素双极编码定位系统的实施方式。
图6示出了一个编码定位系统的实施方式,用于在检测器上成像有重叠的视场。
图7是使用单像素检测器的编码定位系统的实施方式。
图8是使用先验信息的编码定位系统的实施方式。
图9是用于运动性以及运动观察和鉴别的编码定位系统的实施方式。
图10示出了3通路线性组合编码定位系统的图形,其增加关于对象位置的费雪信息。
图11示出了用于编码定位系统的代码的图形,编码定位系统对一组编码像素执行1D线的子像素成像。
图12图示了响应于子像素边缘的相位正弦编码定位系统的代码。
图13是编码定位运动性以及运动观察和鉴别系统的实施方式,具有重叠的视场。
图14是编码定位系统的实施方式,示出线性偏光器的8个极化步长,2pi对称,或者pi/4相位步长,或者pi/8实旋转步长。
图15是本发明的实施方式,包括堆叠样本并且执行谱分解。
图16是本发明的实施方式,包括堆叠样本并且执行谱分解。
图17是本发明的实施方式,其中振幅和偏移被优化用于增加曝光。
图18是定位代码的实施方式,其能够应用于双极两检测器运动传感器系统的视场。
图19图示了实施方式,其中能够使用至少两个编码定位系统以除了对象角度以及对象运动的角速率之外还估计对象范围和速率。
图20是用于运动性以及运动观察和鉴别的编码定位系统的实施方式。
图21图示了本发明的实施方式用于运动性以及运动观察和鉴别。
图22是本发明的实施方式,采样多样性用于编码定位系统。
图23图示了编码定位系统的实施方式,其使用重叠的FOV2x2系统来形成图像。
图24是通用编码定位系统的设计方法的实施方式。
图25是优化二像素系统的实施方式。
图26是本发明的实施方式,描述了代码的构造,该代码能够实现窄FOV和宽FOV定位。
图27是4通路线性组合系统的一个实施方式,其增加了关于对象位置的费雪信息。
图28是本发明的实施方式,描述边缘方向估计。
图29是本发明的实施方式,用于优化设计空间权重以及像素数量。
图30是设计方法和交易空间的实施方式。
图31是本发明的实施方式,公开了测量应用。
图32是本发明的实施方式,公开了测量应用。
图33是本发明的实施方式,公开了测量应用。
图34是本发明的实施方式,公开了使用编码定位系统进行测量及控制。
图35是本发明的实施方式,公开了使用编码定位系统进行测量及记录。
图36示出了使用编码成像通路来为人类观察者增加信息。
图37示出了时间、空间及极化的混合以进一步检测、识别或者估计信号。
图38图示了高分辨率成像系统,其耦合至编码定位系统。
图39示出了用于利用编码设计来极化天空罗盘(sky compass)的设备的实施方式。
图40示出了用于利用编码设计来极化天空罗盘的设备的另一实施方式。
图41描述高速定位系统,其具有毫弧度角估计精度、小尺寸和低成本。
图42示出了用于使用编码设计来成像的设备和处理系统的优选实施方式。
图43示出了用于使用编码设计来成像的设备和处理系统的优选实施方式。
图44是本发明的实施方式,公开了使用各组单像素进行测距。
图45图示了根据范围的函数进行聚焦和编码。
图46是用于航位推测的导航系统的实施方式。
图47图示了实施方式中的极化罗盘。
图48图示了实施方式中的光学运动及运动性单元。
图49图示了图39-43成像系统的细节。
图50图示了在实施方式中的2x2和3x3系统,使用单个传感器作为用于所有通路的检测器元件。
具体实施方式
以下依次公开的首先是当前的总体方案,然后是设计方法,最后是具体应用和设备。图2-4示出以下各实施方式中的系统构思和数学原理,包括光学编码的物理布局和数据向量形成。图5-9示出用于应用代码于多像素和单像素系统的例子。图10-12公开了用于基于费雪信息来设计特定代码的框架件,并且提供了用于对任务要求选择特定代码的方法论。全面阅读和理解图2-12后,可以开发具体设备。这种设备能够同时体现为若干系统实施方式特征,并且提供例子。图13-17示出了数据处理的例子,其中代码是极化分析器角度。图18-20提供了二像素检测器例子,其检测移动对象的位置;该方法可以扩展到图20-22的多孔径多像素系统以检测运动和方位。以下公开的编码系统还可以形成全分辨率图像,如图23之前公开的,稍后应用再次示出于图24-30。图24-30提出了更多孔径的更复杂代码以及任务,设计方法包括串扰和SNR考虑。图31-41提供了执行轮廓测量和定位任务的可行设备的应用。图42-50包括了可以用于这些应用中的设备的更多细节,以及示范设计参数包括代码、任务要求、处理算法以及数字结果。
正如从以上注意到的,以下公开了编码定位系统。这种成像系统是有用的,用于测量相对及绝对位置和方位信息,以及用于图像成形,而且系统长度较低。应用于形成编码定位系统的编码可以是取决于任务的,并且根据检测或者当前估计任务被优化以用于信息捕获。此处还公开了编码定位系统以及用于被动红外检测及极化检测及估计的算法。还公开了技术以降低编码定位成像和测量系统的尺寸、重量和功率。
在该公开中,"代码"或者"编码"能够是从一个或多个对象发散的电磁能量的特性,或者是以定位水平检测这种特性的设备。因此"编码定位系统"是这样的系统,其利用检测器获取对"代码"敏感的多个图像并且能够将代码特定信息分配给每个图像。代码特定信息又能够被利用以从多个图像中提取信息(诸如,一个或多个对象在景象内的位置),不进行编码的话无法这样做。
在特定成像域中,相比于系统SBP,相关对象信息量会变得非常小或者稀疏。在长波红外成像系统中,仅具有特定温度的对象能够在传感器上形成信息。在一些情形下,仅小量温暖对象处于景象中。在另一例子中,仅特定颜色的对象(例如道路上的信号)可以处于景象中,并且可以成为要捕获和估计的期望信息。利用光学或者颜色的数字过滤,平均景象会变得稀疏。在另一例子中,对象的边缘可以是感兴趣信息。在许多人造景象中,对象边缘的数量和方位被认为是稀疏的。极化和时间短域也能够被认为是稀疏的。估计及检测对象的3D位置和方位的一些系统涉及对极化域的信号进行编码和解码。利用此处公开的编码定位系统,专用感测、解码以及处理可以用于空间域、谱域和极化域以增加定位远对象或者特征的能力,使得能够有利的得到问题的答案"它在哪里"或者"我在哪里"。
当特定类对象的景象被认为是稀疏的时,需要低于图像像素的最大量以精确估计对象的位置。换句话说,能够使用具有降低的SBP的系统以精确估计对象的位置。使用更小的传感器和编码定位还导致系统尺寸变小。当系统的3D估计精度或者信息捕获容量不是像素密度的函数时,在一些域采用稀疏景象可直接导致更小的传感器、更少的功率以及整体成本更低的系统。例如SWaP(尺寸、重量和功率)降低。在一些情形下,利用定位编码比不利用定位编码(甚至当不采用定位编码的系统中使用大量像素时)能够使3D位置估计的精度更高。
图2的上图是本发明的实施方式,示出了系统200。在该实施方式中,光学件210a和210b的焦距分别是fa和fb,在分别距相应传感器220a和220b的光学轴线的距离ya和yb处形成对象205的编码图像。距离ya和yb的估计仅局部确定y位置,fa/ya的比和fb/yb的比仅局部确定范围。在该实施方式中,通路被编码成代码230a和240a以及230b和240b,传感器220a和220b的编码图像被解码以进一步确定y位置和范围或者对象205的z位置。这种代码例如是二进制或者真实值的强度或者相位屏、掩码以及孔径,代码作为图像或者孔径中的空间位置的函数而变化。代码还可以包括极化敏感和选择性地材料。在一个示意实施方式,代码放置在对象和传感器之间的光路径位置,例如对象和客观镜头之间,孔径和传感器之间,或者分布在整个系统中。
编码定位系统的目标包括用专用光学系统对多于一个孔径进行编码以优化检测及定位估计,从而增加系统的信息容量以及降低系统尺寸。这种系统还变得对3D系统几何形状的认识不敏感以及对环境系统容差不敏感。这些系统使3D估计能够空间相干,甚至当系统几何学地以及动态地改变时。这些系统可以包括光学件、代码、传感器以及处理机,此处定位精度与光学件、代码和传感器中至少两个的接头设计相关。定位精度取决于系统SNR,而不是取决于像素的数量。
通过改变复杂权重的位置、运算符求平方以及处理,雷达系统类推能够重绘为光学系统,这示出于图2的下图。雷达(图2的下图)和光学件(图2的上图)之间的主要差别涉及的是,典型雷达波长能够被时间相干地采样;而光学波长不能够被时间相干地采样。通过检测器207a、207b至207n,波长被空间相干地采样。而且在雷达系统中,天线元件布置成使得每个元件的场图重叠。根据该公开,元件的光学阵列能够类似地布置,使得每个元件或者通路的场图重叠。通过各种编码定位光学件或者专用编码定位传感器,数学权重202a、202b至202n能够应用于整个阵列。传感器207a至207n是时间非相干采样器,并且形成电磁能量的量值平方估计。这些样本然后用处理206解码以估计或者检测与远对象相关的参数。数学权重202a、202b至202n还可以是确定性的,诸如傅里叶系数,或者是采样数据的函数,诸如使用在自回归(AR)模型中,并且能够代表复杂单位圆208,复杂单位圆208能够显示信号振幅和对象角度。定位编码的非直接益处是,每个成像通路取决于用于子像素定位的其他成像通路。I在现有技术的传统立体成像系统(见图1)中,每个成像通路独立于其他通路。这种独立性会由于3D系统位置的不特定以及结果图像中对象/图像对应的不特定而引起3D定位错误。
在此处公开的编码定位系统的特定实施方式中,远程系统被一起使用以增加位置精度。这种系统的几何形状可以是静态或者动态的,正如当系统相对于彼此移动时。3D系统几何形状也不需要对于子像素容差是已知的,这不同于现有技术的立体成像系统。根据编码定位系统的性质,通过对相同远对象成像所生成的数据能够确定系统的位置。
在此处公开的编码定位系统中,远对象通过多个成像通路被成像。在一个实施方式中,成像通路可以具有针对对象的不同主射线角度或者主波束角度。在另一实施方式中,不同成像通路的视场至少在远对象所位于的空间中重叠。不同于现有技术的立体成像系统,每个成像通路不是刚刚描述的几何学信息之外的传统成像系统;相反,每个通路作用成对传感器测量的远对象的相对角度位置进行编码。编码定位系统因而形成了远程对象的N个样本,每个样本用独特代码来编码。图像传感器测量的不同编码信息被合并以能实现高精度的快速计算,以及实现不同图像通路之间的图像对应的能力。
在实施方式中,使用编码定位系统以相对于两个以上子系统和/或两个以上相同传感器的成像通路来编码角度信息。距远对象的相对角度和距离被不完全了解的光学件和传感器(通过环境容差)或者子系统(例如如果子系统相对于彼此移动)解码。在另一实施方式中,使用编码定位系统以在光学件和传感器的了解是已知的情形下改善角度位置和距离的估计。在又一实施方式,使用编码定位系统以在估计图像对应时通过约束检索到对应定位代码的区域来降低检索空间。
图3示出了编码定位系统300的实施方式。在图3,编码定位系统300构造为用光学件310至310n和传感器320至320n记录N个通路。在该构造中,对于特定代码340至340n,每个通路记录2D空间,可能还记录颜色以及时间信息。在一个实施方式中,通路代码340至340n至少不同处在于,不同的极化值或者极化角。在另一实施方式中,通路代码340至340n至少不同处在于,空间可变衰减的强度。在另一实施方式中,通路代码340至340n至少不同处在于,空间可变强度的相位。在另一实施方式中,通路代码340至340n至少不同处在于,空间可变正弦曲线强度的相位。在另一实施方式中,通路代码340至340n至少不同处在于,空间可变光学路径长度的值。在另一实施方式中,通路由以下至少一个组成:图像、孔径、波长、极化和视场。镜头395是光学物镜,其与光学件310至310n协作以形成重成像构造,其中光学件310至310n功能为微距镜头阵列以通过代码340至340n对部分域进行重成像。如果镜头395不存在的话,光学件310至310n对于每个编码成像通路将形成单个物镜。
在实施方式中,系统300的数据设定370是三维矩阵M(x,y,p),其中(x,y)是空间变量350,p是极化、强度和光学路径变量360中的至少一个。在数据设定370中存在N个平面Mi;也即,对于i=1至n,Mi=M1至Mn。通过诸如Bayer颜色滤波阵列、时间平均值等构造,颜色和时间变量可以嵌入每个空间域矩阵Mi。时间信息还可以通过添加维矩阵M来明确提供。在实施方式中,处理系统380根据从编码序列340至340n提取的信号来合并包含矩阵M的数据370。在一个实施方式中,处理系统380形成子信号sij,使用维度p作为第一迭代器,此处,s11=[M(1,1,1)M(1,1,2)...M(1,1,n)],s12=[M(1,2,1)M(1,2,2)...M(1,2,n)],...,sij=[M(i,j,1)M(i,j,2)...M(i,j,n)]。在一个实施方式中,要处理的最终信号stot通过连接子信号而形成,stot=[S11S12S13...Sij],并且被分析以用于谱内容。谱分析显示在后续段落中以能够实现其他设备之中的极化罗盘。在实施方式中,谱分析可以是时间和空间可变中的至少一个,并且可包括以下至少一个:谱图分析、空间-频率分析、尺度-空间分析以及时间-频率分析。在另一实施方式中,子信号被求平均,平均值被分析以用于谱内容。在另一实施方式中,数据M1至Mn被处理以形成图像的加权和Mtot=∑wiMi,此处i=1...n,权重w1至wn是基于代码340至340n。在另一实施方式中,多次测量中的代码采用正弦函数。
图4示出了采用极化代码的一个编码定位系统400的实施方式。许多照明对象491a、491b、491c被非已知源代码492a、492b、492c修正,并且形成信号493a、493b和493c。在一个实施方式中,源代码492a、492b、492c是例如线性偏光器。在一个实施方式中,这些对象、源代码以及信号的数量是一个,例如可以被模型化同时观察非常窄的一部分极化天空。在另一实施方式中,这些对象、源代码以及信号的数量大于一个,例如当观察宽视场的极化天空时,极化可以通过非常大量的对象、源代码以及信号被模型化,这些对象、源代码以及信号可以根据天空而改变角度和量值。在一个实施方式中,从源/源代码发出的信号493a、493b和493c能够用空间域、时间域和谱域描述。源/源代码和感测系统405之间的基本非已知介质480作用成损坏信号493a、493b和493c。在实施方式中,专用感测系统收集包含代码440a至440n、光学件410至41On和检测器420至420n的光学编码系统405至405n。在一个实施方式中,代码440a至440n通过极化分析器被实施为极化域。在另一实施方式中,代码440a至440n通过线性极化被实施,具有可变的物理角度。在另一实施方式中,光学编码系统405至405n的收集设计成记录谱、空间、时间和极化信息,使得在存在非已知介质480时可捕获精确可靠的信息。在一个实施方式中,通过处理470来处理记录的数据,这被使用以从记录的数据提取需要的定位信息。在另一实施方式中,代码440a至440n通过检测器420至420n的传感器平面上方的振幅掩膜被实施,此处光学编码系统405至405n的收集设计成记录谱、空间和时间信息,使得在存在非已知介质480时可捕获精确可靠的信息。
图5示出了一个编码定位系统500的实施方式。镜头系统510包含若干不同的视场L1、Rl、L2、R2、L3以及R3。当系统500暴露于感测场中的运动505时,检测器520和521的输出以双极形式被合并以生成信号515。处理系统570处理信号515中的信息。在一个实施方式中,互补镜头区域550、551和552中的至少一个被特意设计,使得双元件传感器520、521的输出处的所测量信号对于一个或多个成像通路的左和右视场是不同的。例如,通过屏蔽或者阻止最外侧镜头表面的至少一部分,区域550可以是局部衰减的。可替换地,区域551或者552可以是至少局部衰减的,使得检测器521或者520的响应分别是可改变的。
镜头构造580是示范系统的实施方式,具有的6个镜头标记为1至6,它们覆盖左半和右半视场,各半用虚线582和图形590的虚线592隔开。构造580图示了从感测场所观察的镜头系统510的前表面。构造580图示了用于每个镜头段的小视场584,指示出每个段具有非重叠的感测区域。对于每个系统500,每个非重叠场区域被成像为重叠在检测器对520和521上。衰减掩膜放置在镜头3上面。示例输出590指示在与580中标记为1至6的镜头对应的图形590中标记为1至6的区域内,对于每个L和R(或+和-)检测器像素的正弦曲线响应。信号595在区域4中明显峰对峰式地衰减,这指示出移动对象位于覆盖半个视场的镜头1-3的区内。在该情况下,信号振幅的差可指示移动对象的角度位置或者场位置。不具有编码镜头的话(即,现有技术),所有场点将相同地出现,不能够确定角度位置。在一个实施方式中,代码可以通过用于一个或多个成像通路的左和右视场L3和R3的不同孔径面积和形状来实现。在另一实施方式中,使用不同吸收率的镜头厚度、不同极化以及专门对检测器元件极化匹配或不匹配的极化中的至少一个来获得差。在一个实施方式中,检测器520、521是热敏感元件,系统500形成被动红外运动感测系统。在另一实施方式中,镜头系统510是菲涅尔镜头,其能够用光学模制以低成本很容易地形成,并且对不同吸收率的镜头厚度、不同极化以及专门对检测器元件极化匹配或不匹配的极化具有高兼容性。在一个实施方式中,处理系统570处理信号515以检测通过区域550中的定位编码引起的签名,从而产生引起运动的对象的角度测量。在实施方式中,对于两像素传感器520、521,测量对象的角度被使用以计数视场中对象的数量。在实施方式中,对于两像素传感器520、521,使用从多个传感器测量的角度以计数组合视场中对象的数量。
图6示出了示例600,具有编码定位系统604的实施方式,以及系统604内部的放大细节。装置604是2x2编码定位系统,用于在检测器620上成像,具有重叠的视场602,"2x2"标记在此处指的是,编码定位系统中成像通路的布局。镜头610中的每个孔径被放置在镜头610和传感器620之间的掩膜641、642、643、644编码。在一个实施方式中,相对于系统604的方位,对于每个通路,掩膜是不同的。通过用例子2x2构造多次成像相同对象点,每个对象点被成像4次。通过不同地编码每个通路,能够捕获更多信息(相比于现有技术的像素体系结构)。在实施方式中,对于该2x2例子,特定对象点的虚像子像素瞬时视场可以是Is=[i11i12;i21i22]。虚像子像素瞬时视场Is被掩膜加权,并且在传感器620上一起求和以形成编码样本673。在一个实施方式中,所有四个视场602可以形成为单个检测器阵列620上的图像圈621。四个通路中的每个在编码之前由于重叠视场602在适当对应的对应x/y位置具有基本相同的信息。在一实施方式中,对于不同的成像通路,掩膜641、642、643、644上的定位代码具有不同的函数,并且包括以下至少一个:空间相位,空间振幅,极化和光学路径差。在另一实施方式中,掩膜位置随着它们在镜头610和传感器620之间所在的距离而改变(例如,用于任何一个通路的掩膜相比于另一通路中的掩膜沿着光学路径位于不同位置)。在另一实施方式中,代码由以下至少一个组成:平滑函数,急变函数,以及提供用于设计具有许多自由度的代码的宽组基本函数的随机或者假随机函数。在另一实施方式中,用于2x2实施的代码是由偏移的正弦组成的代码,使得该代码可最大化总体景象的费雪信息。在另一实施方式中,测量样本作为虚像中子像素改变的函数而改变,这使得能够进行子像素分辨率测量或者以比像素间距更精细的尺度进行测量。在另一实施方式中,代码包括波长特定代码。在一实施方式中,掩膜641、642、643、644可以选择波长,在另一实施方式中,其对波长的选择敏感。通过选择波长,代码能够执行超谱过滤以及子像素位置信息。通过对波长的选择敏感,代码能够使用在多色成像系统中(诸如可见谱(红/绿/蓝)),以及同等地影响所有颜色从而保存颜色保真度,或者不同地影响颜色从而在仍是宽谱设备的同时通过颜色变化来提供另一程度的编码信息。在实施方式中,每个对象点以以下中所选的至少两种成像:用于宽谱成像的可见波、近红外、中波红外和长波红外波长,并且使用于融合可见、近红外及长波IR图像中的至少两种的成像及目标系统中。
图7示出了一个编码定位系统700的实施方式;系统700采用单像素检测器。在一个实施方式中,两个成像通路安装成使得主波束(或者同轴)方向都是平行的。两个像素720具有形成交叉轮廓708的重叠视场702。轮廓指示作为对象位置的函数的恒定检测值。这使得仅使用两个像素就可估计或者检测对象的位置。执行给定任务所需的像素数量越少就可实现更少功率和尺寸。非已知对象点在视场中的位置在交叉轮廓708中的位置'a'和'b'之间具有不特定性。在一个实施方式中,存在先验知识以区别'a'和’b'之间的位置。在另一实施方式中,先验信息包括以下至少一个:半球、强度、波长和极化复数值以提供'a'和’b'之间的矛盾。没有先验信息的话,可以使用下述的第三通路。
在一个实施方式中,如系统750中所示,三个成像通路的重叠视场754被安装,使得主波束(或同轴)方向平行于重叠视场754。系统0和2的同轴位置示出为758。非已知对象点位于这些三个通路之间。在实施方式中,距非已知点的相对距离通过三个标准化半径值给定,每个成像通路一个,即r0、r1和r2。如果标准化半径值对于每个通路是已知的,并且所有通路的成像几何形状也已知,那么对象点的3D位置能够确定为系统750中的'b'或者756。如果仅使用系统r0和r1,那么点'a'或者752将仍是不明确的。在另一实施方式中,三个成像通路被定位编码,使得能够独立于景象偏移而确定每个对象点的相对半径,并且能够估计来自成像通路收集的噪声和对应的3D对象位置。利用定位编码,估计精度小于像素大小,即使像素或者传感器和/或光学件在3D中的位置是不已知的时也是如此,或者空间定位的不特定性小于检测器像素的面积。许多构造是可行的,例如,通过空间偏移系统形成单像素传感器和多次测量,或者通过时间偏移系统形成单像素传感器和多次测量。而且,编码既是空间的又是时间的这种编码定位系统可提供好处:信号在时间和空间上都可变。对于所有这些构造,提供了方法和装置用于相对对象位置估计,相比于像素数量具有高精度。
图8示出了使用先验信息的编码定位系统800的实施方式。在一个实施方式中,对象或者单词"GENERIC"的光学数据被提前已知为810(并且810可以通过公知现有技术创建)。根据该信息,形成已知测量向量820的集合,随后用于测试实际采样的测量向量830以执行至少一次以下任务:检测、定位、测距以及多通路对应。如果810是一个图像,那么样本形成810的数量能够比在采样的或者已知的测量向量820和830中的大很多。在一个实施方式中,向量820包含了相比源810降低的数据。在一个实施方式中,所形成的测量向量820和采样的测量向量830能够被标准化,因而形成用于通常复杂目标810的子像素定位的向量度量。将实际采样的测量830与模型向量820的向量水平以及向量范数比较,使用处理机870将向量范数计算为匹配度量。在一个实施方式中,将测量向量与存储的或者估计的对象向量进行比较以检测以下中至少一个:对象、对象方位及对象位置。在另一实施方式中,测量向量与对象的数学模型一起使用以估计对象参数。
图8的系统应用于"对象摄像机"或者"对象传感器"。也即,在大量应用中,仅期望的是关于对象的特定类型或者对象的特定种类的信息。一些应用可以仅感兴趣于捕获关于电话线杆位置和尺寸的信息。其他应用可以仅感兴趣于人所在场所的数量。其他所有收集的数据(不代表关于电话线杆或人的信息)并不是实际想要的,可以作为预处理步骤被丢弃。在编码定位系统800的一个实施方式(作为对象传感器操作)中,收集一组对象810的模型,然后减少到可行已知的测量向量820。将采样的测量向量830与已知的测量向量比较,然后检测该组特定应用对象中的对象,并且进一步检测或者估计关于这些对象的信息,诸如它们的方位、位置、地点等。在另一实施方式中,如图23所示,根据采样或者已知的测量向量然后可以形成与检测对象的区域对应的人所观察的图像。
即使采样数据有很多噪声,采样的测量向量也能够紧密匹配模型向量,并且检测对象810的子像素位置880。在实施方式中,标准化向量方法使得对象增益具有不变性,作为向量捕获方向和相对量值。在另一实施方式中,标准化向量方法使得在处理为双极时对额外噪声具有低敏感度。在另一实施方式中,标准化向量方法使得可实现误差量值,以及快速检测方向以及实现检测及估计步骤的组合。在实施方式中,提供方法和装置用于相关光学数据的简化及存储。
图9示出了编码定位系统900的实施方式,用于运动性以及运动观察和鉴别。该定位系统900是有用的,可以构建用于定位、导航和定向的设备,如后面段落和附图中描述的。在系统900的一个实施方式中,臂910、920和930的布置可以例如是共面的,在参考坐标系统980中具有轴线Δx和Δy,并且正交于Δz。参考坐标系统980还是用于运动性以及移动估计的参考的惯性框架。在系统900的实施方式中,每个臂910、920和930沿着臂的方向及正交于臂的方向形成分别用于每个臂的运动估计912[dx1,dy1]、运动922[dx2,dy2]及运动932[dx3,dy3]。在另一实施方式中,臂910、920和930还分别提供用于每个运动估计912、922和932的细节D1、D2和D3。在一个实施方式中,细节D1、D2和D3是以下中的至少一个:信号质量和噪声水平估计、结构信息(诸如极化状态及波长强度变化)、对象具体特征及能量信息(诸如空间频率调制及场强度)。在一个实施方式中,编码定位系统900的编码性质提供了细节以改善以下至少一个:SNR、空间分辨率、尺寸、重量和功率消耗。在另一实施方式中,编码定位系统900的编码性质提供了运动估计912、922和932,可改善以下至少一个:精度、运动性检测、空间分辨率以及准确度。在另一实施方式中,对参考的校准提供了对绝对方位及定位的改善。在实施方式中,提供方法和装置用于绝对方位估计。在实施方式中,提供方法和装置用于绝对3D位置估计。在实施方式中,提供改进以用于方位和3D位置估计以相比于现有技术基于惯性的导航系统进行安置。在实施方式中,系统900提供了方法和装置用于执行室内应用的方位和3D位置估计中的至少一个。在实施方式中,系统900提供了方法和装置用于执行方位和3D位置估计中的至少一个以应用于非真实的GPS覆盖。
在子系统990中,臂922指示的运动方位能够在任何时刻使用角度β瞬时分解成分量[δx2,δy2]。而且在子系统990中,臂922指示的运动方位能够能够在任何时刻使用角度α瞬时分解成整个参考坐标系统980的分量[δx3,δy3]并且与[dx1,dy1]结合。在子系统990中角度θz是在ΔxΔy平面中的旋转,或者绕Δz轴线的旋转。在系统900的实施方式中,每个臂910、920和930在参考坐标系统980中的真实运动及运动性基于由臂910、920和930形成的框架而耦合。在系统900的另一实施方式中,运动估计912、922、932独立于彼此,因此能够建立独立运动估计和系统900相对参考坐标系统980的几何形状的耦合约束之间的许多有用关系及约束。
在一个实施方式中,当θz=0及dx1=0时,δx2=0及δx3=0,当dy1>δy3和δy2=δy3时参考坐标系统980俯仰。在另一实施方式中,当θz=0及dy1=0时,δy2=0和δy3=0,当dx1=0和δx2=-δx3时,参考坐标系统980滚动。在另一实施方式中,当θz=0及dy1=0时,dy2=0和dy3=0,当dx1=dx2=dx3时,参考坐标系统980与dx1成比例的偏转。
在实施方式中,非平面的表面982能够使用固定参考坐标系统980在至少两维上成轮廓。在系统900的另一实施方式中,基于臂910、920和930的物理布置呈现的背离约束,能够检测及估计表面982的移动表面或者部分。在系统900的另一实施方式中,例如在校准程序期间,能够利用公知平面的或者非平面的表面982以估计臂910、920和930的物理布置的几何形状。这样系统900能够估计运动性以及相对运动,还可检测及估计外部运动。在一个实施方式中,测量空间域、时间域、谱域和/或极化域中的至少一个。在另一实施方式中,测量空间域、时间域、谱域和/或极化域中的至少两个。
在实施方式中,系统900可以包含电磁能量转换器997和物理介质996,电磁能量转换器997用于将能量995转换为电信号,电信号可以通过电磁能量转换器997及处理998中的至少一个被进一步数字化,物理介质996用于传输电磁能量至电磁能量转换器997。转换的数据通过处理1998来处理以形成N+l运动估计999的稀疏组,由d0、d1、dN表示。电磁能量995可以呈紫外线波的形式,例如,对长波红外波长、声波波长和无线电波长可见。在实施方式中,电磁能量995可以在检测之前进一步被物理介质996修正,例如以影响以下至少一个:极化状态、波长、空间强度及空间频率调制。在另一实施方式中,物理介质996还可以在臂910、920和930之中施加修正的变量于电磁能量995以影响以下至少一个的光学属性:放大变量、视场、光轴偏斜、场强度变量、场极化变量、及场像差量。
在本发明的实施方式中,此处公开了用于设计编码定位系统的方法,包括了最大化用于给定任务的信息。成像系统通常设计成产生视觉愉悦的图片。在系统产生信息的情况下,需要与信息相关的设计方法。一种优选方法是这样的系统设计,其可最小化克拉美-罗界(Cramer-Rao bound)以及最大化用于3D景象信息的特定方案的对应费雪信息(Fisherinformation)。在一个实施方式中,编码定位系统设计成使得采样相同远程对象的通路之间的交叉信息相比于未编码时降低。在另一实施方式中,编码的成像通路的输出之和基本独立于代码域中的独立变量。
通过信息理论能够理解这些编码系统的设计。经由此处公开的方法的设计能够最大化所估计参数的可能精度,或者更通常来说,可增加编码系统相对于感兴趣对象参数的信息容量。
基于噪声测量,确定量θ的最好无偏估计量θ’的方差由克拉美-罗界限定。或者,
Var(θ’)≤克拉美-罗界=J(θ)-1=费雪信息矩阵J的逆阵。
费雪信息矩阵J是整个系统相关的基础矩阵,描述了系统对预期非已知值的敏感度。假定测量值y由一组非已知值限定。那么,元素J是测量信号相对非已知值的偏导数的积。在有额外高斯噪声的情况下,费雪信息矩阵能够改写为:
其中,向量y代表向量θ所参数化的测量。矩阵R是加性(additive)高斯噪声的相关矩阵。如果噪声是不相关的并且相同分配,那么相关矩阵是乘以噪声方差的单位矩阵。在一个实施方式中,假定用于以下结果的对角相关矩阵。在另一实施方式中,基于非高斯及非相同噪声统计的方差还能够用于这样的系统中,该系统没有通过该类型噪声被很好地模型化。在低噪声情况下,许多类型的系统通过加性高斯噪声被很好地模型化。费雪信息矩阵还能够写为:
其中,对不同通路求和。期望信息是参数xo。费雪信息矩阵包含的元素仅与以下信息相关:关于xo的系统信息,以及关于xo和其他非已知值的交叉信息,以及关于其他非已知值的信息。关于xo的交叉信息能够认为是多余参数,因为它的存在会负面地影响对xo值的估计。或者,多余参数增加了参数xo的相关克拉美-罗界。在多通路系统设计的一个实施方式中,目的是最大化整个系统关于特定参数的信息,同时还最小化与该参数相关的交叉信息。这将导致系统优化以估计从报告的对象信息空间所选择的参数。
在一个实施方式中,采用了简化的对象模型,诸如yi(x)=Ghi(x-xo),增益G及位置xo是非已知的,具有未校正的白噪声。该模型的偏导数是:
其中,h'(x)是h相对于x的导数。用于一个通路的费雪信息于是给定为:
右上及左下量是用于量xo的多余参数。利用多个成像通路及两个非已知值,最小化xo的克拉美-罗界等同于对费雪信息矩阵J进行对角化。这可在以下情况时发生:
在一个实施方式中,具有两个通路,当对于空间周期w,h1(x)=sin(w x),h2(x)=cos(w x)时,上述成像模型J被对角化。在另一实施方式中,各个通路代码的形式能够是余弦的和,每个余弦的频率是基础周期的谐函数。用于每个通路的余弦的和的相位设计成使得费雪信息是对角化的。在另一实施方式中,各个通路代码的形式能够是余弦的积的和,每个余弦的基础频率是c基础周期的谐函数。用于每个通路的余弦的积的和的相位设计成使得费雪信息是对角化的。
非相干成像系统是非负的。非负代码的一个实施方式是:对于空间周期w,h1(x)=0.5sin(wx)+0.5,h2(x)=0.5cos(wx)+0.5。通过对多通路正弦代码移相,估计性能能够等同于"空间相干"系统。在另一实施方式中,余弦的和以及余弦代码的积的和还具有偏移项以使得代码非负。非负要求迫使在多正弦代码模型中各个正弦分量的振幅减小。这具有的效果是,降低与这些特定代码分量相关的信息容量。
图10图示了3通路编码系统的图形数据,该系统增加了关于对象位置的费雪信息。图形1010来自具有三个单级或非负通路的系统。图形1030来自具有三个双极通路的系统,或者该系统具有1010中的通路但是没有偏移项。加性噪声被认为是对于偏移及无偏移系统都是相同的。正弦曲线方程给定为cos(2pix+相位),其中x的范围是从-0.5至+0.5。三个正弦曲线的相位是30度、150度和270度,它们是2pi对称,120度间隔。
从图形1030,无偏通路是双极的(具有负值)。尽管时间非相干光学系统不能够具有负测量,但是1010的3通路偏移系统能够具有与无偏系统相同的关于非已知位置变量x的信息。与测量1010相关的费雪信息示出于1020,用于1030的费雪信息示出于1040。这些费雪绘图信息还包括非已知的加性偏移项。通过适当的系统设计,添加非已知的偏移不会负面地影响所捕获的关于期望一个或多个参数的信息。关于变量x的信息值与1020和1040中的相同。而且,与X相关的交叉信息对于1020和1040都是零。1020中的非零交叉信息曲线与G及B之间的交叉信息相关。
图11示出了用于编码定位系统的图形数据1100,该系统对各组编码像素执行ID线的子像素信息采集、检测及估计。各组编码像素、代码和代码的区别构成"系统",如以下使用的功能说明。顶行示出了线的虚像,因为其将在采样之前出现在代码的一个周期期间。在一个实施方式中,代码的周期跨越一个或者更少像素。在另一实施方式中,周期可以跨越许多像素。在一个实施方式中,像素代码是偏移的正弦及余弦,测量数据是具有虚像数据的各代码的内积。
在一个实施方式中,成像模型是非已知的增益、偏移及垂直线位置,4个代码记录了该线的水平或者垂直子像素尺寸中的每个。在实施方式中,当4个代码被90度正弦地移相时,相位通路中两个180度之间的差是双极符号,没有偏移。两组差产生两个无偏测量,两个无偏测量相位一起移相90度。这两个测量可以代表子像素对象的一个空间频率下傅里叶变换系数的实部和虚部。傅里叶变换测量的这些差的复数表示可表示为图11示出的一行单位圆中的水平及垂直向量。这两个向量已经标出,使得最大量值是1,较小量值的向量与1相称地被标出。在成像垂直线的情形下,所有垂直向量具有基本零量值。水平向量直接指示垂直线的子像素位置。
在另一实施方式中,当增益及偏移先验地已知时,那么对于对象的每个垂直或者水平方向,仅需要移相180度的2个代码。在一个实施方式中,通过未编码通路获得先验已知。这种代码的例子给定在系统1150中的图形1180和1190。图形1180和1190描述了"系统",因为它们示出了系统设计方案(代码值),具有系统所需要的两个不同代码,示出了关联的费雪信息,这能够实现1100中示出的结果。图11中的图形1180示出了两个正弦代码,它们具有2pi对称,或者移相为180度。偏移已经添加,使得代码的振幅是非负的。与这些代码相关的费雪信息示出于图形1190。注意的是,与空间位置x相关的费雪信息的最大值是图10的图表1020的3通路编码系统的最大值的2/3。从图形1190,与空间位置相关的信息被偏移,作为子像素位置的函数。系统设计人员能够接受该偏移,或者重设计2通路代码以形成偏移与2pi对称之间的折衷。在比较例中,图25示出了图示其他选择的两通路代码的两个例子。在一个实施方式中,图25的通路代码是多项式代码。
图25的两通路代码2500具有2pi对称(或者代码的和是常数,作为空间位置的函数)如2510中所示。2520中描述了用于该系统的费雪信息的逆阵的平方根,或者克拉美-罗界(CRB)。用于该系统的CRB还是偏移的,但相比图11的两通路系统1150的同样的CRB具有较少改变。图25中的系统2550描述了另一相关设计,其不准确地保持2pi对称,但确实可实现无偏CRB,因此实现无偏费雪信息,如2560中所示。2250中图像的集合被认为是"系统",因为其描述了代码的设计、代码设计的正交性和实现的费雪信息。单独选用的每个代码是不重要的,重要的是,代码的相关关系或者代码组合的系统级完成。存在数个其他两通路代码,诸如图11和图25的这些,它们可平衡对正交性、非负性、2pi对称及CRB/费雪信息偏移的需要。
图12示出了用于定位系统1200的相位正弦编码,响应于子像素边缘。边缘是垂直对准的边缘,所以垂直测量向量具有零量值。水平向量是子像素图像以一个空间频率进行的傅里叶变换,偏移于边缘的位置。子像素边缘位置的位置能够从水平测量向量直接测量出。在一个实施方式中,系统1200每个方向使用4相通路,不会先验地知道边缘增益及偏移。在另一实施方式中,系统1200每个方向使用2相通路,先验地知道边缘增益及偏移。
在另一实施方式中,图像数据中实际非已知值的数量大于实际期望的非已知值。例如,图像增益及偏移是两个量,它们通常被认为在3D成像/测距时重要性低于特定空间特征的范围。在实施方式中,为了进一步简化及降低系统尺寸、重量和功率,获取高分辨率图像并且用其来先验地模型化所采样的测量向量。利用该高分辨率信息,增益及偏移能够视为是已知的。在另一实施方式中,可以使用高水平及高分辨率图像处理特征来引导图像处理。
在另一实施方式中,高分辨率成像系统装备有编码定位系统,编码定位系统提供3D测量,该3D测量与高分辨率图像结合使用以加强多镜头摄像机系统中的区别。在另一实施方式中,所加强的区别被用来生成用于娱乐、映射、导航、勘测、及地理信息系统中至少一个的坐标。
在另一实施方式中,通过对测量通路的输出求和来形成偏移的估计。如果代码设计成2pi对称的话,测量通路的和能够是偏移的精确测量(代码偏移加上对象、系统等的偏移)。2pi对称的重要特性是,测量通路的和对于代码域中的特定对象来说能够是常数。再考虑图10的1010的3通路测量系统。代码或者测量1010的和是常数,作为标准化位置的函数。代码的和于是不提供关于位置的信息,而仅提供关于偏移的信息。
在用于设计2D光学系统及系统PSF的方法中,设计成具有2pi对称的代码是这样的:测量通路的和独立于特定域变量,即其空间域、极化域、时间域等。考虑空间编码。于是,如果组合PSF及空间代码的话,一组代码具有2pi对称,当所有通路求和时,会产生采样值,该采样值理想地独立于空间位置。多孔径2x2系统具有2个水平和2个垂直正弦代码,如果用于每个通路的正弦曲线为180度异相,该系统能够具有2pi对称。代码设计还取决于多个通路的视场布置(包括重叠以及相邻)或者系统视场(SFOV),以及当前任务(那里是哪儿,我在哪里),具有重叠视场或者专用SFOV的代码能够提供多通路信号,当检测对象或者运动及还鉴别全局及本地运动时,多通路信号比独立的未编码传感器具有更多信息。
图13是编码定位运动性以及运动观察和鉴别系统1300的实施方式。在系统1300的一个实施方式中,每个臂1340、1350和1360在重叠区域1392内分别形成运动估计1342、1352和1362,重叠区域1392由大区域1364和小区域1344和1354重叠而形成。在实施方式中,运动估计1342、1352和1362还包含细节D4、D5和D6,细节D4、D5和D6例如是波长强度的独立估计。在另一实施方式中,细节D4、D5和D6包含极化强度以及极化角度。
对于系统1300的一个实施方式,每个臂1340、1350和1360在参考坐标系统1380中的真实运动及运动性基于由臂1340、1350和1360以及重叠区域1392形成的框架而耦合。在系统1300的另一实施方式中,运动估计1342、1352、1362和细节D4和D5彼此独立。在另一实施方式中,区域1364的细节D6局部独立于区域1344和1354。
在一个实施方式中,系统1300当绕z轴线旋转时具有系统视场(SFOV),系统视场由稀疏区域1393组成,稀疏区域1393经过诸如天空等的区域(由箭头1395指示),从而导致SFOV定形为类似带,具有确定的海拔幅度和360度方位角。在一个实施方式中,特征1394是极化强度和方向测量中的至少一个。在另一实施方式中,特征1394是对编码定位系统的极化代码的响应。在一个实施方式中,在细节D4、D5和D6中报告特征1394的各种参数。在另一实施方式中,细节D4、D5和D6包含以下至少一个:与对比相关的参数、强度轮廓、波前斜率及波长信息。
在另一实施方式中,系统1300为SFOV内包含的区域提供了细节D4、D5和D6,其中对于至少一部分SFOV,细节包含用于天空的极化。至少一部分SFOV中向量的图案从天空的极化图提供了地理方位角、海拔和滚动估计。在实施方式中,参考坐标系统1380的运动及运动性估计(诸如横跨图案1394的运动1395)允许一部分SFOV映射成自适应天空模型。在实施方式中,自适应包括来自近水平效应的影响,包括以下至少一个:污染、灰尘、烟及热梯度波前失真。
尽管测量包含局部极化的信号的方位是常规的及已知的,但是测量具有非常低局部极化程度的极化参数的信号不是已知的。在测量低局部极化程度的一个实施方式中,图4的非已知介质包括在系统1300中,作用以将极化程度通常改变为非常低的值,通过使用此处公开的本发明能够恢复该值。在另一实施方式中,图4的非已知介质是以下至少一个:云、雾、热梯度波前失真及污染。
在另一实施方式中,系统1300的收集光学件及检测器具有一些特定视场(FOV),这些特定视场可以是整个SFOV及瞬时视场(iFOV)的一部分,并且形成N次测量。iFOV是特定像素的FOV。在另一实施方式中,通过例如光学件的失真,iFOV可以是特定像素的函数。在一个实施方式中,公开了编码定位系统,其中成像系统的采样PSF是空间变量。在另一实施方式中,N次测量形成了作为空间位置的函数的测量向量。在另一实施方式中,N次测量形成了测量向量,测量函数具有的量值和相位作为空间位置的函数。在另一实施方式中,N次测量构造为无偏移的。在另一实施方式中,N次测量设计成使得N次测量的平方之和是常数,不存在噪声。
在一个实施方式中,系统1300通过图4的非已知介质480产生图3的数据矩阵M。假定(x1,y1)是M中数据的空间位置。那么通过极化尺寸的数据的收集是M(x1,y1,i),i=1,2,...N。此时假定应用于系统1300的图4中的非已知介质480在所测量数据的空间域、谱域、时间域及极化域上刚好施加恒定量值或者增益及偏移。在数据M的该实施方式中,极化域中的测量数据能够描述为:
M(x1,y1,i)=G cos(wi+phi1)+Bias
M(x1,y1)=G cos(wi+phi1)+Bias
其中,M是向量M,G(增益)是取决于图4中的信号493a-c、非已知介质480衰减及感测系统1300敏感度的振幅。相位phi1相关于信号和感测系统的相对方位。Bias(偏移)还相关于信号、非已知介质和感测系统。项wi被认为是已知,并且当编码元件形成极化分析器时,wi相关于图3中编码元件340至340n及图4中编码元件440至440n的旋转。在实施方式中,局部极化程度能够由G与Bias之比来给定。在另一实施方式中,使用G及phi1来确定方位。在另一实施方式中,用最小Bias及最大G来获取数据M。在另一实施方式中,用相等的Bias及G来获取数据M。
在真实系统中,感测M始终存在于噪声中。于是,对G、phi1及Bias的估计是统计估计问题。对于该特定实施方式,最好估计性能能够描述为费雪信息和克拉美-罗界。在实施方式中,感测系统1300的设计涉及优化系统以相对于感兴趣量最大化费雪信息,同时降低交叉信息和其他量。这等同于降低用于系统的特定参数的最好无偏估计性能的克拉美-罗界。在一个实施方式中,要估计的参数包括线性极化角及量值中的至少一个。
在一个实施方式中,费雪信息矩阵是通过数据模型M相对于系统非已知G、phi1及Bias的偏导数的内积来创建的。或者,
J(i,j)=[dM/d(thetai)]T[dM/d(thetaj)
如果di=cos(w*i),i=1,2,...N被选择为使得sum(d)=0,那么仅费雪信息的对角元素非零,并且,
J(1,1)=N/2,J(2,2)=NG^2/2,J(3,3)=N
在一个实施方式中,N=3,图3中编码元件340至340n以及图4中440至440n的不同通路是线性偏光器,并且被连续旋转(180/3)度(并且测量相位的效应是2x180/3)度,于是w*i=0,2*pi/3,4*pi/3。而且,sum(sin(w*i))=0。于是,3个参数的最好无偏估计方差给定为:
var(Gest)>=2sigma^2/N
var(phi1est)>=2sigma^2/(G^2N)
var(Biasest)>=sigma^2/N
其中,sigma^2是加性白高斯噪声的方差。在许多情形下,该噪声主要为起伏噪声,起伏噪声是不可避免的,即使是在“理想”检测器中也是这样。在一个实施方式中,通过调节曝光时间以最小化偏移同时最大化G,来最小化起伏噪声。在另一实施方式中,通过调节传感器敏感度以最小化偏移同时最大化G,来最小化起伏噪声。在另一实施方式中,通过调节传感器敏感度以使偏移和G相等,来使起伏噪声与读出噪声平衡。
在一个实施方式中,设计的编码定位系统将选择极化域的通路,使得非已知值之间的交叉信息为零或者尽可能低,同时还起作用以增加期望非已知值的费雪信息。在另一实施方式中,无偏移代码总计为零。在另一实施方式中,无偏移代码形成正交系。
在实践中,图4中信号493a-c的振幅相对于感测系统1300的噪声水平能够是非常小的。高噪声水平会导致降低定位精度。作为一例子,极化域中的信号振幅能够小于全幅信号的1%。利用操作接近完美的十位检测器,所检测到的信号振幅能够是大约0.01*1024计数或者大约10计数,测量的灰度级计数最大为1024。利用甚至理想检测器,起伏噪声的标准偏差可以是大约sqrt(1024)=32计数,从而导致信噪比远小于1。图14是编码定位系统的实施方式,示出8个极化步长,线性偏光器2pi对称,或者pi/4相位步长,或者pi/8实旋转步长。在一个实施方式中,为了改善极化信号振幅和相位的估计,能够使用更多极化步长。图14示出了图形1410,具有8个极化步长,线性偏光器2pi对称,或者pi/4相位步长,或者pi/8实旋转步长。图14中的图形1420示出了起伏噪声中该信号的结果。
当实际测量信号不对应于正弦模型时,使用多于最小数量的极化相位样本对于检测是有用的。通过适当选择光学件及检测器,能够使iFOV相比于感测系统看到的信号角范围较小。当iFOV小于信号角范围时,更大数量的样本能够用在非已知值的估计中,从而增加不可避免噪声的估计精度。
如果系统设计成最小化交叉信息,那么空间分辨率能够妥协于估计精度。如果信号具有的空间分辨率低于感测系统,那么这会是一个有益的妥协。在一个实施方式中,接收的数据能够构造为诸如:
[M(x1,y1);M(x2,y2);M(x3,y3);....;M(xN,yN)]
其中,由于所设计的系统是2pi对称,噪声正弦曲线的关联是无缝的。在另一实施方式中,接收的数据能够构造为诸如:
1/N*∑i M(xi,yi)
图14的图形1430图示了一实施方式,用于2pi对称极化样本的空间关联以增加在噪声中估计信号相位的能力。任一个成像通路由图形1420表示。图形1430示出了4x4空间领域中的极化样本,具有额外的起伏噪声。图形1440是图形1430的傅里叶变换,绘出为数据的傅里叶变换的20*log10。尽管基本能够考虑图形1430,但是正弦曲线图形1440清楚示出了在谱中标识为波峰1445的信号的正弦曲线性质。能够从傅里叶变换的复数值的相位估计出信号波峰1445处信号的相位。
从上述克拉美-罗界可见,信号的最好无偏估计的方差相位取决于信号的振幅。随着信号振幅减小,估计相位的能力也降低,或者信号相位的最好无偏估计量的方差增加。在实施方式中,估计非已知极化信号的相位所需的处理能够作为信号振幅或者极化程度的函数而变化。相反,随着信号偏移增加,噪声也增加。在实施方式中,估计非已知极化信号的相位所需的处理能够作为信号偏移及去极化程度中至少一个的函数而变化。
图15是本发明的实施方式,包括堆叠样本及执行傅里叶分解。图形1510示出了无噪声正弦曲线信号,其已经如图4描述的那样堆叠以形成长信号。信号1510具有的偏移为200,极化程度为1%,振幅为2,在40x40空间样本上具有8个极化角,没有噪声。图形1520示出了图形1510中的信号的傅里叶变换。图形1530示出了图形1510中的信号具有起伏噪声。信号1530具有的偏移为200,极化程度为1%,振幅为2,在40x40空间样本上具有8个极化角,具有起伏噪声。在实施方式中,使用傅里叶变换来估计图形1540值示出的作为波峰1545的潜在信号的量值及相位。在谱分析中正弦曲线明显地位于噪声之上。
图16是本发明的实施方式,包括堆叠样本及执行傅里叶分解。图形1610示出了正弦曲线信号,其已经如图4描述的那样堆叠以形成长信号。1610和1530之间的不同在于,与1610相关的曝光相比于1530减少了近似10个因子。该降低的曝光可降低信号偏移及起伏噪声,但不会降低信号振幅。信号1610具有的偏移为20,极化程度为1%,振幅为2,在40x40空间样本上具有8个极化角,具有起伏噪声。图形1620示出了图形1610中的信号的傅里叶变换。在谱分析中正弦曲线明显地位于噪声之上。即使如图形1630中那样使用较少样本,谱分量仍然明显可见于图形1640中,作为点1645。在实施方式中,相比于FOV,光学件降低了所需的内存存储及定位不特定性。在另一实施方式中,相比于传统成像系统,光学件和以数据为基础的信号处理降低了存储的数据量。
由于先前描述的非已知介质480的不均匀,所以SNR会在典型图像上空间地变化。因此实施空间可变处理的能力将例如通过正确选择在给定FOV或者iFOV中使用的数字N或基础曝光时间来进一步改善结果。在实施方式中,信号的振幅被限制,但偏移能够增加,曝光时间能够被优化以使增益及偏移相等。在实施方式中,图13中的臂1340、1350和1360具有不同的曝光时间,从而如果SFOV中具有G及偏移的话可提供空间可变采样。
图17是本发明的实施方式,示出系统1700,其中示出了振幅1720及偏移1720用于增加水平轴线上的曝光。曝光值1730能够被视为优化曝光值,因为信号的振幅被最大化。超出1730增加曝光仅增加了系统中的起伏噪声。诸如这些的低动态范围信号能够受益于作为检测的偏移及信号中存在的振幅的函数而改变曝光。图17还示出了空间可变数据获取还有空间可变处理的象征性图示。在一个实施方式中,空间可变数据获取作为所估计的极化振幅或者局部极化程度的结果而改变。在另一实施方式中,空间可变处理改变作为所估计的极化振幅或者局部极化程度的结果而改变。空间可变数据获取及处理的一个目的是将极化相位估计中的不特定性限制到一些水平之下。框1750示出了空间坐标中所估计的极化强度的符号映射表。存在极化振幅的三个宽区域H、L1及L2。在一个实施方式中,H表示的区域由估计极化程度>10%的空间区域限定。区域L1及L2是这样的区域,其中极化程度为5%和1%。在实施方式中,区域L1及L2内获取参数及处理参数中的至少一个能够改变以在整个空间幅度上改善或者更好地匹配估计的相位不特定性。
框1760示出了本发明另一实施方式,具有独特的空间数据获取及处理区域,这些区域能够增加以改善估计相位的准确度。与区域H相关的数据获取及处理参数是一些值,在区域L1,采集约2x2的更多极化样本,在区域L2,采集10x10的更多极化样本,其中,采集包括以下至少一种:时间上以及空间上在更长时间段、更大空间区域以及以更密采样周期这三者中至少一种收集更多数据。在一个实施方式中,能够通过较大空间领域来增加极化样本的数量。在另一实施方式中,能够通过至少一个时间额外样本、通过额外的极化测量以及测量不同颜色及成像通路来增加样本。在另一实施方式中,能够通过降低曝光及多次曝光来增加极化样本。
在一个实施方式中,当定位信息的空间幅度非常宽并且具有小变动时,能够利用非常少的检测器元件来理解对象空间中的信息。在另一实施方式中,对象空间是不稀疏的并且具有大变动,任务对于这种信号是不敏感的,能够利用非常少的检测器元件来理解对象空间中的信息。
图18是定位代码的实施方式,其能够应用于双极两检测器运动传感器系统的视场,类似于图5所示的。图18的实施方式应用于图5的装置,示出了线性代码的系统1800,线性代码随着系统的特定对象FOV而改变。图18中的左通路1810及右通路1820代表一组互补镜头区域550的响应,如图5的传感器520和521测量的,该响应作为FOV的函数。对于确定数量的镜头区域550,实际代码可以是阶梯结构对FOV,作为图5的L3和R3的函数。当通路的数量变得大时,或者如果用于每个通路的各光学件具有宽的FOV,代码能够变得平滑及连续对FOV。对于位于FOVK的特定移动对象,特定互补镜头区域k于是将产生由传感器测量的信号,该信号具有的振幅A(LK)及A(RK)是一些非已知增益的数倍。
在一个实施方式中,图18表示的角度及增益标准化代码使得左通路1810由x表示,|x|<1,右通路是1-x,|x|<1。在该情况下,最小FOV由x=0表示,而最大FOV由x=1表示。于是测量模型是L(x)=G*x,R(x)=G*(1-x),其中增益G及角度x是非已知的。L(x)和R(x)的值等于图5中的A1以及A2
在另一实施方式中,差比和计算足以从L(x)和R(x)估计出x位置。[L(x)-R(x)]/(L(x)+R(x))=2x-1,这独立于非已知增益G。在该实施方式中,对象角度x的估计是:
Estimate(x)=(l/2)[(L(x)-R(x))/(L(x)+R(x))+1]。
在另一实施方式中,角度能够估计为时间的函数,对象的任何相邻x位置之间的角速率能够通过不同的Estimate(x)来确定。
图19图示了实施方式,其中在系统1900中能够使用至少两个编码定位系统以除了对象角度以及对象运动的角速率之外还估计对象范围和速率1905。在一个实施方式中,系统1900包含至少两个系统,每个系统类似于图5的系统并且包含双极检测器对1920。在另一实施方式中,两个系统还能够结合在单个光学件1910内。在另一实施方式中,对象运动1905是常数和几乎为零中的至少一种,系统1900进行平移及旋转中的至少一种以扫描感兴趣对象场。
通过使用处理机1970估计两个不同位置距非已知对象的角度,能够独立于系统增益、对象强度等形成范围估计。具有一些运动向量1905的对象分别产生两个时间输出信号1915i和1915k,运动向量1905横贯两个互补镜头区域A(Li)A(Ri)以及A(Lk)A(Rk)。在实施方式中,输出信号1915i和1915k是振幅编码的以及时间编码的。振幅代码是由于设计于互补镜头区域中的代码。时间代码是由于通用光学特性和对象运动的方向及速度。两个代码向处理机系统1970提供互补信息,因此在一个实施方式中,如果两个系统的基线间隔B已知的话,这两个代码能够被使用以增加范围和速率估计的精度。在另一实施方式中,能够使用互补信息来说直接估计基线B以及非已知对象的范围和速率。在另一实施方式中,使用互补测量向量来估计方位和3D位置中至少一个的变化。仅存在一个基线B,其将产生用于由两个检测器输出测量的非已知远对象速率向量的对应振幅和时间代码,从而产生用于多个输入的鉴别信号。在实施方式中,系统1900能够计数系统1900的视场内运动1905中的离散对象。
当使用具有单、双或者多像素及重叠视场的多个系统时,能够实现多功能性,包括确定系统的方位或运动性以及平移,还包括检测及估计对象及系统视场内的对象运动。图20示出了编码定位系统的实施方式2000,用于运动性以及运动观察和鉴别。在系统2000的一个实施方式中,臂2010、2020和2030的布置可以是在参考坐标系统2080中与轴线Δχ及Δy共面并且正交于Δz,在另一实施方式中,每个臂2010、2020和2030在局部重叠区域2014、2024和2034内沿正交于Δz的方向分别形成运动估计2012、2022和2032。重叠区域示出为子系统2090中的划线区域2092。在另一实施方式中,运动估计2012、2022和2032还包含细节D1、D2和D3,细节D1、D2和D3是以下因素的独立估计中的至少一种:信号可信度、噪声水平、信号水平、波长、波前相位、波前振幅、以及局部重叠区域2014、2024和2034和重叠区域2092的极化方向及极化量值。在另一实施方式中,细节D1、D2和D3还例如是对象具体信息,包括以下至少一个:对象边缘、对象拐角、对象结构、对象纹理及对象的感兴趣特征。在另一实施方式中,细节D1、D2和D3包含关于对象具体信息的统计。
在系统2000的另一实施方式中,每个臂2010、2020和2030在参考坐标系统2080中的真实运动及运动性基于由臂2010、2020和2030及重叠区域2092形成的框架而耦合。在另一实施方式中,运动估计2012、2022、2032彼此独立,因此许多有用关系和约束存在于独立运动估计与系统2000中关于参考坐标系统2080以及重叠区域2092的几何形状的耦合约束之间。在实施方式中,当θz=0及dx1=0时,δx2=0及δx3=0,当dy1=k(δy3)和δy2=δy3时,产生运动估计2012的系统的放大率是2022和2032的放大率的k倍。
在实施方式中,系统2000可以包含用于将能量2095转换为强度的电磁能量转换器2097以及用于传输电磁能量至电磁能量转换器2097的物理介质2096。所转换的数据由处理2098处理以形成由d0、d1、...、dN表示的一组N+l运动估计2099。电磁能量2095可以呈紫外线的形式,对例如长波红外波长、声波长和射电波长是可见的。在另一实施方式中,电磁能量2095可以在例如检测之前进一步被物理介质2096修正以影响以下至少一个:在重叠区域2092内的极化状态、波长、空间强度、以及空间频率的调制。在另一实施方式中,物理介质2096还可以在臂2010、2020和2030之中施加修正的变量于电磁能量2095以影响以下至少一个的光学属性:重叠区域2092内的放大变量、视场、光轴偏斜、场强度变量、场极化变量、及场像差量。
图21图示了编码定位系统2100,用于运动性以及运动观察和鉴别。在系统2100的一个实施方式中,臂2110、2120和2130的布置可以是在参考坐标系统2180中与轴线Δχ及Δy共面并且正交于Δz,而臂2140和2150可以是与Δz共轴。在一个实施方式中,每个臂2110、2120、2130在与表面2182交叉的非重叠区域2114、2124和2134内沿正交于Δz的方向分别形成运动估计2112、2122和2132。在另一实施方式中,每个臂2140和2150在与表面2182不交叉的非重叠区域2144和2154内沿与Δz共轴的方向分别形成运动估计2142和2152。在另一实施方式中,运动估计2112、2122、2132、2142和2152还包含细节D1、D2、D3、D4和D5。在一个实施方式中,细节D1、D2和D3例如是表面2182中的对比及结构的独立估计,而细节D4和D5是对极化、强度、对比及用于区域2144和2154的结构的估计中的至少一种,区域2144和2154包含分散日光、星光及月光中的至少一种。在实施方式中,多个系统用于方位和3D定位中至少一个。在另一实施方式中,使用多个系统来估计方位和3D位置中至少一个的变化。在另一实施方式中,方位或者位置的估计出的或者检测到的变化精于像素间距。
在系统2100描述的本发明实施方式中,每个臂2110、2120、2130、2140和2150在参考坐标系统2180中的真实运动及运动性基于由臂2110、2120、2130、2140和2150形成的框架而耦合。在实施方式中,基于表面2182的运动估计2112、2122、2132彼此独立,还独立于运动估计2142和2152。在实施方式中,使用在物理上取决于共同参考坐标系统2180的大数量的独立运动估计,这可改善整个运动性以及运动估计的鲁棒性。
在另一实施方式中,系统2100进一步受益于宽系统视场(SFOV)。SFOV受益于参考坐标系统2180的运动性,在实施方式中,其包含位于表面2182上的稀疏采样区域2114、2124和2134,还包括稀疏采样区域2144和2154。参考坐标系统2180的运动性通过旋转系统2100的θz呈现,或者通过绕Δz轴线的旋转来呈现,从而引起稀疏采样以用[dx1,dy1]、[dx2,dy2]及[dx3,dy3]来估计运动性,还估计明显的远场运动作为[dx5,dy5]及[dx4,dy4]。在实施方式中,远场运动估计和运动性估计必须对应于系统2100的刚性主体动态约束。运动估计以如高价值的细节D4或者D5呈现的高可信度产生,并且不匹配运动性参数,该运动估计指示了:在远场存在与运动性独立的独立运动估计,因此外部移动物体的检测能够用于一移动的活动平台,该活动平台体现为系统2100。在另一实施方式中,用于旋转θz的SFOV包括由区域2114、2124和2134形成的环面,区域2114、2124和2134以圆弧扫过表面2182,SFOV还包括水平的水平带,这些水平带通过区域2144和2154以圆弧扫过由水平面和天窗、月光及暮光三者中至少之一所形成的平面来形成。在另一实施方式中,编码定位系统2100测量其他对象的相对位置。在另一实施方式中,编码定位系统2100测量其他对象的绝对位置。在另一实施方式中,编码定位系统2100测量其本身相对方位及相对位置中的至少一个。在另一实施方式中,编码定位系统2100测量其本身绝对方位以及绝对位置中的至少一个。
图22是本发明的用于编码定位系统的采样多样性的实施方式。运动及运动性鉴别系统使用与滚动快门曝光一起操作的检测器,在包括运动及运动性鉴别系统的许多编码定位系统中,相对于行(或列)曝光时间快的运动会错位所捕获的图像,并且利用采样多样性。在公开的发明的另一实施方式中,通过如图22中图示的采样多样性为编码定位系统提供滚动快门校正。对于当如2220和2240中那样传感器行以时间序列或者滚动快门采样进行采样时相对于传感器采样具有水平运动的对象,所产生的图像相对于对象的全局采样在单个时间瞬时被剪切。在一个实施方式中,剪切是公知的,并且能够使用信号处理来覆盖适当的图像而无需剪切。在另一实施方式中,对象移动过行并且朝向行采样/读取,如2260中的那样,并且对象的图像被垂直压缩。在另一实施方式中,对象运动具有行采样/读取的方向,使得对象的图像扩展成2280中的那样。
系统2220和2240示出了形成的图像的剪切,而2260和2280示出了取决于运动和方向的对象的放大率。2260经历了对象信息的损失,因为放大率降低了,而2280示出了信息的增加,因为对象的放大率已经增加。用滚动快门采样对象朝向传感器行进或者行进离开传感器还将还经历取决于运动的放大率,因为随着时间对对象的采样将因改变对象距离而导致取决于时间的放大率。
在实施方式中,编码定位采样多样性系统2200由呈不同几何结构的多个滚动快门采样传感器构成。系统2210沿垂直和水平采样多行。在实施方式中,系统2210可以通过使用定向的传感器并且改变行和列的读出方向来实现。在另一实施方式中,系统2210可以通过使用镜子及光学元件以相对于呈现到传感器上的对象的图像反向有效读出方向来实现。在另一实施方式中,系统2210可以通过旋转传感器并且改变传感器读出定时来实现。系统2212是另一实施方式,其中读出方向彼此不正交。系统2214是编码定位采样多样性的另一实施方式,其中传感器读出方向在垂直方向上彼此相反。系统2215是这样的实施方式,其中传感器读出方向在水平方向上彼此相反,并且朝向彼此读出。系统2216是这样的实施方式,其中传感器读出方向在水平方向上彼此相反,并且离开彼此读出。在编码定位采样多样性的另一实施方式中,系统2214、2215和2216能够由多个传感器或者单个传感器实现,该传感器在每帧后改变采样和读出的方向。在实施方式中,系统2218由阵列组成,各组传感器读出方向在各种传感器中变化。在实施方式中,系统2200中的传感器之间的定时错位在行及像素采样方面产生更多的多样性。
图23图示了编码定位系统的实施方式,其使用如图6示出的重叠FOV2x2编码定位系统形成图像。代码增强了定位,并且还能够在更短系统中实现图像成形。在一个实施方式中,定位代码的位置能够从靠近镜头变化至传感器平面。在另一实施方式中,代码能够包括振幅和相位二者。在另一实施方式中,代码还能够由随机或者假随机函数组成。在一个实施方式中,同时进行对远程对象多次测量时间、谱、空间和极化中的至少一个域。在另一实施方式中,同时进行对远程对象多次测量时间、谱、空间和极化中的至少两个域。在另一实施方式中,测量可见波长。在另一实施方式中,测量IR波长。
用于2x2实施的特别有用的代码是由偏移的正弦曲线组成的积分代码。该类型代码能够最大化总体景象的费雪信息。
在一个实施方式中,积分掩膜或者编码函数Ci(x,y)放置在图像平面处或者靠近图像图片,图示为2304和2306,其给定为:
C1(x,y)=1/2cos(w x+phi)+1/2
C2(x,y)=1/2sin(w x+phi)+1/2
C3(x,y)=1/2cos(w y+phi)+1/2
C4(x,y)=1/2sin(w y+phi)+1/2
其中,变量w选择为等于2*pi/dx,dx是像素的边长。以这种方式,四个代码是具有4个变化相位的偏移正弦。代码的绝对相位phi对于每个代码来说需要是已知的。x及y方向中的上述正弦曲线设定不需要具有2pi对称,但是仍能够用于降低高度成像及检测。每个像素具有2个值的代码的一个实施方式由以下给定:
其他两个代码给定为C3=CI'及C4=C2',其中()'表示矩阵转置。传感器的图案象征性地示出为图23中的布置2308。在实践中,代码布置在分配给特定光通路的所有或者几乎所有像素上。各组代码能够写为代表系统的偏移组或者:
将所有四个通路与对应对象点相关的各组采样测量Ms于是能够写为Ms=Cx[i1, 1i2,1i1,2i2,2]
在另一实施方式中,对于成像景象的所有值,期望的信息是原始子像素图像值或者数据Is。应该注意的是,Is是实际物理像素的分辨率的两倍。或者,期望数据相对于采样的2x2多孔径图像是子像素图像。在实施方式中,全分辨率图像是基于编码多孔径图像样本通过采样数据Ms的线性操作而产生的。或者,Is_estimate=pinv(Cx')Ms,其中pinv()是Cx的假逆阵。
在构成Cx的代码的选择的实施方式中,逆阵能够是良态的。在另一实施方式中,包含偏移正弦的积分代码是良态Cx的例子。如果未编码像素样本的平均值是可获得的,那么通过先验信息、通过平行测量或者通过基于编码数据的估计,能够从测量数据Ms减去该平均值。这等同于使用不具有偏移的代码。Cx的列于是变得正交,其逆阵是理想状态的,在最低光情况下给出了最好性能。在实施方式中,用于降低高度系统的代码具有2pi对称。在实施方式中,偏移的估计能够通过测量Ms的和形成。
在另一实施方式中,布置2308中的代码是特定波长。在一个实施方式中,布置2308能够选择波长,在另一实施方式中,其敏感于波长的选择。在一实施方式中,较小图像2320是以下选择中的至少一个:可见波长、近红外、中波红外及长波红外波长。在一实施方式中,较小图像2320以下选择中的至少两个:可见波长、近红外、中波红外及长波红外波长。
图23还图示了使用上述方法和装置实现1/2尺寸及重量以及有效恒定图像质量的模拟例子。原始分辨率或者单孔径图像2310被模拟成通过偏移积分2x2编码定位系统利用采样数据2320成像。采样数据2320代表分别通过每个代码C1、C2、C3及C4成像的四个通路2321、2322、2323和2324。相同代码用在特定通路中测量的每个像素上。于是测量2321、2322、2323和2324以代码确定的独特方式均不同。单通路图像2330示出了更多空间细节l。在实施方式中,使用伪逆来合并2x2测量数据,通过Is_estimate产生重构图像2340。该重构图像具有的分辨率基本同于原始单孔径图像2310,但是具有的2x2编码成像通路是单孔径系统的尺寸及重量的1/2。在实施方式中,互补通路被选择以降低整个光学系统的长度。在另一实施方式中,编码定位系统提供互补测量,互补测量结合在数字处理中以形成最终图像,分辨率对应于总测量数。
图24是通用编码定位系统的设计方法的实施方式。信息理论能够理想地分离系统与算法,并且产生优化设计,称之为用于具体系统的可计量任务。这种设计方法的流程图描述于图24。该类型方法的一个特定优势在于,真实的全局优化能够在整个系统空间上执行,通常过于复杂以致于甚至对于专家理解起来也过于复杂。
在一个实施方式中,方法开始于对系统权衡以基础信息水平的基本理解,即关于在最大化特定系统的系统性能的同时降低大小、重量和功率。信息理论告诉我们,理想估计量准确度(或标准偏差)与信噪级直接相关。增加SNR(通过更多信号、较少噪声等)会直接增加理想估计量准确度去减小理想估计量标准偏差。增加估计量准确度的效果同于增加系统的信息容量。在信息意义上,像素及SNR能够交换,其中,具有N个像素且SNR为S的通用系统具有的关于远对象的信息同于具有N/2个像素且SNR为2*S的通用系统。在一个实施方式中,孔径的数量与SNR以及系统大小及重量相关。
在一个实施方式中,步骤2涉及产生系统的通用参数、系统的通用非已知值(诸如容差、温度等)以及对象景象的参数及非已知值(诸如理想目标表达、目标"杂波"等)的软件模型。这些参数被视为是确定性的并且控制系统的特定状态。非已知值是被估计的量(如具体目标的数量及位置),或者是通常能够目标估计的量。在一个实施方式中,给定一组参数及非已知值,系统模型产生所测量参数的无噪声系统估计。
在步骤3中,一个实施方式是用于特定组参数,信息理论(诸如费雪信息和克拉美-罗界)可预测系统非已知的理想无偏估计量的性能,存在其他非已知值。系统参数与系统相对于特定任务目标的实际信息容量直接相关。总体目标是要通过步骤4中的对比及调节来查找使信息最大化的理想参数设定。
在一个实施方式中,该基于信息的设计方法能够提供的至少一个目的是,调整特定系统适应特定模型的对象景象的能力。例如,公知的是,当景象具有许多非已知值(或者有时称为杂波)时,这些非已知值会负面地影响对感兴趣特定非已知值的估计。为了最小化该影响,基于信息的方法设计了系统使得该系统专用于杂波的零空间与特定期望非已知值的信号空间的交叉。其简单例子是两个紧密隔开的目标。第二目标的存在会负面地影响第一目标的估计,尤其是如果它们在辐射或反射能量方面差异很大的话。在一个实施方式中,基于信息的优化方法将试图将该系统相对于可用系统自由度正交化,使得最小化两个目标的交叉耦合。
图24中的步骤5-8通过添加更多参数扩展了该方法。通过初始开始于小的参数设定以及步骤1-4中的系统复杂性模型,连同对特定系统的信息理论的基本原则的理解,全局优化能够实现,之后在步骤5-8添加了更加复杂的系统模型。
当设计适当成熟时,在步骤9,设计人员能够将特定算法插入系统。算法及系统的统计模拟能够相比于基于信息的设计效果所预期的性能。在实践中,用具有真实算法的实际系统通常难以达到基于信息的性能,但是统计性能和基于信息的性能的对比能够用作引导以判断系统性能相比于理想的相对水平。
图25是使用图24的方法的优化二像素系统的实施方式。具有2520的图形2510是定位编码系统的基于信息的设计方法的一个例子的开始点的例子。在图形2510中,右通路2512和左通路2514将被优化用于角度检测。对于该例子,噪声是额外的未校正高斯噪声,具有的变量等于1。假定的系统参数可模型化两个单像素通路,它们具有平行的光学轴线及已知的基线及视场。光学系统设计成使得单像素通路输出的强度由多项式限定,其中初始多项式具有两个系数(0阶数和1阶数),并且产生线性响应和场角度。初始通路响应是彼此的镜像图像,如通过图形2510可见的。
非已知值假定为系统增益G和目标角度。用于开始系统的克拉美-罗界作为目标角度的函数示出于图形2520中。响应2522作为场角度的函数而偏移或者变化。收集图形2500和2550被各自视为是"系统",作为衔接系统,因为它们体现了整个设计特征,这些特征包括系统增益、偏移及多项式代码的空间振动,这些多项式代码协作以通过以协作方式编码目标信息来形成期望的估计量变量。
在优化之后,目标角度的CRB作为度量,具有图形2530的2550的系统形成。在图形2530中,右通路2532和左通路2534被优化用于角度检测。用于每个通路的角度响应不再是线性的,导致CRB较低。用于CRB(通过非已知增益G标准化)的值为大约0.6(图形2560中的线2562),并且对于整个场角度还是统一的,因此是无偏移的。该值高于两通路相干系统的信息理论原则期望的值。两通路相干系统应该具有呈标准偏差的CRB,是单通路系统的CRB的1/2。或者,用于优化方案的CRB的全局优化应该是0.5*G。在这点上,设计人员能够接受非优化性能,并且继续添加系统复杂性,诸如将测量的参数的类型从多项式形成改变成正弦曲线,或者重构系统参数以使得估计的CRB能够达到理想的2通路性能水平。
尽管图25初始选择成实施为两孔径的两通路系统,每个通路具有单个像素,但是还可以考虑作为专用单通路系统。在实施方式中,单孔径系统可以是空间变量系统,在该单孔径系统中,相邻像素具有图25的强度对场角度响应。由于缺乏工具,空间变型系统通常是很难设计的。但是,通过将系统视为一系列分离通路,每个通路仅影响单个像素,通过这里公开的基于信息的设计方法和所形成的装置能够实现用于设计空间变量系统的相对简单的方法。在实现本发明的一个装置中,专用空间变量系统能够由3D索引、吸收、折射和衍射中的至少一者构建,使得在相邻像素上实现图25的角度响应。该系统的特定益处是,空间变量系统能够简单地直接安装到传感器上,使得简化制造及组装。
定位代码能够取决于特定系统目标而较复杂。在许多系统中,用于从不同成像通路查找匹配对象点的任务(或者对应映射问题)是难的。代码能够调整以改善快速可靠地查找图像对应的能力以及给出高分辨率估计。
图26是本发明的实施方式,描述了代码的构造,该代码能够实现窄FOV和宽FOV定位。基础代码2610是图25中图形2510的简单线性代码。该相同构造对于任何类型的代码都是有效的。在构造2600中,线2610示出了整个标准化场角度(水平轴线)与强度(垂直轴线)上的宽FOV线性代码。类似版本的呈模数格式的代码形成图26中线2620中的窄FOV代码。窄FOV代码有助于在成像通路之间的小邻接部分内区别或者对应图像点。窄视场代码可以是1像素、4x4像素、10x10像素等。宽FOV代码2620连同窄FOV代码2610一起使用以移除整个宽FOV上的不明确以及改善多分辨率处理。
在一个实施方式中,图形2630描述了窄和宽FOV代码通过乘法运算进行的组合。在另一实施方式中,图形2640描述了窄和宽FOV代码通过加法和缩放进行的组合。缩放用来确保强度值在0至1范围内。
图27是4通路编码系统的一个实施方式,其增加了关于对象位置的费雪信息。图形2710是四个编码通路的系统,其由图形2730的四个非负测量通路形成。这类似于图10中的系统,但图10中的系统具有3个通路而不是4个通路。
根据图形2730,由于添加偏移,通路是非负的,并且相位为90度以实现2pi对称。相比于2720的理想无偏移系统,信号的这种组合保持了信号子空间及多余子空间的正交性,如图形2740中所示。4编码通路具有关于对象位置的相同费雪信息或者CRB。
还能够使用定位代码来估计3D角度估计系统的单像素中的边缘角度及位置。用于每个成像通路的代码能够是对象边缘位置和方位(或角度)的函数,而不仅仅是所覆盖的像素的面积的函数。如果测量的像素差相比于噪声能够是大的,那么能够实现实际单像素多通路边缘估计。
图28是本发明的实施方式,描述边缘方向估计。由于每个通路的像素的方位及定位代码,测量的像素输出能够是边缘角度及面积两者的函数。在系统2800中,上排像素2810成正方形排列,下排像素2820成非正方形排列。在一个实施方式中,测量的像素输出是边缘所覆盖的像素的面积以及边缘与像素的角度的函数。或者,像素输出能够描述为用于每个成像通路的一些P(面积,theta)。该量能够从每个通路估计或者测量。在另一实施方式中,能够使用所覆盖像素的三个估计值以及边缘距像素的角度来直接解决边缘角度及位置的估计。或者,在有三个像素值并且知道用于每个成像通路的函数P(面积,theta)时,估计边缘的方位。在另一实施方式中,还能够使用该信息来使用图像区域增加估计精度。
在一个实施方式中,定位代码的实施能够是通过传统的光学件设计或者相位/振幅掩膜。定位代码能够通过专用"相对照明"轮廓来实施。这些能够通过光学件设计和/或位于光学件和传感器之间的相位/振幅掩膜来实现。由于传感器像素响应始终是主射线角度的函数,所以控制光入射到像素的角度的专用光学设计能够对接收到的强度与输入角度及像素角度响应进行编码。
在另一实施方式中,定位代码能够通过光学件设计实现。具有场角度的正弦曲线强度减少能够通过以下来设计:孔径在场中的投影、聚焦点对具有场角度的图像平面的角度、以及距对象和具有场角度的图像平面的距离。角度强度减少还能够设计为是主射线角度(CRA)和场中传感器不匹配的函数。该类型设计能够实现宽范围的正弦曲线相对照明轮廓。这些轮廓的设计连同信号处理及系统效果能够实现易于实施、SNR及估计准确度之间的折衷。
在另一实施方式中,通过放置在光学件和传感器之间的相位/振幅掩膜能够实现定位代码。安置在光学件和传感器之间的掩膜能够具有宽的柔性。用简单的光学系统,非传统响应是可行的。安置在传感器像素上或安置得靠近传感器像素的掩膜能够设计成使得在存在噪声的情况下能够测量子像素位置(对于点)及子像素角度及位置(对于边缘)。用光学件和传感器CRA优化结合的平板掩膜能够提供最大的柔性以及超精密的平板制造精度及低成本的体积量。
图29是本发明的实施方式,用于优化权重的设计空间以及像素数量。该类型设计尤其相关于这样的定位系统:SNR能够妥协用于像素的数量,SNR是尺寸、重量、功率及成本。曲线2910描述了2pi对称的4通路编码设计的标准偏差,作为测量的SNR及标准化角度FOV的函数。1.0的角度FOV对应于单个像素的瞬时FOV。当角度估计的标准偏差小于0.5时,子像素角度精度是可行的。在一个实施方式中,基于这些设计的系统使用失真光学件及1D线性传感器,4编码通路形成2pi对称的系统,类似图27的2730的系统。考虑交叉的曲线2910上的点,SNR为7。这导致角度分辨率的理想标准偏差为0.03像素。
所测量的SNR是以下因素的函数:对象或者目标的照明及范围、收集光学件的面积、光学件的非理想因素以及传感器的敏感度。
在传统系统中,像素大小通常设计成约匹配光学件的分辨率,由(lambda/D)给定。如果系统参数足以产生的SNR为约7,那么能够通过因子1/0.03或者33X来调节像素大小(或该FOV中的像素数量,或者光学放大率)。在一个维度上,能够需要少于33倍的像素。在具有类似相关参数的2D系统中,像素的数量能够降低33*33或者约1000X。
对于具有足够SNR的系统来说,像素大小及像素数量能够保持恒定,而光学件的大小可以降低,从而将SNR降低至子像素定位精度所需的水平。
图30是设计方法和交易空间的实施方式3000。存在大量子空间或者自由度3010,它们能够被优化以用于给定任务。在实施方式中,子空间或者自由度S1、S2至Sn例如是以下至少两者:波长、时间、空间幅度、视场、及曝光及样本计数。指示期望权衡的信号特性包括以下至少一个:估计的或者已知的振幅和偏移。确定交易空间3010中权衡的步骤还以圈示出于3000中。步骤1确定固定及可变自由度。在一个实施方式中,在传感器或者场移动的动态情形下,样本之间的时间可以是固定的,曝光及空间幅度中的至少一个是可变参数。给定一组参数及参数值,在步骤2估计感测系统所捕获的信息。在一个实施方式中,处理可以包括求平均的步骤以及傅里叶变换处理。在步骤3,估计处理的输出以用于信号相位、振幅、偏移、噪声及多余参数。给定参数组的状态,在步骤4,系统报告结果,还使用该结果来估计当前参数状态。根据需要可调节可变参数。在一个实施方式中,调节处理的空间幅度以降低多余参数的影响。在另一实施方式中,多余参数由以下至少一个组成:云、树、叶子、污染和灰尘。在另一实施方式中,调节曝光以实现几乎相等的偏移及振幅估计。
图31是本发明的实施方式,公开了测量应用。在序列3100中,能够执行至少运动性以及运动鉴别的编码定位系统处于初始位置3110,并且通过3D平移和俯仰、偏航和滚动序列的重定向而到达位置3115。在该实施方式中,系统在运动期间的期望输出是视场3120在x-y平面3130上的投影,x-y平面3130用于向下观看的采样系统。图形3150示出了这些视场的经校正的投影结果。在实施方式中,运动性以及运动鉴别系统在经历全局运动的同时估计以下至少一个:俯仰、偏航、滚动、x-平移、y-平移及本身的z-平移。在实施方式中,运动性以及运动鉴别系统在经历附接至另一对象上的全局运动的同时估计以下至少一个:俯仰、偏航、滚动、x-平移、y-平移及z-平移。在实施方式中,运动性以及运动鉴别系统估计以下至少一个:外部对象的俯仰、偏航、滚动、x-平移、y-平移及z-平移。
图32是本发明的实施方式,公开了测量应用。在一个实施方式中,编码定位系统3212是具有局部重叠视场3214的运动性以及运动鉴别系统,并且根据对象3218和表面3215被平移3210。在另一实施方式中,定位系统3222是具有非重叠视场3224的运动性以及运动鉴别系统,并且根据对象3228和表面3225被平移3220。在另一实施方式中,非重叠场彼此相切。在另一实施方式中,平移是经过感兴趣对象向前和向后方向中的至少一者。在实施方式中,定位系统3212和3222以一速率移动,并且通过比较对象场中相对运动的变化来感测固定的对象。在图32,在图形3250中如果已知了表面距传感器3212和3222为恒定距离,那么能够推出,两个视场以不同速率移动以随着时间形成位置测量中的间隙3252。在另一实施方式中,成对的视场3214和3224已知为彼此刚性相关,相对位置3252的差是以下至少一者:对象3218和3228相比于表面3215的相对表面高度的检测及测量、绝对表面高度的测量。在另一实施方式中,根据对高度、宽度、深度、俯仰、偏航和滚动中至少一者的测量,对象3218被定轮廓。在图形3260中,示出了左和右视场3214的差,其指示距对象3218的相对范围改变。示出了在向前运动期间,右传感器首先时时检测对象3218。尽管右传感器的斜度升高,但是左传感器的斜度可以在主要时间段保持恒定。该顺序可以颠倒以用于反向运动,如图形3260的第二时间半部所示的。
图33是本发明的实施方式,公开了测量应用。操作员3320使用装备有编码定位系统的仪器3325。编码定位系统形成参考视场测量3328以及对象测量视场3327中的至少一者。在一个实施方式中,参考视场测量3328包括天空的局部极化的量值3582以及角度3584。在实施方式中,视场3327捕获3D照片点信息3355。代码像先前公开的那样操作以进行对象位置3355在图像3350中的子像素测量。在另一实施方式中,代码操作以形成参考图像。在实施方式中,提供方法和装置用于执行长范围照片点测量,相比于检测器像素间距,在图形平面以高精度进行测量。
在类似测量中,主动编码系统形成参考视场测量3368以及对象测量视场3360中的至少一者。在一个实施方式中,编码系统使用视场3368定位测量系统。在另一实施方式中,编码系统定位感兴趣对象3362。在另一实施方式中,关于3362位置的信息用来通过用坐标变换3365转换坐标来定位另一对象参考点3370。在实施方式中,提供方法和装置用于从已知点到新点转换位置和方位参考信息中的至少一种。
图34是本发明的实施方式,公开了使用编码定位系统进行测量及控制。在系统3400中,编码定位系统形成参考视场测量3410及表面测量视场3415和3420中的至少一者。视场3410提供了相对及绝对方位及位置信息中的至少一种。在一个实施方式中,视场3415和3420可以协作以提供对表面3430分级操作的预览测量及事后测量。来自FOV3410的方位及定位信息从及来自FOV3415的表面信息能够用在反馈系统中以控制或者辅助控制安装有该系统的运载工具。系统3450还是安装在运载工具上的测量系统的实施方式。在系统3450中,编码定位系统形成参考视场测量3460及用于测量表面3480的表面测量视场3465中的至少一者。在另一实施方式中,系统3460和3465在GPS中断或者恶化的情况下提供定位信息。在另一实施方式中,系统3450提供了编码定位系统3470,编码定位系统3470检测及定位道路标记、电话杆、检修孔和天桥中的至少一个。在实施方式中,提供方法和装置用于高速公路信息的数据收集和数据简化。在实施方式中,提供方法和装置用于机器控制的方位和3D位置估计。
图35是本发明的实施方式,公开了使用编码定位系统进行测量及记录。方案3500图示了勘测结构的内部及外部。虚线3502图示了内部及外部任务之间的划分,路径3504是进入结构的入口,而路径3506横向于该结构内的第二位置。在一个实施方式中,操作员3510在进入门道3514的同时采用编码定位系统3512。编码定位系统测量操作员相对于周围环境的平移和方位,这提供了用于绘制操作员移动的相对运动和方位向量。在另一实施方式中,编码定位系统测量门道尺寸和门道位置中的至少一者。在处于正构建中的建筑物中,定位系统能够充当记录机构,用于记录结构及其特征的进度及准确度。在另一实施方式中,操作员3510沿着路径3504移动到位于该结构内且处于窗口3522和屋顶开口3524视场内的位置3520。在一个实施方式中,编码定位系统3具有的FOV3526测量屋顶开口尺寸及位置,FOV3528测量参考点3590还测量天空及天空线结构3594以进一步定位屋顶开口3524。在一个实施方式中,天空结构可以是天空3580的局部极化的量值3582以及角度3584。通过测量开口3524和其与结构外部的参考物之间的关系和方位,能够以高精度获得用于在远结构之间连接各结构、管线、出现走廊及通风之间的轨迹规划。在复杂的建筑物结构中,结构的各分散部分必须跨越长距离在以毫米级汇合,这种轨迹估计及规划在定模型及控制建造进度及精度方面是必需的。
在另一实施方式中,操作员3510从位置3520沿着路径3506再次移动至严格位于结构3550内部的一位置,并且不访问外部参考。在实施方式中,操作员利用具有视场3555的编码定位系统来观察细节3560和3565。细节3560和3565例如是对象以及视场内的可视结构,可视结构包括:壁及壁盖、地板及地板盖中的织物和随机结构,以及发光不连续引起的阴影和来自结构照明的高光。在实施方式中,操作员3510在没有GPS辅助的情况下能够在绝对坐标中绘出结构及该结构内的对象中的至少一者。在实施方式中,方法和装置用于执行远对象方位和3D位置估计中的至少一个以输入模型构建处理。
在图36的另一实施方式中,示出了使用编码成像通路来为人类观察者增加信息。在许多系统中,通过增加对比来增加用于人类观察员的图像信息。随着照明强度或者曝光长度在这些系统中的减小,对比不可避免地也减小,如3610中所示。从对象接收到的照明水平越低,对比越低,人类观察员越难理解、检测或者使用图像。在一个实施方式中,能够使用编码定位系统以通过融合其他域的信息来增加用于人类观察员的对比,相比于传统的成像系统,该其他域具有的对比对于照明水平不敏感。在另一实施方式中,编码极化系统具有的振幅对于照明不敏感,如图17的图形1700中所示的。显著降低曝光水平不会减小局部极化的振幅,并且会引起所测量信号的起伏噪声较低。与3610相关的极化信号的振幅分量示出于3620中。
在添加用于人类观察员的信息的另一实施方式中,极化测量向量的相位具有对比度,相位的对比度限定为从-pi至pi的范围,其对照明不敏感,只要能够可靠地估计出局部极化的振幅。与3610相关的信号的极化相位示出于3630中。
许多对象在极化域中具有自然信号或者签名。大致平滑的表面、人造表面、皮肤、玻璃及金属能够具有不同的极化签名,这些极化签名能够实现低成本的极化对比。在实施方式中,如果入射极化已知或者能够计算出来,那么还能够使用极化信号来估计对象的3D几何形状。在另一实施方式中,还能够使用极化信号作为对比-加强特征,并且将其与常规图像融合,或者极化信号的函数(诸如,极化信号空间边界的轮廓)能够与来自其他域的信号融合以辅助人类观察员。在另一实施方式中,还能够使用极化信号来监控变化检测,还能够使用其用于进行自动检测、识别及估计的计算机处理。
在图37的实施方式中示出了时间、空间及极化的混合以进一步检测、识别或者估计信号。框3710示出了相对于一些参考物的对象及极化测量PI。框3720示出了该对象已经相对于参考物发生移动,并且采取了另一极化测量Pn。在一个实施方式中,能够选取极化测量的顺序,诸如根据图3,而对象在运动,极化签名将包含由于空间运动引起的分量。框3730图示了景象,波长域具有大致低对比度。使用极化测量,能够通过使用极化量值以及角度并且还通过将局部极化向量估计融合至波长域来改善对比度,如框3740中那样。在一个实施方式中,极化签名的相位及振幅能够使用在低光情形下以增加检测或者定位的对比度。在另一实施方式中,当与静止对象相关的极化签名已知时,那么通过从每次测量图像选择空间点使得形成已知的极化静止签名,能够估计出对象的运动。在一个实施方式中,通过知道静止极化签名,能够补偿或者估计对象运动。
图38示出了本发明另一实施方式,系统3800图示了耦合至编码定位系统3820的高分辨率成像系统3810。在一个实施方式中,该耦合由主波束系统3810和3820组成。在一个实施方式中,高分辨率成像系统3810形成高分辨率图像3830,而编码定位系统3822根据形成系统3820的各编码定位传感器3822的布置来形成编码向量空间3860。在一个实施方式中,经由处理3865将编码向量空间3860与子图像3850比较,子图像3850是经由处理3840从基本高分辨率图像3830中的区域3835中提取出的。在一个实施方式中,处理3865将3860内包含的特征组定位至高分辨率图像3830。在另一实施方式中,使用特征组3860及高分辨率图像3830来形成图像3830中包含的景象的范围映射表。
图39示出了用于极化天空罗盘的设备的另一实施方式,其利用此处公开的编码设计及处理系统以估计当被非已知介质阻碍时天空的极化图,如图4先前公开的那样。系统3900具有编码定位成像系统3904,编码定位成像系统3904包含2x2布置的成像通路,具有重叠的视场3902。每个成像通路包含线性偏光器3930,线性偏光器3930定向成相对固定参考物处于特定角度。在该实施方式中,选择该角度以形成2pi对称采样的单位圆3908,单位圆3908能够进行这里公开的数据处理。在该情况下,标记为1至4的角度或者样本示出为作为偏光器角度3930,对应于在单位圆3908上的位置,它们处于90度相位间隔旋转(对应于作为分析器的物理偏光器的45度间隔旋转),产生了由系统3904形成的图像3920。用于2x2系统的处理如图3介绍的,其示出于图形3950中,其中每个样本被堆积以通过处理3975来形成向量V,处理3975通过4个图像3920的堆积从QXQ大小的窗口3922收集重叠的像素样本。在该实施方式中,V=[M1(1,1)M2(1,1)M3(1,1)M4(1,1)M1(1,2)M2(1,2)...M3(Q,Q)M4(Q,Q)],其中仅起初的少量样本示出于图形3950中。在这些样本中,图像或者数据"M"的数量对应于单位圆角度1至4,(x,y)位置对应于图像位置。为了将图形3950扩展成可用的数据量,选择每个图像中的QxQ窗口3922以用于收集数据。在QxQ窗口内的(x,y)的每个图像位置,对于每个图像M1至M4收集该位置处的像素强度并且将其布置成序列,从而形成4xQxQ长向量,类似于图15中的向量1530。在该例子中将Q选择为大值(>10),因为形成阻碍介质的云被认为是非常稠密的并且会极大地衰减天空极化信号。如先前在图15中示出的,然后对向量V进行傅里叶变换以形成类似于1545的正弦曲线波峰位置。用处理3970在整个图像上沿x,y滑动QxQ窗口并且从V提取傅里叶分量的角度,这样产生局部极化3990的角度,如从天空图像3920推导而出的。还能够通过有效的乘积和方法来计算经过傅里叶变换的特定组点的量值和相位。在该例子中,3990中角度的汇聚点代表逆太阳(anti-sun)。具有逆太阳的航向,并且知道日期的时间和地理位置,该设备提供了高精确度罗盘航向角,可用于运载工具控制、个人导航及其他需要精确航向估计的系统。该罗盘不依赖于磁场并且能够使用在存在大量铁产品的重型机器上,铁产品通常会干扰磁罗盘。
图40示出了用于极化天空罗盘的设备的另一实施方式,其利用此处公开的编码设计及处理系统以估计当被非已知介质阻碍时天空的极化图,如图4先前公开的那样。系统4000具有编码定位成像系统4004,编码定位成像系统4004包含3x3布置的成像通路,具有重叠的视场4002。成像通路中的八个成像通路包含线性偏光器4030,线性偏光器4030定向成相对固定参考物处于特定角度。在该实施方式中,选择该角度以形成2pi对称采样的单位圆4008,单位圆4008能够进行这里公开的数据处理。一个通路未被编码以形成无编码图像,并且在图像组4020中标记为‘b’。在该情况下,标记为1至8的角度或者样本示出为作为偏光器角度4030,对应于在单位圆4008上的位置,它们处于45度相位间隔(对应于物理偏光器的22.5度间隔旋转),产生了由系统4004形成的图像4020。用于3x3系统的处理如图3介绍的,其示出于图形4050中,其中每个样本被堆积以通过8个图像的堆积收集重叠的像素样本来形成向量V。在该实施方式中,V=[M1(1,1)M2(1,1)M3(1,1)M4(1,1)M5(1,1)M6(1,1)M7(1,1)M8(1,1),M1(1,2)M2(1,2)...M7(1,2)M8(1,2)M1(1.3)...M7(Q,Q)M8(Q,Q)],其中仅起初的少量样本示出于图形4050中。在这些样本中,图像或者数据"M"的数量对应于单位圆角度1至8,(x,y)位置对应于图像位置。为了将图形4050扩展成可用的数据量,选择每个图像中的QxQ窗口4022以用于收集数据。在QxQ窗口4022内的(x,y)的每个图像位置,对于每个图像M1至M8收集该位置处的像素强度并且将其布置成序列,从而形成8xQxQ长向量,类似于图15中的向量1530。在该例子中将Q选择为大值(>10),因为形成阻碍介质的云被认为是非常稠密的并且会极大地衰减天空极化信号。然后对向量V进行傅里叶变换以形成正弦曲线波峰位置,如图39中的先前例子那样。这是一个与图39的系统类似的处理,除了3x3构造允许捕获的角度为两倍的处理角度,如在图形4050中显而易见的那样。更多角度样本能够实现更高的SNR,或者降低用于更大空间分辨率的Qf,而不会牺牲SNR。用处理4070在整个图像上沿x,y滑动QxQ窗口4022并且提取数据的傅里叶变换的角度,这样产生局部极化4090的角度。局部极化的角度是由8样本周期限定的傅里叶分量的复向量的角度,如从天空图像4020推导而出的。因为Q同于图39中的,所以结果4090相比图39中的3990具有更高SNR以及更少噪声。在该例子中,4090中角度的汇聚点代表逆太阳。具有逆太阳的航向,并且知道日期的时间和地理位置,该设备提供了高精确度罗盘航向角,可用于运载工具控制、个人导航及其他航向估计用途。该罗盘不依赖于磁场并且能够使用在存在大量铁产品的重型机器上,铁产品通常会干扰磁罗盘。
图41描述高速定位系统,其具有毫弧度角估计精度、小尺寸和低成本。两个系统4101和4102安装在一设备上,设备诸如为控制系统的臂或者吊杆,其中需要各组平行系统的相对距离以及角度。每个系统由以下组成:两组编码高速角度估计传感器光计量仪以及照明设备(诸如LED)。光学件通过使用专用相对照明4110形成空间变量测量。传感器及照明LED能够在窄UV、IR或者可见波长下操作,从而确保在系统的视场下不存在其他可能源。LED和用于编码估计系统的收集光学件4122以及光计量仪4120的视场足以覆盖平行系统的期望相对运动。该特定例子具有的FOV为60度或者为其正负30度。编码估计系统具有专门设计的相对照明和场角度,如4140中所示。相对照明4141从对象是同轴时为1.0起变化至对象处于30度时为0.8。高速单像素检测器4130测量v1时测量v1给定的对象角度的估计为v1*K1+K2,其中K1及K2取决于到达估计系统的孔径的功率总量、检测器效率以及特定代码。通过用光计量仪来测量和校准到达孔径的总功率,能够求得常数K1及K2。通过用光计量仪重复测量接收的功率,能够看出由于电波动、大距离振动、大气条件等引起的任何功率变化。
图41的光学系统的规格如下(在Zemax镜头单元中),其中CSBR是溴化铯,KCL是氯化钾,它们都能够被压缩模制:
该专用成像系统的MTF非常高,如4150中所示。衍射限制值由4152给的,同轴MTF由4151给的。离轴MTF类似。
图41中的特定单像素传感器、LED及光学构造对于同轴对象具有的组合SNR是1/500,或者一个零件为500。于是,角度估计的不特定性由约[30度/500/0.2变量]或者大约5毫弧度给定。使用较大的收集光学件、更高功率的LED或者更有效的检测器能够更多地增加角度精度。根据4103,知道基线间隔D及两个对应编码估计系统的坐标的话,可得出两个估计线性方程,它们代表对象4106(x3,y3)距基线的两端的方程。通过y3=m1x3+b1=m2x3+b2结合用于线4104和4105的两个估计方程,可得出对远源(x3,y3)以及距LED的距离及相对角度的估计。因为存在平行估计系统,所以4102还能够用来计算距4101的LED的相对范围以及角度。能够对两个估计由于噪声的小变动求平均,从而降低最终测量的不特定性。4101和4102的估计范围以及角度中的任何大差异可指示一个或另一个系统有些问题,或者指示一些外部因素(如第二距离源,如太阳)干扰测量。通过观察从光计量仪接收到的相对功率,能够理解和校正许多差异。
逐步算法是:
1、用光计量仪来校准编码像素传感器:V1*K1-K2=估计角度
2、估计LED相对于系统基线和坐标系统的线方程
3、估计LED用于对应估计系统(y2)的方程
4、通过y3=m1x3+b1=m2x3+b2来确定系统的方位(x3,y3)
5、比较/平均方位估计和对称系统。利用对称性。
图42示出了用于使用此处公开的编码设计和处理系统进行成像的设备的优选实施方式。系统4200包括编码定位成像系统4204,编码定位成像系统4204包含2x2布置的成像通路,成像通路具有重叠的视场4202以及成像模型M=C*I,其中M是采样数据的矩阵,C是描述代码空间的矩阵,I是对象强度值的矩阵,*指代矩阵乘法。
每个成像通路包含像素水平灰度级强度代码4230,该代码基于正弦及余弦曲线,移相是135度,方位是0和90度。对于w=pi*(2/像素大小)及f=135度,用于通路1至4的代码C1至C4是:
C1=1/2sin(w*x+f)+1/2
C2=1/2cos(w*y+f)+1/2
C3=C2T
C4=C1T
此处周期被选择为使得在具有独立变量x及y的情况下,正弦代码的一个周期占据一个像素宽度。独立变量沿用至特定通路中的所有像素。当独立变量x及y被选择为使得它们是+(像素大小/2)及-(像素大小/2)的整数倍时,每个像素被4231、4232、4233和4234中图示的两个灰度级值进行e修正,4231、4232、4233和4234中示出了用于每个代码的单像素的相位及振幅。例如,4231示出了整个单像素上的代码图案的放大图,其中右半像素是无编码的,左半像素具有在整个像素上衰减的灰度级值。在该例子中,选择角度以形成空间频率空间4208的相位及振幅的对称采样,空间频率空间4208能够进行这里公开的数据处理。标记为1至4的样本示出为格雷代码格雷代码4230,对应于在频率空间4208中的位置,并且产生由系统4204形成的图像4220。频率空间4208示出了编码系统中实现的复采样是允许像素空间频率的2X。未修正的像素允许4208中标记为"b"的中央正方形,而编码的像素则通过使用每像素2个强度值来以因子2推动测量谱响应。在图43的下一例子中,谱响应被进一步推动至3X像素采样频率。在该情况下,中央正方形"b"的响应不被采样,而是通过一起平均所有4个编码通路来实现。相反,在图43中,使用无编码通路来采样实际偏移值或者负像素分辨率。
系统4200的编码像素基本上是以高于物理像素限定的最大空间频率的空间频率采样复杂振幅。尽管任何一个对应的编码像素对4231/4234或者4233/4232能够产生对4208限定的空间频率区域的量值的估计,但是需要代码对确定空间频率区域的量值及相位。在实施方式中,编码定位系统提供了测量向量,该测量向量代表超出检测器像素的空间频率限制的复傅里叶空间频率分量。
图42中用于2x2系统的处理正如图6和图23介绍的,示出为通过4个编码图像的堆积收集相邻像素样本形成向量V。在该例子中,处理4270从每个QxQ窗口4222采用4xQxQ样本,每像素Q=2有2个灰度级值(或代码),矩阵V是:
在这些样本中,图像或者数据"M"的数量对应于频率域区域1至4以及通路的数量,(x,y)位置对应于编码图像的位置。一组代码4230的一个重要特性是,所有2D代码之和是常数。于是能够使用代码测量之和作为4208中b标记的基带空间频率值的直接估计。如4280中描述的,对偏移或者基带像素值的估计通过编码像素值的加权和来确定。然后使用该估计的偏移从测量的数据矩阵M移除该偏移。通过从测量的代码矩阵(C-1/2)移除该偏移能够是双极的,并且在理想情况下由正交的正弦曲线构成。在没有因子1/2或者偏移的情况下,代码矩阵分量是正交的正弦曲线,具有理想逆阵,理想逆阵具有最小的噪声效果。实际上,理想代码矩阵(C-1/2)是复傅里叶变换,逆阵是测量数据的线性组合的复傅里叶逆变换。
在4280中使用代码(C-1/2)的逆阵模型变换向量V以形成对全分辨率图像中像素的估计,其中重构模型为:Iest=(C-1/2)-1(V-b/2)+b/9,此处值b给定为sumi(Mi)/2。理想的是,(C-1/2)-1是2D傅里叶逆变换矩阵。
在整个图像上沿x,y滑动QxQ窗口并且通过(C-1/2)-1乘以(数据矩阵V+偏移)来获得强度估计,这样可产生全分辨率图像4290。这使得设计用于定位任务的角度编码系统还可以提供全分辨率图像。
此外,在观察视场内的单点源对象的编码定位系统4200中,每个像素由于强度编码能够估计距对象的角度,如先前在图41中演示的那样。这为图42中的系统(具有许多像素)提供了以子像素精度估计距点对象的范围并且形成最终图像的能力。如图41中描述的,具有已知基线的多个编码像素能够执行范围估计,因此图42中具有多个像素及代码的系统能够形成如图41中那样的范围估计以及形成如图42中那样的全分辨率图像。对点或其他已知源(诸如反向反射器,或者主动源,诸如LED)测距并且同时成像点源周围精确登记的环境,这对于在目标应用中勘测、绘图及定位远程对象是很关键的。图43示出了用于使用此处公开的编码设计和处理系统进行成像的设备的优选实施方式。系统4300包括编码定位成像系统4304,编码定位成像系统4304包含3x3布置的成像通路,成像通路具有重叠的视场4302。9个成像通路中的8个成像通路包含像素水平灰度级强度代码4330,该代码基于偏移的正弦及余弦曲线,移相是pi/12弧度,方位是0、45、90和135度,一个通路是无编码的。在该实施方式中,选择代码以形成复频率空间4308的对称采样,复频率空间4308能够进行这里公开的数据处理。在该情况下,标记为1至9的角度或者样本示出为格雷代码4330,对应于在复频率空间4308中的位置,并且产生由系统4304形成的图像4320。每个像素被4334和4337中图示的三个灰度级值修正,4334和4337中示出了用于每个代码的单像素的相位及振幅。例如,4334示出了整个单像素上的代码图案的放大图,其中像素的顶部1/3严重衰减,中间1/3次衰减,底部1/3以第三灰度级值衰减。像素代码4337还示出了仅三个强度值,此时布置成对角结构以填充频率空间4308,对角频率含量由正方形1、3、7和9指示,它们对应于4330中的对角采样代码。对于w=pi(2/像素大小)及f=pi/12,用于通路1至9的代码C1至C9是:
C1=1/2sin(w*x+f)+1/2,处于-45度旋转
C2=1/2sin(w*x+f)+1/2,处于0度旋转
C3=1/2sin(w*x+f)+1/2,处于45度旋转
C4=1/2sin(w*x+f)+1/2,处于90度旋转
C5=1
C6=1/2cos(w*x+f)+1/2,处于0度旋转
C7=1/2cos(w*x+f)+1/2,处于-45度旋转
C8=1/2cos(w*x+f)+1/2,处于90度旋转
C9=1/2cos(w*x+f)+1/2,处于45度旋转
此处独立变量x被选择为是根据一个像素的三个样本,并且沿用至每个通路中的所有像素。在该例子中,正弦曲线的周期等于一个像素的维度。正弦曲线的周期能够是像素周期的整数倍,或者能够对应于由成像光学件及代码制造支持的任何更高或更低空间频率。用于3x3系统的处理4370类似于图42的系统,并且示出为通过9个图像4320的堆积收集相邻像素样本在QxQ窗口4322形成向量V。在该实施方式中,Q=3,并且:
在这些样本中,图像或者数据"M"的数量对应于频率域区域1至9以及通路的数量,(x,y)位置对应于图像位置。尽管能够使用任何一个对应代码通路(诸如2/5、3/9、1/7)来直接采用4308中空间频率区域的量值,但是需要采用该组,并且估计特定空间频率区域的量值及相位二者。能够将空间频率区域调节成光学系统及代码制造将允许的基本空间频率。
增加分辨率的图像首先由估计用于每个像素的偏移或者基带分量形成。这能够通过标记为5的无编码通路的值来实现。8个代码还能够设计成使得它们的和在二维中是常数,诸如图42中那样。无编码通路值和来自代码之和的经估计的偏移值二者能够合并以降低噪声效果。然后使用代码(C-1/2)的逆阵模型加上偏移的尺度来标出及变换测量向量V,以形成对全分辨率图像中像素的估计。在整个图像上沿x,y滑动QxQ窗口4322并且通过(C-1/2)-1乘以(V-b/2)并且加上b/9来获得强度估计,这样可产生全分辨率图像4390。理想的是,代码(C-1/2)的逆阵是2D傅里叶逆变换矩阵,对测量噪声具有最小影响。这使得设计用于定位任务的角度编码系统还可以提供高质量的全分辨率图像。结果4390还包含感兴趣点源4392。在图44中详细讨论对该感兴趣点源的测距。
图44是图43的本发明实施方式,公开了使用各组单像素进行测距。先前在图18和图41中已经公开了使用编码进行单像素范围估计,此处将更详细描述。系统4400包含4410,4410收集对象,对象包括定位在视场中的已知源(LED或者反向反射器)。图43的系统4304用作该设备。4420示出了来自捕获反向反射器通过的采样像素的射线的灰度级强度代码段。射线通过的代码的特定区域可确定检测器检测到的对象强度值的衰减,并且示出为小圈4430。小采样数据M1(x,y)至M9(x,y)集中于反向反射器上的小区域还示出为4440。在4440,每个通路产生了围绕反向反射器的像素的区域,用小圈标记为1至9。在4440中还给出了集中于反向反射器上的像素的强度值,对于通路1至9来说,它们分别是101、96、77、65、177、77、38、64和134,其中箭头指示中央像素。使用检测到的任何通路的强度结合由通路5(无编码通路)所测量的对象强度允许人们通过4420中的适当灰度代码区域来追踪来自4440中的中央样本的射线4425,4420中的适当灰度代码区域成一角度,该角度指示点源的方向。所有射线4425的交叉代表范围以及点源的x、y位置。
在图44,对象代码相对于像素及光学件的位置以及距对象的适当距离是需要已知的。在许多情况下,一些或者所有这些参数可以不是起初就已知的,诸如在系统具有制造误差或者由于温度或者振动效果而发生了机械移动的情况下。对象的范围也能够改变。控制由于系统的参数引起的非理想因素可以称为是校准。控制由于对象的参数(如距离)引起的非理想因素可以称为是聚焦。然后将代码矩阵C的值和方位调节为对应于测量V。
理想代码矩阵C或者(C-1/2)的矩阵条件数由于非理想制造及组装因素很可能将减小,从而降低成像通路正交性的程度。如果影响代码矩阵C的制造及组装误差的不特定性提前已知,那么代码矩阵能够专门设计成在整个误差范围内最大化最小预期的奇异值,从而使最终系统4500对来自制造及组装的非理想因素不会相对敏感。该设计能够通过优化代码来进行,使得在因制造及组装的预期误差范围之后,诸如通过蒙特卡罗统计试验,校准之后的最终代码矩阵具有最大化的最小奇异值,因而具有最大程度的正交性。
图45图示了根据范围的函数进行聚焦和编码。主射线4510和4511来自对象,对象的相对距离相比于镜头阵列4501的尺寸基本是无穷大的。主射线4520和4521与相对近源相关。传感器4504的测量值在远对象及近对象之间改变,正如从主射线4531/4532和4533/4534在图像平面中位置的改变以及代码4502和4503看出的。代码4502和4503作为位置的函数而空间可变,这类似于图44的4420的代码。3个镜头/代码/传感器的阵列大致代表图44中系统4400的中间排,中央通路不具有代码。随着对象范围的改变,代码矩阵C给定的图像成形模型会确定性的地改变以反映实际形成的样本。实际上,代码矩阵C变成C(范围),或者代码矩阵是特定对象范围的函数,C(范围)的排和列转换以引起对置在特定空间位置的对象范围的确定性改变。在传统成像系统中,镜头和图像平面之间的距离被机械地移动以改变焦距。在编码多孔径系统中,如图43,作为范围的函数电改变代码矩阵C(范围)然后重构建图像,这可实现焦距的改变而不需物理地移动各部件。
如果对象范围已知并且校准代码矩阵C已知,那么可以形成适当的图像成形矩阵C(范围),并且能够执行对应高分辨率图像或者对象定位。如果对象范围不是已知的,那么能够使用一系列范围值通过作用在标度测量V上的假逆阵(C(范围)-1/2)来确定"最好聚焦"图像。通过比较形成的图像的最大空间频率含量或者最大MTF,例如,能够形成对象范围及清楚图像的估计。当空间频率含量最大时,对象能够认为是很好的聚焦。这类似于在传统成像系统中机械地移动镜头以形成自动聚焦时进行的处理。对于图像中的每个像素以及对象的每个类型,能够执行范围估计因此执行聚焦。当对象具有宽范围对象并且在最后图像中的所有相关区域上找到最好聚焦时,编码的多孔径系统形成延伸深度的聚焦图像。聚焦还能够针对图像的小区域进行,相同的估计范围值用来整个图像。将每个通路编码为范围的函数能够对于不在无穷远处的对象实现聚焦。将每个通路编码为范围的函数,能够实现场图像的延伸深度。将每个通路编码为范围的函数,能够实现对图像中点的范围估计。
图46是用于航位推测的导航系统的实施方式。系统4600图示了自动滚动机器人推车4610,其沿着服务路径4606移动,服务路径4606穿过道路4602下方的隧道4604。在隧道外部操作期间,推车通过使用提供位置信息的GPS4615以及提供罗盘航向信息的极化天空罗盘4618来进行导航。公知的天空极化图是对称的,所以在该例子中极化罗盘仅图示一部分天空,并且使用图案对称规则来确定航向角度。推车由铁制成,铁材料沿着路径移动,因此磁罗盘是非常不精确的。只要存在一部分天空,极化天空罗盘4618就可提供航向信息。在隧道内部,GPS或天空视图可以获得以用于导航。惯性导航是公知的,很容易理解的是,它会由于偏移很容易故障。例如,惯性导航系统包括加速计和速度陀螺仪,信号被集成以生成对于x、y、z以及滚动、俯仰及偏航的位移估计。为了消除惯性系统在隧道内航位推测时的偏移和不精确,系统4600使用光学运动单元4620、4622和4625操作,光学运动单元4620、4622和4625构造为确定视场中的运动,如图9初始公开的。在该情况下,图9介绍的基本构思构造为提供导航,还耦合此处公开的其他系统以相比现有技术提供若干益处。
4625包含光学件4662、检测器4664和光流处理引擎4666,像4625这样的单个系统所检测到的运动是引起图像偏移的任何运动,并且能够由光流处理机4666检测。4664中检测器元件的数量优选小于例如32x32以能够进行有效的光流处理。像素还可以是大的以能够进行有效的光捕获,因为图像分辨率通常不是最终目标。单个镜头具有定焦于无穷大的30度视场,具有32x32检测器及基于数字信号处理机(DSP)的关联引擎,其空间地相关两点的时时图像以确定全局特征的偏移,这是用于4625的一种简单实施方法。DSP板上的存储器用来存储图像。4666的另一实施方式是使用传统的基于FPGA的梯度光流算法。因为梯度算法是基于假定光点在其移动时不会改变强度,所以在检测器上使用编码强度掩膜不是用于该算法的选择。如图9中描述的,本发明的一个实施方式是将若干光流引擎设备布置在刚性主体周围,在该情况下刚性主体是自动推车4510。推车的刚性框架件将区分单元4620、4622、4625中检测到的运动耦合至运动模型用于推车的平移及旋转。例如4630是具有推车4610的系统4600的顶视图。轴线由附图的平面中的Y及X示出。当推车在隧道中向前移动时,光学运动单元4620和对4625都将贯彻到相同dx值。如果推车不是向前径直移动而是例如偏向一侧,观察到的dx值将在推车一侧增加而在推车另一侧减少。例如,指示径直向前运动的样本可以像是:dx4520=[1 2 2 3 3],dx4525:[1 2 2 3 3],即dx中的步长是相同的,在该例子中推车加速,因为因为dx值增加。朝向4620的增加偏移可以像是:dx4520=[1 1 2 2 3],dx4525:[1 1 2 1 1],如从两个信号的差可看到的,偏移开始围绕4th样本,即dx4520-dx4525=[0 0 0 1 2]。推车的控制系统现在能够采取正确的行为以转向并且避免偏移。如果推车仍偏离中心,那么差将仍是非零,但是将是用于径直向前轨迹的恒定值。在该情况下,推车的控制系统还可以选择通过驱动dx4520-dx4525回到零来使其重新居中。光学运动单元提供了用于导航的航位推测。
根据侧视图4640,垂直运动由4620和4625中的dz指示。还能够测量俯仰、滚动及偏航。4620和4625之间dz值的差的变化指示滚动行为。在该例子中俯仰由来自一对传感器4625的dz值的非零差指示。偏航由一对传感器4625的dz值的差确定,虽然比较弱。还可使用推车轨道上的传感器4622以更大精度测量偏航。4622示出于侧视图4640中,朝下倾斜以观察表面4606。传感器4622将测量向前运动作为dx以及横向运动作为dy。取决于观察地面的角度,Z向的运动将还影响4622,在该情况下通过dz测量能够确定高度。
因为光学运动单元是基于成像系统,所以它们能够还捕获简单图像并且记录该应用中的隧道。所捕获的图像可以是如先前描述的编码图像以进行子像素测距。关于表面以及算法结果的细节也可以提供至推车,如图9先前描述的。在该例子中,关于细节的SNR的知识能够用在引导算法中,以丢弃变脏的传感器或者不用看大量的文本就执行光流计算。
图47是极化罗盘的实施方式。布置4701是时间采样极化罗盘,由用商用CMOS工业USB3连接的摄像机4710形成,标称主体尺寸是A=35mm,B=35mm。还具有工业标准"C/CS"镜头安装座4711以及位于摄像机主体的中心中的工业标准1/4"-20TPI螺接安装孔4713。摄像机4710中的传感器是Semi VITA1300CMOS 1.3兆像素,1/2"传感器格式,4.8μm像素大小,全局快门以最大150帧/秒生成1280x1024像素。镜头4715的标称尺寸是C=34mm,D=32mm,工业标准"C/CS"镜头安装螺纹4714螺接入工业标准"C/CS"镜头安装座4711中。镜头4715可以是施耐德光学镜头f/1.4,焦距8mm,紧凑的C-安装镜头,标称视场K=60度,前螺纹4716接收公制螺纹M30.5x0.5,滤镜4719和4719a具有M30.5x0.5匹配螺纹4718。在该布置中滤镜4719是线性偏光器,具有95%效率、30%传递,标称尺寸是E=32mm,F=10mm,例如是来自Edmund光学的NT46-574。滤镜4719a是蓝色带通滤波器,例如是Hoya B-440或者等同结构,通带在395nm至480nm之间,标称尺寸是G=32mm,H=5mm,例如是来自Edmund光学的NT46-547,安装至滤镜4719,滤镜4719具有镜头安装螺纹4718a。蓝滤镜4719a阻止红光和绿光,红光和绿光在冲击偏光器滤镜4719时不会被很好地极化。线性偏光器4719位于镜头的外侧,因为其易于用M30.5x0.5螺纹安装在这里,还因为偏光器反射或者吸收光,如果偏光器在镜头4715和摄像机4710之间的话,它会在成像路径中引发杂散光或者在传感器周围引发热,而这些会降低信号质量。而且,每个视场可以无法成像全天空,这是由于方案4770中诸如4772的阻碍。在该情况下,4771中可见的天空极化图公知为具有至少一个对称轴线。在该情况下,4775中的虚线代表使用关于水平线对称的规则重构建的用于全视场极化图。这使得在存在障碍的情况下设备可形成天空的全极化图,还可无需获取完全的无障碍视图,使用天空极化对称的知识就可确定航向角度。
摄像机4710经由USB3线缆4750供电,USB3线缆4750塞接至便携式电脑4780。便携式电脑4780例如由电池4799供电,并且使用因特尔核心i5,CPU2.5GHz,RAM4GB,32位操作系统。便携式电脑4780运行的算法由先前公开的信号处理块构成。算法首先通过与用户相互作用以旋转偏光器4718同时用摄像机4710及具有滤镜4719和4719a的镜头4715获取图像来采样4781中的数据。用户选择的极化角在单位圆上被采样,单位圆呈统一的形式,如先前公开的。要求用户尽可能快地采样以避免因例如云、树、鸟和飞机等移动产生的时间问题。摄像机4710还应该使用安装孔4713安装至三脚架或者其他固定结构以避免在后续曝光期间摄像机的运动。接下来,算法将4782中的数据分类,如先前用于极化处理公开的,从而在用于Mk(x,y)图像值的k下收集样本。8个极化样本成QxQx8长度向量V,4782中用于在QxQ窗口中堆叠数据的示例代码是:
for y=l:Q,for x=l:Q,for a=l:8,V(k)=M(y,x,a);k=k+l;end,end,end
其中,M中的第三尺寸是图像值,并且被索引的方式类似于Matlab软件如何自然地布置3D矩阵。QxQ区域跨过x,y中的图像组以形成全视场极化角及量值结果。算法然后通过使用标准FFT(快速傅里叶变换)技术将4783中向量V进行傅里叶变换,从而产生代表向量V的谱内容的Q*Q复数值。谱内容称为S,布置于向量中,其中DC值之后首先是具有增加频率索引的正频率系数,然后是负频率系数。感兴趣系数是S的前半部,所以4784中的算法然后通过选取索引Q*Q*8/8+1或者S(Q*Q*8/8+1)处的量值及相位角度系数来从S中选择感兴趣频率数据,其中1/8是由于用户在采样部4781中选取8个图像。然后该算法在4785中显示用于该QxQ区域的量值以及角度,并且QxQ区域跨过x,y中的图像组以形成全视场极化角及量值结果。
布置4702是空间采样的极化罗盘,与布置4701共享许多特征,通过使用呈2x2布置的四个摄像机、镜头及滤镜(4702的侧视图中仅示出了两个,其他两个摄像机、镜头及滤镜在所示的一个后面)。摄像机4720和4730与4710相同,镜头4725和4735与4715相同,滤镜设定4729和4739与4719+4719a相同,除了线性偏光器4729和4739彼此成45度。因此四个摄像机在0度、45度、90度、135度采样,将通过下述算法同步获取图像。在该布置中,摄像机4720和4730还安装至共用刚性板4740,1/4”-20TPI安装螺柱4741和4742匹配安装孔4723和4733。板4740例如是60mm x 60mm x10mm厚的铝板。摄像机4720和4730由USB 3线缆4760从便携式电池4799供电,还通过线缆4760将数据发送回计算机。其他两个摄像机及线缆未示出。在该布置中,便携式电脑4790中的算法(该便携式电脑与便携式电脑4780相同)是基于空间采样的而不是基于时间采样的。该算法首先通过与用户相互作用以使用所有四个摄像机获取同步图像而采样4791中的数据。视场J与先前描述的视场K重叠并且尺寸类似。通过获取同步图像,先前描述的时间采样问题(对象运动和采样装置)在很大程度上可减轻,至少在系统的快门曝光时间方面。算法4792、4793、4794和4795的剩余部分类似于分别在时间采样系统4782、4783、4784和47895中公开的那些。在该例子中,有4个样本,4个极化样本成QxQx4长度向量V,4792中用于在QxQ窗口中堆叠数据的示例代码是:
for y=l:Q,for x=l:Q,for a=l:4,V(k)=M(y,x,a);k=k+l;end,end,end
在4793,再次形成向量V的谱内容S。4794中的算法通过在索引Q*Q*4/4+1或者S(Q*Q*4/4+1)处选取量值及相位角系数来从S中选择感兴趣频率数据,其中1/4是由于在采样部4781中产生4个图像的布置4702。本领域的技术人员能够明白的,时间采样布置4701易于扩展到空间采样布置4702,4702能够易于扩展成包括8个摄像机+镜头+滤镜子系统,其中偏光器角度可以优化地布置成22.5度而不是45度,相比于4个图像这可在单位圆上提供更细的采样。
在另一实施方式中,摄像机4710、4720和4730包含内置式处理,诸如工业"智能"摄像机。这种摄像机提供了能够执行一些基本预处理的车载DSP或FPGA。对于使用这种车载处理在便携式电脑4780或者4790外部执行有用的预处理步骤是,在传递至计算机之前从摄像机读出像素。推荐的读出操作是将相邻像素相加在一起以生成更小图像,在该图像中,每个读出的结果包含相邻像素的A/D计数。该相加处理对随机噪声平均化,并且以空间分辨率为代价提供更高SNR的极化信号。因为极化信号随天空缓慢变化,所以这是一个用于提取诸如因云和树木引起的低SNR信号的有用技术,同时可减轻便携式电脑接收及读出像素的负荷。车载摄像机处理机与下游便携式电脑之家的这种处理分配允许便携式电脑被简单的DSP或者FPGA以及外部电池供给所替换。本领域的技术人员能够认识到的是,执行像分类数据Mk(x,y)这样简单的算法以及计算傅里叶转换的便携式电脑能够易于被FPGA或者DSP替换。本领域的技术人员还认识到的是,因为单个谱系数从傅里叶数据中提取,所以FFT算法还能够被感兴趣正弦曲线的内积替换,还可将其视为一种类似于从谱估计提取单个正弦曲线的窄带滤波操作。
图48是光学运动及运动性单元的实施方式,如先前附图中公开的那样具有5个臂,由两个电路板4801和4851组成,两个电路板4801和4851经由连接器4810以90度角连接。基本电路板4801具有的尺寸为H1=68mm、W1=118mm。延伸电路板4851具有的尺寸为H2=68mm、W2=60mm。黑圈示出了光学件4821、4822、4823、4824和4825在每个电路板上的位置。光学件是用环氧树脂胶合至电路板下侧的铝安装件中的工业标准M12镜头。基本电路板光学件4821、4822和4823的焦距为2.2mm以生成视场A。延伸板具有的光学件4824、4825的焦距为8mm以生成视场B。基本电路板还包含微控制器4860,微控制器4860基于8位Atmel ATmega 328的微控制器,操作于3.3V和8MHz下。控制器4860从镜头下方的传感器收集dx、dy信息。传感器安装垫在电路板布局上明显的。镜头后面的每个传感器是AvagoADNS-3080传感器,具有30x30图像阵列及光流引擎。传感器安置成在基本电路板上彼此成120度,而在延伸电路板上彼此成180度。该布置用来将光学轴线在基本电路板上布置得尽可能靠在一起,具有的120度旋转提供了对dx、dy采样差异的正交方向的全采样,同时还在延伸板上提供最宽分隔的成像系统以用于光学轴线的最大空间差异。这增强了对通过传感器对的移动对象的区分,例如同时执行如图32演示的范围轮廓化,同时仍允许简单的双侧FR4电路板上的电路径。光学安装件用环氧树脂胶合至电路板的一侧,镜头可通过电路板中的孔提供虚像。用于每个镜头的传感器安装在电路板上与镜头相反的一侧,传感器面向所述孔,通过电路板中的孔观察虚像。图形4891中的侧视图及顶视图进一步图示了用于组装系统的各部件的位置。在该构造中,系统作为光学运动及运动性单元而操作,具有5个臂,三个传感器向下看,两个传感器向外看,如图21先前公开的那样。利用图48的物理构造,可看到的是,构建光学运动性以及运动检测系统现在是相当明确的,已经完全描述了其构思。该系统由串联的3个AAA或者4.5伏的电池供电,使用基本电路板上的电压调整器在500mA下向控制器及所有传感器提供3.3V。该系统还经由串行口传递微dx、dy、dz原始数据、经处理的数据、以及原始或者经处理的图像数据。处理例如是将来自各个传感器的dx、dy、dz信号分解为用于刚性主体(刚性主体在该情况下是基本电路板+延伸板)的全局运动,遵循图9之前公开的分解类型,并且提供基于Arduino编程语言的下述ATMega代码例子。在该代码例子中,全局gx1,gy1,gx2,gy2,gx3,gy3分别是每个光学件4821、4822、4823积聚的全局x、y位置,其中积聚是分解的dx和dy运动随时间的积聚。此外,向量的分解取决于以下代码中的当前全局角度”gT”,因此该角度在每个周期还被更新。
#define r30(30*PI/180)//30degree in radians
#define r60(60*PI/180)//60degree in radians
gx1+=(float)dxl*cos(gT)-(float)dy1*sin(gT);
gy1+=(float)dxl*sin(gT)+(float)dy1*cos(gT);
gx2+=-(float)dx2*cos(r60+gT)+(float)dy2*cos(r30-gT);
gy2+=-(float)dx2*sin(r60+gT)-(float)dy2*sin(r30-gT);
gx3+=-(float)dx3*cos(r60-gT)-(float)dy3*cos(r30+gT);
gy3+=(float)dx3*sin(r60-gT)-(float)dy3*sin(r30+gT);
//更新全局角度
float theta01=atan2(gy2-gy1,gx2-gx1)+60*PI/180;
float theta02=atan2(gy3-gy1,gx3-gx1)+120*PI/180;
float thetal2=atan2(gy3-gy2,gx3-gx2)-180*PI/180;
//平均角度使用真实/图像以避免包围问题
float re=cos(theta01)+cos(theta02)+cos(thetal2);
float im=sin(theta01)+sin(theta02)+sin(thetal2);
gT=atan2(im,re);
用于其他两个光学件4824和4825的全局运动遵循类似构造,除了全局角度常数是0度和180度,而不是上述代码中示出的60度、120度和180度,并且延伸板将使用与'gT'不同的全局theta,称之为用于延伸板的'xT'。如果基本电路板4801保持为与地面水平而延伸电路板4851面向移动的运载工具的前方或者后方,那么当传感器观察运载工具外部的世界时'gT'代表偏航角度,'xT'代表滚动角度。如果基本电路板4801保持为与地面水平而延伸电路板485面向移动的运载工具的侧方,那么'gT'仍代表偏航角度而'xT'代表俯仰角度。
图49是本发明的实施方式,示出了图39的3904、图40的4004、图42的4204以及图43的4304中先前描述的成像系统的细节。具有检测器4903的镜头布局4901是用于稍后示出的2x2和3x3成像系统的单个通路的。材料4902公知为Zeonex 480R。材料4902b是ZeonexE48R。4901中的光学系统的规定如下(在Zemax镜头单元中):
该专用成像系统的MTF非常高,如图形4905所示。为了生成此处公开的编码定位极化罗盘,线性偏光器添加至每个通路的前方,如4920中。为了生成具有灰度级像素尺度代码的编码定位系统,用于每个通路的强度代码放置在检测器阵列的顶部,如4925中。该代码可以被平板印刷在传感器盖玻璃上,或者可以被印刷在基板上并且结合至传感器盖玻璃,诸如从诸如Conyon材料公司或者Jenoptik公司等公司商业可获得的5微米厚的胶卷、或者抗蚀剂、商用基板。
图50是使用单个传感器作为用于所有通路的检测器元件的2x2和3x3系统的实施方式。仅侧视图示出于图50。检测器5016和5056例如是非常大的APS(数字SLR)型传感器,或者是大的5Mpix至14MPix的商用CMOS图像传感器。这些传感器的尺寸量级(高度和宽度尺寸)为20mm或者更大,因此直径通常为6mm/通路的3x3或者2x2通路将易于装配到单个大格式传感器上。控制杂散光的反射式光度计包括在该系统中作为5018和5058,是用于每个成像通路的镜头保持架或者晶片级元件中固有的。在构造5001中,每个通路彼此在22.5度角提供线性偏光器5010、5012、5014以形成极化罗盘,如先前公开的。在构造5050中,每个通路通过具有灰度级强度代码5052的连续基板而成像。如图42和43先前描述的,灰度级代码在每个成像通路之下改变,用于采样两维频率空间。构造5001是极化罗盘,构造5050是用于执行子像素位置估计的编码定位系统。

Claims (13)

1.一种编码定位系统,包括:
多个光通路,被布置成协同地捕获来自对象的信息,每个光通路包括各自的检测器;
位于各检测器和所述对象之间的定位代码,被配置为光学地修正从中穿过的电磁能量,每个定位代码是振幅掩膜、相位掩膜、孔径图案和偏光器中的一个,并且每个定位代码均与其他光通路中的任何其他定位代码不同。
2.根据权利要求1所述的系统,所述定位代码是在第一方向具有空间可变的不透明度的振幅掩膜,所述空间可变的不透明度作为周期函数而变化,并且其周期等于与所述定位代码处于同一光通路中的检测器的空间尺寸的整数倍。
3.根据权利要求1所述的系统,还包括不具有定位代码的通路,被配置为测量入射到该通路的检测器上的电磁能量的平均值。
4.根据权利要求1所述的系统,进一步包括处理子系统,其具有多个算法,所述多个算法被配置为处理所述检测器输出的数字图像并且为对象提供范围估计和定位信息中的至少之一。
5.根据权利要求1所述的系统,进一步包括:
多个第二光通路,被布置成协同地捕获来自所述对象的信息,每个第二光通路包括第二检测器;
位于各个第二检测器和所述对象之间的第二定位代码,被配置为光学地修正从中穿过的电磁能量,每个第二定位代码是振幅掩膜、相位掩膜、孔径图案和偏光器中的一个,并且每个第二定位代码均与所有其他第二光通路中的任何其他定位代码不同。
6.根据权利要求1所述的系统,其中,所述多个光通路包括具有第一定位代码的第一通路和具有第二定位代码的第二通路,所述第一定位代码具有第一空间可变的正弦衰减,所述第二定位代码具有第二空间可变的正弦衰减,所述第二空间可变的正弦衰减和所述第一空间可变的正弦衰减在相位上相差四分之一周期以使所述多个光通路优化费雪信息。
7.一种编码定位极化测量系统,包括:
多个光通路,被布置成协同地捕获来自对象的信息,每个光通路包括各自的检测器;以及
位于各检测器和所述对象之间的偏光器,被配置为使得从中穿过的电磁能量的极化与从其他光通路中的任何偏光器穿过的电磁能量的极化不同。
8.根据权利要求7所述的极化测量系统,所述对象包括至少一部分天空,所述检测器输出的数字图像采样天空的极化图。
9.根据权利要求7所述的极化测量系统,进一步包括处理子系统,所述处理子系统其具有多个算法并且被配置为处理所述检测器输出的数字图像并提供罗盘航向。
10.根据权利要求9所述的极化测量系统,所述处理子系统包括傅里叶处理以及具有感兴趣正弦曲线的内积中的至少一个。
11.根据权利要求9所述的极化测量系统,所述处理子系统调节曝光以最大化局部极化信噪比。
12.根据权利要求9所述的极化测量系统,其中,所述罗盘航向能够用于运载工具中作为稳定航向的反馈,并能够用于影响本地磁场的重型机中以确定航向。
13.一种定位光学数据的方法,包括:
将对象协同地成像至多个光通路各自的检测器上,在每个光通路的检测器和所述对象之间具有定位代码,每个定位代码是振幅掩膜、相位掩膜、孔径图案和偏光器中的一个,并且每个定位代码均与其他光通路中的任何其他定位代码不同。
CN201380010647.6A 2012-01-03 2013-01-03 编码定位系统、方法和装置 Active CN104246826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711089924.3A CN107861102B (zh) 2012-01-03 2013-01-03 编码定位系统、方法和装置

Applications Claiming Priority (23)

Application Number Priority Date Filing Date Title
US201261631389P 2012-01-03 2012-01-03
US61/631,389 2012-01-03
US201261634421P 2012-02-29 2012-02-29
US61/634,421 2012-02-29
US201261634936P 2012-03-08 2012-03-08
US61/634,936 2012-03-08
US201261685866P 2012-03-23 2012-03-23
US61/685,866 2012-03-23
US201261686728P 2012-04-11 2012-04-11
US61/686,728 2012-04-11
US201261687885P 2012-05-03 2012-05-03
US61/687,885 2012-05-03
US201261655740P 2012-06-05 2012-06-05
US61/655,740 2012-06-05
US201261673098P 2012-07-18 2012-07-18
US61/673,098 2012-07-18
US201261692540P 2012-08-23 2012-08-23
US61/692,540 2012-08-23
US201261720550P 2012-10-31 2012-10-31
US61/720,550 2012-10-31
US201261729045P 2012-11-21 2012-11-21
US61/729,045 2012-11-21
PCT/US2013/020154 WO2013103725A1 (en) 2012-01-03 2013-01-03 Coded localization systems, methods and apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711089924.3A Division CN107861102B (zh) 2012-01-03 2013-01-03 编码定位系统、方法和装置

Publications (2)

Publication Number Publication Date
CN104246826A CN104246826A (zh) 2014-12-24
CN104246826B true CN104246826B (zh) 2017-12-15

Family

ID=48745408

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711089924.3A Active CN107861102B (zh) 2012-01-03 2013-01-03 编码定位系统、方法和装置
CN201380010647.6A Active CN104246826B (zh) 2012-01-03 2013-01-03 编码定位系统、方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201711089924.3A Active CN107861102B (zh) 2012-01-03 2013-01-03 编码定位系统、方法和装置

Country Status (5)

Country Link
US (4) US9534884B2 (zh)
EP (1) EP2801077B1 (zh)
JP (2) JP6396214B2 (zh)
CN (2) CN107861102B (zh)
WO (1) WO2013103725A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175931A2 (en) * 2013-01-07 2014-10-30 Ascentia Imaging, Inc. Optical guidance systems and methods using mutually distinct signal-modifying sensors
JP6396214B2 (ja) * 2012-01-03 2018-09-26 アセンティア イメージング, インコーポレイテッド 符号化ローカライゼーションシステム、方法および装置
US9562764B2 (en) 2012-07-23 2017-02-07 Trimble Inc. Use of a sky polarization sensor for absolute orientation determination in position determining systems
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
EP3060880A4 (en) 2013-10-22 2017-07-05 Polaris Sensor Technologies, Inc. Sky polarization and sun sensor system and method
WO2015152984A2 (en) 2014-01-22 2015-10-08 Polaris Sensor Technologies, Inc. Polarization imaging for facial recognition enhancement system and method
US9589195B2 (en) 2014-01-22 2017-03-07 Polaris Sensor Technologies, Inc. Polarization-based mapping and perception method and system
US9872012B2 (en) 2014-07-04 2018-01-16 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
US9751210B2 (en) 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9744670B2 (en) 2014-11-26 2017-08-29 Irobot Corporation Systems and methods for use of optical odometry sensors in a mobile robot
US10175360B2 (en) 2015-03-31 2019-01-08 Faro Technologies, Inc. Mobile three-dimensional measuring instrument
WO2016181117A1 (en) * 2015-05-11 2016-11-17 Bae Systems Plc Aircraft coupling method and system
US10126114B2 (en) 2015-05-21 2018-11-13 Ascentia Imaging, Inc. Angular localization system, associated repositionable mechanical structure, and associated method
US11009584B2 (en) 2015-05-21 2021-05-18 Ascentia Imaging, Inc. Localization system and associated method
US10769806B2 (en) * 2015-09-25 2020-09-08 Logical Turn Services, Inc. Dimensional acquisition of packages
CN108291953B (zh) * 2015-12-23 2022-12-27 阿森蒂亚影像有限公司 定位系统及相关方法
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
US10133936B2 (en) * 2016-06-13 2018-11-20 The Board Of Trustees Of The University Of Alabama Active compressive sensing via a thermal sensor for human scenario recognition
US10120075B2 (en) 2016-08-19 2018-11-06 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US10380749B2 (en) 2016-09-26 2019-08-13 Faro Technologies, Inc. Device and method for indoor mobile mapping of an environment
US10282854B2 (en) 2016-10-12 2019-05-07 Faro Technologies, Inc. Two-dimensional mapping system and method of operation
US11900309B2 (en) * 2016-11-21 2024-02-13 Ford Global Technologies, Llc Item delivery to an unattended vehicle
US10824773B2 (en) 2017-03-28 2020-11-03 Faro Technologies, Inc. System and method of scanning an environment and generating two dimensional images of the environment
US10293485B2 (en) * 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning
JP6956031B2 (ja) * 2017-06-23 2021-10-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 距離測定装置および距離測定方法
WO2019010524A1 (en) * 2017-07-10 2019-01-17 The University Of Sydney METHOD AND APPARATUS FOR IMAGING A SCENE
US11009640B2 (en) 2017-08-11 2021-05-18 8259402 Canada Inc. Transmissive aerial image display
DE102017009336A1 (de) * 2017-10-07 2019-04-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Polarisationssensor
WO2020036629A2 (en) * 2018-02-21 2020-02-20 Board Of Trustees Of Michigan State University Methods and systems for distributed radar imaging
US10558872B2 (en) 2018-03-23 2020-02-11 Veoneer Us Inc. Localization by vision
EP3617999B1 (en) * 2018-09-01 2023-04-19 Tata Consultancy Services Limited Systems and methods for dense surface reconstruction of an object using graph signal processing
US11024050B2 (en) 2018-11-05 2021-06-01 Faro Technologies, Inc. System and method of scanning an environment
DE102018132590A1 (de) 2018-12-18 2020-06-18 Valeo Schalter Und Sensoren Gmbh Determination of an attitude of a vehicle based on sky polarization by acelestial light source
US11486701B2 (en) 2019-02-06 2022-11-01 Faro Technologies, Inc. System and method for performing a real-time wall detection
US11146777B2 (en) * 2019-02-15 2021-10-12 Microsoft Technologv Licensing. LLC Efficient image population from captured scene
CN109933859B (zh) * 2019-02-23 2023-07-28 中国人民解放军陆军工程大学 一种基于多层复数相位屏表征的远场激光大气传输仿真方法
CN111181633B (zh) * 2020-01-22 2022-02-01 南京邮电大学 一种时间-极化超纠缠态的纠缠辅助无噪线性放大方法
US11678140B2 (en) * 2020-06-29 2023-06-13 The United States Of America As Represented By The Secretary Of The Army Localization by using skyline data

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916198A (en) * 1973-06-01 1975-10-28 Westinghouse Electric Corp Amplified-scintillation optical-coded radioisotope imaging system
US4495589A (en) * 1982-09-20 1985-01-22 Crane Co. Aircraft ground velocity determination system
GB2198007B (en) 1986-09-10 1990-08-15 Marconi Co Ltd Radiation detector
US4830485A (en) 1987-11-23 1989-05-16 General Electric Company Coded aperture light detector for three dimensional camera
US5367373A (en) 1992-11-19 1994-11-22 Board Of Regents, The University Of Texas System Noncontact position measurement systems using optical sensors
JP3329623B2 (ja) 1995-06-27 2002-09-30 株式会社東芝 ワイヤボンディング装置およびワイヤボンディング方法
JP3698796B2 (ja) * 1996-03-12 2005-09-21 オリンパス株式会社 角度検出装置、及び頭部搭載型映像表示装置
US5890095A (en) 1997-01-21 1999-03-30 Nichols Research Corporation System for receiving and enhancing electromagnetic radiation input signals
AUPO615297A0 (en) * 1997-04-10 1997-05-08 Commonwealth Scientific And Industrial Research Organisation Imaging system and method
DE19715214C1 (de) 1997-04-11 1998-07-02 Siemens Ag Bildsensor mit einer Vielzahl von Bildpunkt-Sensorbereichen
JP3739550B2 (ja) 1997-10-29 2006-01-25 大日本スクリーン製造株式会社 ウェハの測定位置決定方法
US7295314B1 (en) 1998-07-10 2007-11-13 Nanometrics Incorporated Metrology/inspection positioning system
US7110669B2 (en) * 1998-07-22 2006-09-19 Synchrodyne Networks, Inc. Time driven wavelength conversion-based switching with common time reference
US6184974B1 (en) 1999-07-01 2001-02-06 Wavefront Sciences, Inc. Apparatus and method for evaluating a target larger than a measuring aperture of a sensor
WO2001035054A1 (en) 1999-11-12 2001-05-17 Armstrong Brian S Methods and appparatus for measuring orientation and distance
WO2001052453A1 (en) * 2000-01-10 2001-07-19 The Johns Hopkins University Optical communication system using a high altitude tethered balloon
US6550917B1 (en) 2000-02-11 2003-04-22 Wavefront Sciences, Inc. Dynamic range extension techniques for a wavefront sensor including use in ophthalmic measurement
US7455407B2 (en) 2000-02-11 2008-11-25 Amo Wavefront Sciences, Llc System and method of measuring and mapping three dimensional structures
US7161128B2 (en) 2000-07-14 2007-01-09 Adaptive Optics Associates, Inc. Optical instrument employing a wavefront sensor capable of coarse and fine phase measurement capabilities during first and second modes of operation
WO2002056055A2 (en) * 2000-09-29 2002-07-18 Massachusetts Inst Technology Systems and methods for coded aperture imaging of radiation- emitting sources
US6574043B2 (en) * 2001-11-07 2003-06-03 Eastman Kodak Company Method for enhanced bit depth in an imaging apparatus using a spatial light modulator
US6653030B2 (en) 2002-01-23 2003-11-25 Hewlett-Packard Development Company, L.P. Optical-mechanical feature fabrication during manufacture of semiconductors and other micro-devices and nano-devices that include micron and sub-micron features
EP1476715B1 (en) 2002-01-24 2018-10-10 Icos Vision Systems N.V. Improved spatial wavefront analysis and 3d measurement
US9428186B2 (en) * 2002-04-09 2016-08-30 Intelligent Technologies International, Inc. Exterior monitoring for vehicles
US20040109059A1 (en) * 2002-11-12 2004-06-10 Kevin Kawakita Hybrid joint photographer's experts group (JPEG) /moving picture experts group (MPEG) specialized security video camera
JP2007524807A (ja) 2003-02-26 2007-08-30 レイモンド, ジェイ. キャストンガイ, 球形光散乱及び遠視野位相の測定
WO2004090581A2 (en) 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
WO2004102958A1 (en) * 2003-05-13 2004-11-25 Xceed Imaging Ltd. Optical method and system for enhancing image resolution
EP1491918A3 (en) 2003-06-24 2005-01-26 Lg Electronics Inc. Microlens array sheet of projection screen, and method for manufacturing the same
GB2407378B (en) 2003-10-24 2006-09-06 Lein Applied Diagnostics Ltd Ocular property measuring apparatus and method therefor
US20050182319A1 (en) 2004-02-17 2005-08-18 Glossop Neil D. Method and apparatus for registration, verification, and referencing of internal organs
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
US7477842B2 (en) 2004-03-12 2009-01-13 Siimpel, Inc. Miniature camera
US7720554B2 (en) 2004-03-29 2010-05-18 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
EP1598638A2 (en) * 2004-05-20 2005-11-23 Noritsu Koki Co., Ltd. Image processing system and navigaton system for correlating position data with image data
HU0401057D0 (en) * 2004-05-26 2004-08-30 Balogh Tibor Method and apparatus for generating 3d images
US7625198B2 (en) 2004-08-11 2009-12-01 Cornell Research Foundation, Inc. Modular fabrication systems and methods
US7591557B2 (en) 2005-05-10 2009-09-22 Wtp Optics, Inc. Solid state method and apparatus for making lenses and lens components
JP4515971B2 (ja) 2005-06-17 2010-08-04 パナソニック株式会社 集光素子の製造方法および位相シフトマスク
WO2007070006A1 (en) 2005-12-13 2007-06-21 Agency For Science, Technology And Research Optical wavefront sensor
EP1996987B1 (en) * 2006-03-17 2018-10-31 iRobot Corporation Robot confinement
US7639369B2 (en) 2006-04-13 2009-12-29 Mette Owner-Petersen Multi-object wavefront sensor with spatial filtering
JP5934459B2 (ja) 2006-04-17 2016-06-15 オムニビジョン テクノロジーズ, インコーポレイテッド アレイ化撮像システムおよび関連方法
US8822894B2 (en) 2011-01-07 2014-09-02 California Institute Of Technology Light-field pixel for detecting a wavefront based on a first intensity normalized by a second intensity
FR2902527B1 (fr) * 2006-06-20 2008-12-19 Commissariat Energie Atomique Dispositif de localisation tridimentionnelle de sources de rayonnement
JP2010526992A (ja) * 2007-04-23 2010-08-05 カリフォルニア インスティテュート オブ テクノロジー 単一レンズ、単一絞り開口、単一センサー3d撮像装置
EP2150398A2 (en) 2007-04-23 2010-02-10 Tessera North America, Inc. Mass production of micro-optical devices, corresponding tools, and resultant structures
US20080309762A1 (en) * 2007-06-12 2008-12-18 Richie Howard In-vehicle mobile digital video surveillance recorder system with GPS visual mapping and navigation
US8148663B2 (en) * 2007-07-31 2012-04-03 Applied Materials, Inc. Apparatus and method of improving beam shaping and beam homogenization
JP4576412B2 (ja) 2007-09-05 2010-11-10 シャープ株式会社 着色マイクロレンズアレイの製造方法、カラー固体撮像素子およびその製造方法、カラー表示装置の製造方法、電子情報機器の製造方法
CN101232327B (zh) * 2007-10-30 2011-05-18 华东理工大学 可见光空分多址多路通信系统
US8811763B2 (en) 2007-12-06 2014-08-19 The United States Of America As Represented By The Secretary Of The Army Method and system for producing image frames using quantum properties
WO2009115108A1 (en) * 2008-03-19 2009-09-24 Ruprecht-Karls-Universität Heidelberg A method and an apparatus for localization of single dye molecules in the fluorescent microscopy
US7746266B2 (en) * 2008-03-20 2010-06-29 The Curators Of The University Of Missouri Microwave and millimeter wave imaging system
US20100328142A1 (en) 2008-03-20 2010-12-30 The Curators Of The University Of Missouri Microwave and millimeter wave resonant sensor having perpendicular feed, and imaging system
EP2263373B1 (en) 2008-03-28 2014-08-13 The Trustees of Columbia University in the City of New York Generalized assorted pixel camera systems and methods
WO2009147814A1 (ja) 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
WO2010006081A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
GB0814562D0 (en) * 2008-08-08 2008-09-17 Qinetiq Ltd Processing for coded aperture imaging
JP5187145B2 (ja) 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
US8301326B2 (en) * 2008-12-19 2012-10-30 Reconrobotics, Inc. System and method for autonomous vehicle control
BRPI1007206A2 (pt) 2009-01-09 2016-02-23 Pixeloptics Inc óculos eletroa-ativo e eletrônica associada
US9164168B2 (en) 2009-03-20 2015-10-20 Wright State University Systems for detecting movement of a target
RU2009113008A (ru) * 2009-04-08 2010-10-20 Михаил Юрьевич Воробьев (RU) Способ определения позиции и ориентации прицепа транспортного средства и устройство для его осуществления
GB0907277D0 (en) 2009-04-29 2009-06-10 Univ Kent Kanterbury Method for depth resolved wavefront sensing, depth resolved wavefront sensors and method and apparatus for optical imaging
US20120200764A1 (en) 2009-05-03 2012-08-09 Lensvector Inc. Camera module with tolerance adjustment using embedded active optics
GB2470554A (en) 2009-05-26 2010-12-01 St Microelectronics Ltd Optical navigation device with housing and optical transmission element to a mousing surface
US8296096B2 (en) 2009-07-09 2012-10-23 Richard Kirby Positioning system and method using optically tracked anchor points
IL201110A (en) * 2009-09-22 2014-08-31 Vorotec Ltd Device and method of navigation
US8569680B2 (en) 2009-12-21 2013-10-29 University Of Wyoming Hyperacuity from pre-blurred sampling of a multi-aperture visual sensor
KR101404924B1 (ko) 2009-12-25 2014-06-09 가부시키가이샤 리코 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치
JP5686281B2 (ja) * 2009-12-25 2015-03-18 株式会社リコー 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
KR101147848B1 (ko) * 2010-01-15 2012-06-01 주식회사 아이디폰 저격수의 조준사격 및 관측수의 관측상황 통합통제시스템 및 그 방법
US8749797B1 (en) 2010-03-02 2014-06-10 Advanced Optical Systems Inc. System and method for remotely determining position and orientation of an object
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
US9046422B2 (en) 2011-04-20 2015-06-02 The Arizona Board Of Regents On Behalf Of The University Of Arizona Ultra-compact snapshot imaging fourier transform spectrometer
US9212899B2 (en) 2010-09-15 2015-12-15 Ascentia Imaging, Inc. Imaging, fabrication and measurement systems and methods
US8670171B2 (en) 2010-10-18 2014-03-11 Qualcomm Mems Technologies, Inc. Display having an embedded microlens array
KR101815972B1 (ko) 2010-12-30 2018-01-09 삼성전자주식회사 적외선을 이용한 고정밀 신호 센싱 시스템 및 방법
GB2489410B (en) 2011-03-24 2017-11-08 Viper Innovations Ltd Pressure compensating device
JP6396214B2 (ja) * 2012-01-03 2018-09-26 アセンティア イメージング, インコーポレイテッド 符号化ローカライゼーションシステム、方法および装置
WO2014175931A2 (en) 2013-01-07 2014-10-30 Ascentia Imaging, Inc. Optical guidance systems and methods using mutually distinct signal-modifying sensors
KR101881925B1 (ko) 2012-01-06 2018-07-26 삼성전자주식회사 복수의 휴대 단말들을 이용하여 멀티 비전 시스템을 구축하는 방법 및 이를 위한 장치
US20140319076A1 (en) * 2013-04-29 2014-10-30 Sergey Galushko Oil spill response submarine and method of use thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Novel Pixel-level and Subpixel-level registration algorithms for multi-modal imagery data;Mohamed Ibrahim Elbakary;《The University of Arizona》;20050101;第22页最后一段、第39页最后一段至40页第1段、60页、110-111页、112页4.3节、95页最后一段至96页、130页、144-145页、148-155页,说明书附图5.4、5.5 *

Also Published As

Publication number Publication date
US20170108330A1 (en) 2017-04-20
US20230148273A1 (en) 2023-05-11
WO2013103725A1 (en) 2013-07-11
EP2801077A4 (en) 2016-02-10
US20150219437A1 (en) 2015-08-06
EP2801077B1 (en) 2023-11-29
JP6463582B2 (ja) 2019-02-06
US9534884B2 (en) 2017-01-03
JP2015510110A (ja) 2015-04-02
JP6396214B2 (ja) 2018-09-26
CN107861102B (zh) 2021-08-20
US20180328715A1 (en) 2018-11-15
JP2018189657A (ja) 2018-11-29
CN107861102A (zh) 2018-03-30
US10024651B2 (en) 2018-07-17
CN104246826A (zh) 2014-12-24
US11499816B2 (en) 2022-11-15
EP2801077A1 (en) 2014-11-12

Similar Documents

Publication Publication Date Title
CN104246826B (zh) 编码定位系统、方法和装置
US10929966B2 (en) System and method for imaging underwater environments using fluid lensing
Barazzetti et al. 3D scanning and imaging for quick documentation of crime and accident scenes
Detert How to avoid and correct biased riverine surface image velocimetry
CN104704424A (zh) 基础设施测绘系统和方法
CN103038761A (zh) 自校准的远程成像和数据处理系统
CN105403199B (zh) 基于无人机的毒品原植物种植侦测方法及系统
CN207741853U (zh) 用于水下探测的高光谱高空间分辨积分视场光谱成像系统
CN108051088A (zh) 用于水下探测的高光谱高空间分辨积分视场光谱成像系统
Gunn et al. Mars surface context cameras past, present, and future
CN207636184U (zh) 一种用于海洋水下探测的快照型高空间分辨光谱成像系统
Borrmann Multi-modal 3D mapping-Combining 3D point clouds with thermal and color information
Patel et al. Remote Sensing: Principles and Applications
Zhou et al. Geometric correction of synchronous scanned Operational Modular Imaging Spectrometer II hyperspectral remote sensing images using spatial positioning data of an inertial navigation system
Rondonuwu et al. Shallow water habitat mapping with unmanned aerial vehicle (UAV) technology in Serena Island, Bitung City, North Sulawesi, Indonesia.
Wang et al. Generation of Orthophotos Using Pictometry's Digital Images
Baxter Ocean wave slope and height retrieval using airborne polarimetric remote sensing
Rambat A low-cost remote sensing system for agricultural applications
Schindelegger et al. Seasonal and intraseasonal polar motion variability as deduced from atmospheric torques
Clark et al. Visible and Circumvisible Regions and Image Interpretation
Bostater Jr Background and study concerning water wave effects on airborne imagery
Bayraktar et al. Monitoring Irrigation Areas Using Aster/Terra Images: Diyarbakir
Jiang Geo-referencing and mosaicing agricultural field images from a close-range sensing platform
Cui et al. Feasibility analysis of mapping with domestic optical satellite across-track stereo pairs
Zhang The Frequent Image Frames Enhanced Digital Ortho-Rectified Mapping (FIFEDOM) camera: calibration and application to retrieve vegetation structure parameters.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant