CN104833424B - 用于测量图像中的光的偏振的系统和方法 - Google Patents
用于测量图像中的光的偏振的系统和方法 Download PDFInfo
- Publication number
- CN104833424B CN104833424B CN201510064791.9A CN201510064791A CN104833424B CN 104833424 B CN104833424 B CN 104833424B CN 201510064791 A CN201510064791 A CN 201510064791A CN 104833424 B CN104833424 B CN 104833424B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- polarization
- orientation
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 247
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000003384 imaging method Methods 0.000 claims description 70
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 13
- 239000000203 mixture Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 44
- 238000000711 polarimetry Methods 0.000 abstract description 22
- 238000013481 data capture Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 34
- 239000013598 vector Substances 0.000 description 30
- 230000008859 change Effects 0.000 description 28
- 239000011159 matrix material Substances 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004836 empirical method Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000009738 saturating Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000282553 Macaca Species 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002999 depolarising effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000003500 flue dust Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000010903 husk Substances 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000020442 loss of weight Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000007514 turning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J4/00—Measuring polarisation of light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J4/00—Measuring polarisation of light
- G01J4/04—Polarimeters using electric detection means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0237—Adjustable, e.g. focussing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Abstract
本公开涉及一种用于测量图像中的偏振光的系统和方法,特别是涉及一种能够使用有或者没有偏振滤光器的单个照相机采集偏振测定数据的系统。在使用偏振滤光器时,数据获取方法包括:(1)操纵飞行器(或者其他交通工具)以在捕获图像时在不同的方向定位偏振滤光器(和照相机),(2)彼此配准不同的图像,和(3)计算图像中的关注的点的偏振测定值(诸如斯托克斯参数)。在未使用偏振滤光器时,数据获取方法包括操纵飞行器(或者其他交通工具)以在捕获图像时在不同的方向定位照相机然后进行相同的操作(2)和(3)。这些方法通过在不同的角度拍摄多个照相机图像来测量给定的场景中的偏振的量。
Description
技术领域
本公开内容通常涉及用于测量图像中的光的偏振的系统和方法。具体地,本公开内容涉及使用偏振和偏振测定(polarimetry)法视觉检测关注的对象。如在此所使用的,术语“偏振测定”是指对诸如电磁波的横波的偏振的测量和分析。
背景技术
本文中解决的通用问题是改进用于测量图像、特别是通过移动交通工具捕获的图像中的光的偏振的系统和方法。偏振和偏振测定可以帮助用户检测许多关注对象。例如,在充满非偏振光的自然场景中,光滑表面呈现为线性偏振光;这些光滑表面常常与人造物品(诸如武器或者掉落的飞机 (常常被军队寻找))或者能够造成(大部分交通工具操作者试图避免的) 损坏的外来物对应。偏振使侦察分析者的视线透过来自类似水或者窗口的表面的模糊或者眩光。偏振允许军事分析者找到潜水艇和矿井或者隐藏在窗口后面的在场的狙击兵,以及允许钓鱼者找到鱼群。偏振同样可以帮助平民用户测量天气参数或者评价森林和农作物的健康。
尽管这些益处,很少使用偏振测定和偏振图像。原因是成本、重量和可靠性。一般而言,将单个偏振滤光器放在单个照相机的前方是不够的。为了测量图像中的偏振和辨别图像的哪个部分与其他部分具有不同的偏振,人们必须以偏振滤光器的至少两个和通常三个取向捕获图像。在现有技术中,这意味着:(1)电控制的旋转滤光器,安装至照相机透镜,(2) 电控制的滤光器轮,具有安装在不同角度的几个偏振滤光器,或者(3) 多个照相机,每个具有不同方向的偏振滤光器。这些途径的成本、重量、和可靠性的损失使得在实验室外针对拍摄的图像难以使用偏振测定。
在安装至照相机透镜的电控制旋转滤光器的情况下,滤光器轮被配置为利用在单个照相机的前面的三个或者四个不同的方位定位偏振滤光器。滤光器轮是具有移动部件的相当坚固的光学组件。其大约与在典型的无人驾驶航空器(UAV)上使用的小型照相机一样重。其占据相当大的体积。滤光器轮具有电子机械致动器,其基本上比数字照相机的可靠性低并且因此降低飞行器任务系统的可靠性。
单个照相机前面的旋转偏光器(polarizer)小于滤光器轮,但是仍然是具有移动部件的坚固的光学组件。其显著地增加小照相机的重量和可能显著增加其体积。其包含降低飞行器任务系统的可靠性的电子机械致动器。
在第三种情况中,包括面向相同方向的多个照相机的系统,每个照相机在其前方具有不同定位的偏光器,这导致每个照相机的成本、重量、和可靠性的些微损失。然而,使用三个或者四个照相机代替一个则增加成本和重量并且减小系统的可靠性。
根据进一步发展,不同定位的偏振滤光器放置在电荷耦合装置 (CCD)中的不同的像素的前方。这种照相机将产生构造成类似三个或者四个彩色图片的数字图像,但是每种“颜色”将与不同的偏振度的强度对应。几乎不可能经济地制造以像素为基础的偏振滤光器。照相机无法在偏振测定的同时实现实际的彩色成像(例如,红色、蓝色、和绿色)。一种这样的CCD芯片被设计成输出四种“颜色”(每个偏振一种颜色)而不是常见的图像文件格式期望的三个。这个对于广泛的接受造成技术和经济的障碍。
期望的是提供具有低成本、轻重量、和高可靠性的优化组合的用于从移动的交通工具(例如,飞行工具)收集视觉偏振测定数据的改善的装置和方法。
发明内容
公开的主题包括能够使用具有或者不具有偏振滤光器的单个照相机获取偏振测定数据的系统。在使用偏振滤光器时,数据采集方法包括:(1) 操纵飞行器(或者其他交通工具)以在捕获图像时在不同的方向定位偏振滤光器(和照相机),(2)彼此配准各个图像,和(3)计算图像中的关注的点的偏振测定值(诸如斯托克斯参数)。在未使用偏振滤光器时,数据获取方法包括操纵飞行器(或者其他交通工具)以在捕获图像时在不同的方向定位照相机然后在计算机系统中进行相同的操作(2)和(3)。这些方法通过在不同的角度拍摄多个照相机图像来测量给定的场景中的偏振的量。
本文中公开的主题的一个方面是用于确定场景的偏振的方法,包括: (a)将线性偏振滤光器放置在包括透镜和传感器阵列的照相机的视域中;(b) 相继地靠近单个位置设置照相机和线性偏振滤光器,但是是在三个不同的方位,在每个方位上照相机的视域内均具有该场景;(c)在照相机和线性偏振滤光器位于三个不同的方位时,分别捕获第一至第三滤光后的图像; (d)将分别表示第一至第三滤光后的图像的第一至第三组成像数据从照相机传输至包括硬件和软件的计算机系统;和(e)根据第一至第三组成像数据计算场景中的至少一个点的偏振。方法可以进一步包括在交通工具上安装照相机和线性偏振滤光器,其中,步骤(b)包括操纵交通工具,和/或在进行步骤(e)之前相对于彼此配准第一至第三组成像数据。在公开的实施方式中,步骤(e)包括计算斯托克斯参数。在一个实施方式中,三个不同的方位的前两个方位中的绕(about,关于)照相机的视线(line of sight)的各自的相对于参考位(reference)的角度相差45°的奇整数倍,而三个不同的方位的后两个方位中的关于照相机的视线的各自的相对于参考位的角度相差90°。
本文中公开的主题的另一个方面是用于获取场景的图像的系统,包括:无人驾驶的交通工具;照相机,在无人驾驶的交通工具上,照相机包括透镜和传感器阵列;第一线性偏振滤光器,设置在传感器阵列的至少第一部分的前方;无人驾驶交通工具控制系统,能够控制无人驾驶交通工具以进行操纵,无人驾驶交通工具控制系统包括硬件和软件,无人驾驶交通工具控制系统的软件被配置为控制无人驾驶交通工具在第一、第二和第三次出现的每一次出现时在彼此不同的第一、第二和第三方位将自身设置在指定位置或者接近指定位置,但是在每个方位上照相机的视域中均具有该场景;以及照相机控制系统,设置在无人驾驶交通工具上和能够控制照相机以捕获图像,照相机控制系统包括硬件和软件,照相机控制系统的软件被配置为控制照相机分别在第一、第二和第三次出现期间捕获目标场景的第一、第二和第三图像然后输出分别表示第一、第二和第三图像的第一、第二和第三组成像数据。系统还可以包括能够处理成像数据的成像数据处理系统,成像数据处理系统包括硬件和软件,成像数据处理系统的软件被配置为相对于彼此配准第一、第二和第三组成像数据,并计算被成像的场景的偏振值。
另一方面是用于确定场景的偏振的方法,包括:(a)表征包括透镜和传感器阵列的照相机的偏振度的特性;(b)相继地靠近单个位置设置照相机,但是是在三个不同的方位,在每个方位上照相机的视域内均具有该场景;(c)分别在照相机位于三个不同的方位时捕获第一至第三图像;(d) 将表示第一至第三捕获图像的第一、第二和第三组成像数据从照相机传递至计算机系统;以及(e)从第一、第二和第三组成像数据计算场景中的至少一个点的偏振。在公开的实施方式中,步骤(a)包括确定第一和第二缪勒(Mueller)矩阵元素。在一个实施方式中,步骤(a)包括确定用于传感器阵列上的至少两个位置的第一缪勒矩阵元素和第二缪勒矩阵元素中至少一个,这些位置对应于穿过透镜的中心的光的不同的入射角度。
另一方面是用于获取场景的图像的系统,包括:无人驾驶的交通工具;照相机,在无人驾驶的交通工具上,照相机包括透镜和传感器阵列;无人驾驶交通工具控制系统,能够控制无人驾驶交通工具以进行操纵,无人驾驶交通工具控制系统包括硬件和软件,无人驾驶交通工具控制系统的软件被配置为控制无人驾驶交通工具在第一、第二和第三次出现的每一次出现时在彼此不同的第一、第二和第三方位将自身设置在指定位置或者接近指定位置用于第一、第二和第三出现的每一个和在彼此不同的第一、第二和第三方位,但是在每个方位上照相机的视域中均具有该场景;和照相机控制系统,设置在无人驾驶交通工具上并能够控制照相机以捕获图像,照相机控制系统包括硬件和软件,照相机控制系统的软件被配置为控制照相机以在第一、第二和第三次出现期间分别捕获目标场景的第一、第二和第三图像然后输出分别表示第一、第二和第三图像的第一、第二和第三组成像数据。系统还可以包括能够处理成像数据的成像数据处理系统,成像数据处理系统包括硬件和软件,成像数据处理系统的软件被配置为相对于彼此配准第一、第二和第三组成像数据,并部分地基于表征照相机的偏振度的特性的存储数据计算成像的场景的偏振值。
又一个方面是来自场景的光中的偏振的测量的方法,包括:(a)使用被靠近单个位置设置并以相继不同的方位角度定位的照相机捕获场景的相继的图像,其中,已知表征在不同的入射角度和不同的方位角度的照相机的偏振度的特性的一组矩阵,在照相机的传感器阵列与场景之间不存在偏振滤光器;(b)相对于彼此配准捕获的图像;以及(c)基于配准后的捕获的图像和已知的矩阵,计算场景中的来自至少一个关注点的光的偏振测定值,其中步骤(b)和(c)使用包括硬件和软件的计算机系统进行。根据一个实施方式,矩阵是缪勒矩阵和计算的偏振测定值是斯托克斯参数;偏振测定值包括强度和偏振角度;场景以绕照相机的光轴的三个不同的方位角度成像,这些不同的方位角度以45度角间隔设置。
本文中公开的主题的另一方面是用于表征具有透镜和传感器的焦点平面阵列的照相机在指定的入射(impinging)光的入射角度和指定的方位角度的偏振度的特性的经验方法,方法包括:(a)提供发射非偏振光的目标;(b)使照相机瞄准目标,而不插入偏振滤光器,并使得目标的一部分投射在焦点平面阵列的中心的传感器上;(c)在照相机处于在步骤(b) 中描述的状态时捕获参考图像;(d)计算参考图像中的邻近于由焦点平面阵列的中心的传感器产生的像素的一组像素的一组参考像素值;(e)使照相机瞄准目标,而不插入偏振滤光器,并使得目标的一部分投射在接近焦点平面阵列的边缘或者角落的传感器上的;(f)在照相机处于在步骤(e) 中描述的状态时捕获第一图像;(g)计算第一图像中的邻近于由靠近焦点平面阵列的边缘或者角落的传感器产生的像素的一组像素的第一组像素值;(h)将线性偏振滤光器插入在照相机和目标之间;(i)在照相机处于在步骤(e)和(h)描述的状态时捕获第二图像;(j)计算第二图像中的邻近于由靠近焦点平面阵列的边缘或者角落的传感器产生的像素的一组像素的第二组像素值;(k)基于参考像素值组和第一组像素值计算矩阵的第一元素;以及(l)基于至少参考像素值组和第二组像素值计算矩阵的第二元素。上述方法还可以包括:(m)将线性偏振滤光器旋转90°;(n)在照相机处于在步骤(e)和(m)描述的状态时捕获第三图像;以及(o) 计算第三图像中的邻近于由接近焦点平面阵列的边缘或者角落的传感器产生的像素的一组像素的第三组像素值,其中,在步骤(l),至少基于参考像素值组和第二和第三组像素值计算出矩阵的第二元素。此外,经验方法可以包括基于参考像素值组和第二和第三组像素值计算强度系数。根据一个实施方式,步骤(h)进一步包括定位线性偏振滤光器,使得其偏振轴平行于在照相机透镜的中心的表面平面或者在照相机透镜的中心的入射平面之一。
与现有技术解决方案相比,本文中公开的系统可以提供一种或多种以下益处。(1)公开的系统可以具有较轻的重量、较低的成本、和(因为没有向飞行器添加移动部件)更高的可靠性,因为它们既没有滤光器轮又没有旋转的偏光器。(2)公开的系统可以具有较轻的重量和较低的成本因为其采用更少的照相机,并且因此具有更少的电子组件和电连接,产生更高的可靠性。(3)与涉及CCD上的偏振滤光器的近期发展相反,公开的系统不需要新的电子制造处理的研发,因此对于不同的应用实行该系统的时间线和成本更优化。实际彩色成像(例如,红色、蓝色、和绿色)受用户的喜爱并为多个应用所需要。公开的系统在偏振测定同时实现实际的彩色图像。CCD上的偏振不允许这样。本文中公开的系统中使用的滤光器便于在大部分实施方式中拆卸,并且因此实现有效的利用同样的分辨率的相同的照相机的非偏振的成像。附接至CCD的偏振滤光器难以或者无法拆卸,因此非偏振的成像仅在第二照相机(昂贵的)可获得或者通过求和具有不同的偏振的邻近的像素的强度(低光子效率和低分辩率)可获得。
以下公开用于测量图像中的光偏振的改善后的系统和方法的其他方面。
附图说明
图1A、图1B和图1C是分别示出了在飞行器操纵以定位照相机时在各自方位与目标场景重叠的照相机像素栅格的示图。照相机像素栅格的角落的黑点标记所有的图像中的相同的像素。双向箭头表示对应于各个线性偏振滤光器方位的各个偏振角度。
图2A、图2B和图C示出了分别在图1A、图1B和图1C中示出的实例中捕获的图像。
图3是描述透视使没有在图像的中心的像素的偏光器方位扭曲的现象的曲线图。
图4A和图4B是表示具有朝下的照相机的理想化的固定翼飞行器的顶视图和侧视图的示图。
图5是示出图4A和图4B中示出的固定翼飞行器的飞行路径的示图,该飞行路径涉及在三次相继经过目标期间为了定位安装至照相机的偏振滤光器的航向的变化。
图6A和图6B是表示具有带有偏振滤光器的前向照相机的理想化的固定翼飞行器的侧视图和正视图的示图。
图7示出在图6A和图6B中示出的固定翼飞行器20的飞行路径,该飞行路径涉及在沿着指向目标的直线路径(即,视线)飞行时为了定位具有偏振滤光器的前向的照相机的飞机倾斜角度的变化。
图8是示出用于在图6A和图6B中示出的固定翼飞行器的飞行路径的示图,该飞行路径涉及航向的变化和飞机倾斜角度的变化以在沿着到目标的初始视线三次相继经过相同的位置期间定位具有偏振滤光器的前向的照相机。
图9是示出照相机构造的示图,其中,偏振滤光器与照相机内的像素的焦点平面阵列的一部分重叠。
图10是表示与焦点平面阵列的一部分重叠的偏振滤光器的前视图的示图。如果照相机沿着图9中的线10-10表示的平面被截面,这是可以可见的视图。
图11是根据一个实施方式的表示与焦点平面阵列的相应的一半重叠的两个线性偏振滤光器的前视图的示图。两个线性偏振滤光器彼此垂直定位。
图12是表示覆在焦点平面阵列的各个四分之一上的四个偏振滤光器的前视图的示图。四个偏振滤光器中的三个是线性的,具有不同的方位,而第四个偏振滤光器是圆形的(circular)。
图13是表示现有技术中的典型的双轴以万向架安装的照相机的顶视图的示图。
图13A是表示图13中描述的现有技术中的以万向架安装的照相机的截面图的示图。万向架被沿着图13中的线13A-13A表示的平面截面。
图14是表示设计成能辅助附接至照相机的偏振滤光器的方位的改变的以万向架安装的照相机的顶视图的示图。
图14A是表示图14中描述的以万向架安装的照相机的截面图的示图。万向架被沿着图14中的线14A-14A表示的平面截面。
图14B是表示在以万向架安装的照相机围绕之前的万向架标仰角轴旋转90°之后的截面图的示图。
图15是表示现有技术中的在球形塔中具有万向的照相机的无人驾驶航空器的侧视图的示图。
图16是表示在球形塔中具有万向的照相机并为了使照相机的观测域的一部分偏振而在球形塔上应用偏振滤光器的无人驾驶航空器的侧视图的示图。
图17A和图17B是分别示出在光以垂直入射撞击玻璃时没有偏振(图 17A)和在增加发射波束中的p-偏振光的斜入射时s-偏振光的强反射的示图(图17B)。
图18A至18C是分别示出了在与各个不同的像素位置对应的与透镜光轴成θ=0(图18A)、~20°(图18B)、和~40°(图18C)的不同角度的不同的偏振的示图。
图19是示出对应于对象图像在焦点平面阵列上的不同的位置,以不同的角度穿过透镜的光的不同的偏振的示图,。椭圆离心率示出偏振度;椭圆方位示出偏振方向。
图19A至图19C是分别示出了场景对象在不同的像素位置的不同的强度的示图,这些图示出了对于垂直偏振光(图19A)、水平偏振光(图 19B)、和非偏振光(图19C)的偏振(线宽度表示强度)。
图20A是示出无倾斜的透镜和倾斜角度θ的透镜的截面图的示图。这些透镜被沿着图20B中的线20A-20A表示的平面截面。
图20B是示出图20A中描述的透镜和在不同的方位φ倾斜的其他透镜的前视图的示图。
图20C是表示投射在安装与图20B中描述的透镜同轴的焦点平面阵列上的对象图像的示图。角度φ对应于围绕焦点平面的中心的角度位置。
图21A是示出平行于透镜轴的光在透镜的中心没有偏振而仅在透镜的边缘微弱地偏振的示图。
图21B是示出以大角度到达的光遭遇透镜上的所有的点的强偏振的示图。(偏振度在整个透镜表面稍微改变;仅示出中心波束。)
图22是示出典型的内对焦式透镜系统的基本配置的示图。
图23是示出典型的CCD中的焦点平面阵列的截面图的示图。
图24是示出用于表征具有CCD的照相机的特性的实验布置的示图。
图25是示出在θ=0°获取的参考图像中的目标的一部分的闭合视图的示图。
图26是示出用于图4A和图4B中示出的类型的固定翼飞行器的飞行路径的三个环路的示图,只是其中固定翼飞行器的不同之处在于已从固定的朝下的照相机上移去偏振滤光器。飞行器直接飞在目标上空的同时,进行三次操纵以使得照相机以水平的西45°、西北45°、和北45°的倾斜角度倾斜。
图27是根据一个实施方式的识别偏振式数据采集系统的主要组件的方框图。
本公开内容中所示的每个图示出介绍的实施方式的一个方面的变化,并且将仅详细讨论区别。
将会在下文中参考附图,其中,在不同附图中相似的元件包含具有相同的标号。
具体实施方式
将描述不同的实施方式以示出本文中教导的原理的不同的应用。虽然附图中示出的和以下详细描述的实施方式包括将照相机安装在飞行器(例如,固定翼飞行器,诸如UAV或者旋转翼飞行器,诸如直升机)上,首先应当理解本文中教导的原理也可以应用于航天器和无人驾驶潜水器 (UUV)。
根据一些实施方式,用于获取用于成像后的目标的偏振值的系统包括:飞行器;机上导航和控制系统,能够飞行至三维位置(例如,经度、纬度和高度)并且随后至少两次使飞行器返回至大概相同的位置,还能够测量该位置的飞行器方位并在其返回至相同位置时将飞行器设置为不同选择的方位;机上照相机,具有相对于飞行器的已知的方位;机上线性偏振滤光器,相对于照相机具有已知的、固定的方位;机上控制系统,能够控制照相机在飞行器以所选择的方位之一到达所选择的位置时捕获图像;计算机(在机上或者在地面上),包括硬件和软件,编程以配准图像并计算被成像的目标的偏振值;和用于将照相机图像传递至计算机的装置。
对于在不能在拍摄一系列图像时在位置悬停固定翼飞行器上安装照相机和偏振滤光器的那些实施方式,主要过程步骤包括:(a)使飞行器朝向目标处于照相机的视域中的位置飞行;(b)在到达位置之前,将飞行器定位至与绕朝向目标的视线的第一滤光器方位对应的第一飞行器方位; (c)在飞行器处于该位置并在第一飞行器方位中时捕获目标的第一图像; (d)再次使飞行器朝向相同的位置飞行;(e)在第二次到达或者接近位置之前,将飞行器定位至与绕朝向目标的视线的第二滤光器方位对应的第二飞行器方位;(f)在飞行器在位置或者接近位置并在第二飞行器方位中时捕获目标的第二图像;(g)再次使飞行器朝向相同的位置飞行;(h)在第三次到达或者接近位置之前,将飞行器定位至与绕朝向目标的视线的第三滤光器方位对应的第三飞行器方位;(i)在飞行器在位置或者接近位置并在第三飞行器方位中时捕获目标的第三图像;(k)将图像数据和定义三个方位的数据传递至计算机;(l)进行计算以彼此几何配准图像;和(m) 计算目标的图像的偏振参数,诸如斯托克斯参数。虽然照相机在飞行器每次以不同的照相机方位经过期间最好精确地处于相同的位置,但航空器的所属技术领域的技术人员将认识到这种精确度取决于使用的定位系统的精确度、风况和其他因素。
在详细地描述任何系统之前,考虑为何偏光器通常具有相对于目标的三个不同的方位是有帮助的。考虑从一些目标到达的部分偏振光。假定目前圆形偏振是零,使得仅关注线性偏振。系统用户想要了解来自目标的光的多少是偏振的和多少是非偏振的、以及偏振光的方位是什么。
为了解决上述问题,可以首先测量一个偏振角度的光的强度。假定角度是垂直的并称其为角度零。假定测量到一个单位的强度。然后可以测量在90°的偏振角度(即水平偏振)的强度。强度也是一个单位。利用这两个测量结果,我们不能确定(1)光是否以两个单位强度完全地非偏振,(2) 光是否以两个单位强度在45°偏振,或者(3)光是否以两个单位强度在 135°偏振。这是普通的问题:两个测量是不够的,无论选择的是哪两个角度。为了解决模糊,优选地在45°或者135°的偏振角度进行第三测量。假定使用45°。如果测量到强度是零,表示光100%在135°偏振。如果测量到两个单位的强度,表示光100%在45°偏振。如果测量到一个单位的强度,表示光100%非偏振。零和两个单位之间的不同的非整数值表示部分偏振和偏振的部件的角度。
存在关于目标场景的信息允许除去一个测量结果的情况。例如,如果仅存在照亮由光性均质材料制成的凸起物的单个非偏振光源,那么仅需要测量光强度的两个方位是平行于该物体的表面的一块(patch)的方位和垂直于那块的方位。不可能存在相对于表面以45°偏振的任何光。不过上述情形是罕见的:对于大部分应用,需要测量三个不同的方位的强度。这些方位不需要以45°的奇偶整数倍数分隔,但是如果它们是这样分隔的那么相关的数学运算是最容易的。
本领域中的技术人员了解偏振不仅是线性的,而且包括圆形的组件。本文中详细公开的实施方式的大部分为了简化在实用中具有很少的成本而忽视圆形偏振。圆形偏振是罕见的。即使当圆形偏振出现时,其通常十分微弱,除非采用多个步骤来产生圆形偏振光。
存在几个等效的方式来数学地描述给定的偏振状态。这些描述的其中一个使用称为斯托克斯参数的四个参数。这个描述对于不同角度的一组强度测量是最容易的,因此在本公开内容中引用斯托克斯参数。斯托克斯参数常常被收集在称为斯托克斯矢量的四个元素矢量中。
第四个斯托克斯参数是圆形偏振的测量。因为本文中公开的实施方式大大地忽略圆形偏振,所以本公开内容集中在前三个斯托克斯参数。本文中使用的术语“斯托克斯参数”和“斯托克斯矢量”通常分别仅指前三个参数或者这些参数的三个元素矢量。
四个斯托克斯参数标记为I、Q、U和V。前三个从强度测量计算如下:
I≡Int0+Int90=Int45+Int135 (1)
Q≡Int0-Int90 (2)
U≡Int45-Int135 (3)
其中,Int0、Int45、Int90、和Int135是在由下标表示的并按度数测量的角度测量的强度。在公开的实施方式中,系统仅做出三个测量。可以从其他三个,例如,给定的Int0、Int45、和Int90计算任何强度值,可以使用等式(1) 的右侧来计算Int135:
Int135=Int0+Int90-Int45 (4)
一旦基于相对于照相机的角度计算出斯托克斯参数,它们可以数学地变换以在任何其他参照系描述偏振。
尽管在本公开内容中使用术语“斯托克斯参数”,应当理解用于确定偏振值的计算不局限于仅使用斯托克斯参数,即,它们可基于偏振的任何数学表达式。
本文中公开的方法论涉及使用交通工具上安装的照相机从目标采集偏振测定数据和使用合适的编程计算机系统处理采集的数据。照相机具有附接的偏振滤光器,使得滤光器具有相对于照相机透镜的固定位置。
图1A、1B和1C示出了在飞行器操纵以定位照相机时在相应方位与目标场景12重叠的照相机像素栅格10。在这个示例中,各个偏振角度(双向箭头表示的)是+45°(图1A)、0°(图1B)和-45°(图1C)。在照相机像素栅格10的角落的黑点标记所有的图像中的相同的像素。
图2A、2B和2C示出了分别在图1A、1B和1C中示出的实例中捕获的图像。相对明亮的阴影三角形和与该三角形重叠的相对暗的阴影长方形表征目标场景12处的目标对象的理想化特征。各个偏振角度再次通过双向箭头表示。
在已经采集偏振测定数据之后,该数据被传递至计算机系统用于数据处理。参考图2A至图2C,每一个像素的灰阶值与具有示出各个图像的方位的偏振光的强度成比例。为了确定场景中的给定点的斯托克斯矢量,使用,计算机利用与场景中的相同的点对应的像素的强度值,使用来自等式 (1)-(4)的公式进行计算,该点至少是来自三个图像中的每一个的一个点。在两个或更多图像之间校准像素的过程将引用至本文中作为“图像配准”。用于图像配准的许多方法在本领域是众所周知的。根据在本文中公开的系统,关于照相机的位置和方位的数据通常可用于每个图像。因此,通常优选采用这种数据的图像配准方法。
本公开内容到目前为止,已经讨论偏光器方位好像其在图像上是恒定的。而实际上,如在图3中示出的,偏光器方位并不恒定,图3图形地描述空间透视使得对于没有在图像中心的像素的偏光器方位变形的情况。垂直轴是仰角,而水平轴是方位角。这个曲线图示出在照相机透镜(未示出) 前方放置具有水平方位的平坦偏振滤光器(在图3中未示出)的作用。偏振角由双向箭头表示。标记为“局部偏光器方位”的粗曲线示出在图像中的每个点产生的偏振。沿着图像的垂直轴,偏振是水平的。同样地,沿着图像的水平轴,偏振是水平的。然而,如果预想偏光器向左边和右边无限延伸,照相机能够形成横跨180°方位角度的图像,人们将看见被光透视变形的“水平”偏振的线。在极左和最右,线在光的无穷处“消失”。在图像的中心与图像的边缘之间,光通过偏光器的局部方位行进至照相机焦点平面,该局部方位不是水平的。图3中的水平线示出在每个方位角度位置的局部地平线(localhorizontal)。(已经假定这个图像在高海拔拍摄,因此地球的边缘在零仰角线以下。)局部地平线不与偏光器方位平行。对于大于几度宽的任何图像,偏移是极大的并且必须在数学上进行处理。
计算图像中的每个点实际的偏光器方位的方法是本领域众所周知的。本文中称为“计算偏振参数”的过程步骤应用一种或多种这些方法。
根据本文中公开的原理使用偏振滤光器测量图像中的光的偏振的系统和方法可以在多方面实现。现在将详细地描述合适的实施方式的不同的示例。
第一实施方式.图4A和图4B是具有固定安装的单个朝下的照相机 16的理想化的固定翼飞行器20的顶视图和侧视图。偏振滤光器18以这样一种方式安装,该方式使得其具有相对于照相机的固定位置并被设置在照相机透镜(未示出)的前方。偏振角通过图4A中的双向箭头表示。
图5示出图4A和图4B中示出的固定翼飞行器20的飞行路径,该飞行路径涉及在三次相继直线经过目标22期间为了定位偏振滤光器而发生的航向的变化。这些相继的经过分别通过圆圈1、2和3表示。三次经过的偏振角通过图5中的相应的双向箭头表示。
如图5中看到的,飞行器可以沿着具有十字交叉图案的路径飞行来以不同的滤光器方位从相同的目标场景捕获图像。(可以采用其他飞行路径,条件是将沿着相差至少一个45°的奇倍数和一个45°的偶倍数的三个方向定位偏振滤光器18。)
第二实施方式.根据可替换实施方式,可以在旋翼飞机上安装在固定位置具有偏振滤光器的向下的照相机。因为旋翼飞机能够在一个位置悬停,所以旋翼飞机飞行员可以将旋翼飞机定位在使得目标位于照相机视域内的一个位置然后在那个位置悬停。在旋翼飞机悬停的同时,飞行员可以令旋翼飞机横转(yaw)为使得照相机在不同的横转角度捕获三个图像,从而在捕获三个图像时在三个方向定位偏振滤光器。
第三实施方式.根据另一个实施方式,具有指向前或者向后的单个照相机的飞行器使用倾斜角度(bank angle)来实现不同的偏振滤光器方位。图6A和图6B是具有固定安装单个向前的照相机16的理想化的固定翼飞行器20的侧视图和正视图。偏振滤光器18以这样一种方式安装,该方式使得偏振滤光器18相对于照相机具有固定位置并设置在照相机透镜(未示出)的前方。偏振角度再次通过图6B中的双向箭头表示。
图7示出用于图6A和图6B中示出的固定翼飞行器20的飞行路径,该飞行路径涉及为了在沿着指向目标22的直线路径24(即,视线)飞行时定位偏振滤光器而发生的倾斜角度的变化。沿着视线的相继的飞行器位置分别通过数字圆圈1、2和3表示。飞行器20的对应的倾斜角度在每个圆圈的右边示出。三个飞行器位置的偏振角度通过图7中的各个双向箭头表示。
对于飞机可以摆转(roll)90°并拍摄具有足够的分辩率的目标的三个图像并且在朝向目标的视线中没有显著的变化的情况,图7中示出的方法是合适的。控制系统命令飞机向一侧摆转45°,命令照相机拍摄图片,摆转至水平,拍摄另一个图片,摆转至另一侧,并且拍摄第三张图片。理想地,第二和第三图片发生在沿着从第一图像位置至目标的视线的位置。这保证照相机以几乎相同的散射角度、进而每个图像中以相同的偏振对光取样。
在需要更高精确度或者烟尘、灰尘、薄雾、等散射大量的光的情况下,图8的方法是合适的。图8示出用于图6A和图6B中示出的固定翼飞行器20的飞行路径,该飞行路径涉及航向的变化和倾斜角的变化,以三次相继经过位于到目标22的初始视线上的相同的位置期间定位具有偏振滤光器18(参见图6A)的前向的照相机16。飞行路径的相继的支线分别通过圆圈1、2、3和4表示。第一支线1是直线并与照相机到目标22的初始视线同线。在机上照相机捕获目标22的第一图像时飞行器20可具有0°的倾斜角度。在捕获第一图像之后,飞行器20左转弯并沿着在与捕获第一图像的位置接近的指定范围内环绕回来的第二支线2飞行。在这个第二次经过期间,飞行器20在捕获目标22的第二图像时可以具有45°的左倾斜角度,如图8中的的附图标记“~45°左倾斜”所示。在捕获第二图像之后,飞行器20右转弯并沿着在与捕获第一图像位置接近的指定范围内再次环绕回来的第三支线3飞行。在该第三次经过期间,飞行器20在捕获目标22的第三图像时可以具有45°的右倾斜角度,如图8中的附图标记“~45°右倾斜”所示。在捕获第三图像之后,飞行器20可以沿着直线支线4继续朝向目标22飞行。通过图8中的各个双向箭头表示通过相同的位置、但倾斜角不同的三次经过的偏振角度。在飞行器导航的精确度的极限范围内,飞机通过环绕和返回至第一张照片的位置将照相机放置在对于所有三张照片来说精确相同的位置。
搭载照相机和偏振滤光器的飞行器可以具有固定的或者旋转的翼。虽然大部分旋翼飞机可以在悬停时横转,如在实施方式2中,但一些在悬停时不能实现大的倾斜角。这些旋翼飞机可以使用图7或者图8中示出的操纵。然而,一些旋翼飞机可以通过从静止侧向加速实现45°倾斜角。这些可以在迅速向左和右移动并没有前进运动时捕获图像。
第四实施方式.对于上述实施方式的任何一个,除了仅装备一个照相机,飞行器可以装备有瞄准大致彼此平行的两个照相机,每个照相机具有各自的固定偏振滤光器,该固定偏振滤光器相对于彼此大致以90°定位。利用这个配置,45°转弯、倾斜、或者横转(根据照相机的方位)在两次操纵而不是之前实施方式中需要的三次操纵中获得所有的线性斯托克斯参数。
第四实施方式产生用于额外的照相机和滤光器的额外重量和成本,这超过第一至第三实施方式需要的单个照相机,但是其通过仅使用两个操纵代替三个提供一些操作的节约。与利用多个照相机的现有技术解决方案相比,这个实施方式少使用一个照相机,从而节省一些重量和成本。
第五实施方式.在图9和图10中所示的实施方式中,照相机16内部的像素的焦点平面阵列26的一部分被偏振滤光器18a覆盖,而一部分未被覆盖使得结果是来自焦点平面阵列26的该部分的常规的(非偏振的) 图像。图9示出照相机构造,其中,偏振滤光器18与照相机16内的像素的焦点平面阵列26的一部分重叠。偏振滤光器18可以被使用粘合剂25 粘结至焦点平面阵列26。焦点平面阵列26反过来粘贴至照相机16的壳体的后壁30。
图10是与焦点平面阵列26的一部分重叠的偏振滤光器18的前视图。偏振滤光器18的方位由图10中的双向箭头表示。焦点平面阵列26的无覆盖的部分测量总强度,该测量是用于计算斯托克斯参数的测量之一。在不需要偏振测定时其也提供传统的图像。焦点平面阵列26的覆盖的部分,以及将焦点平面阵列26的该部分指向目标并适当地定位偏振滤光器18的飞行器操纵,提供了在一个或者两个偏振方位的强度测量。
与将具体的滤光器方位放置在每一个像素上的现有技术方案相比,将统一的滤光器放置在CCD的焦点平面阵列的一部分上更加便宜和容易。后者的技术需要将一片塑料或者玻璃以约1mm的精确度的附接。该任务可以手工完成,帮其可用于修改已经安装在飞行器中的照相机。而前者(现有技术)技术需要大致一百万单独定位的滤光器以便安置在像素宽度一小部分内,例如,微米或者两个。这需要精确的电光制作系统并仅可以在工厂中的似真地完成。
在替换实施方式(未示出)中,非偏振部分用传输约50%的入射光的中性密度光滤光器覆盖。因为偏振滤光器在场景是非偏振的或者仅稍微偏振 (如在大部分外景中)时传输约50%的入射光,50%灰色滤光器大致匹配偏光器的透射率。匹配透射率是指CCD图像的两侧约同样较好的暴露,这改善图像使用性和强度分辩率。
第六实施方式.在图11中所示的实施方式中,照相机16被修改为具有两个偏振滤光器18a和18b,两个偏振滤光器18a和18b在焦点平面阵列26的前面的不同的方位和覆盖焦点平面阵列26的相应的一半。飞行器操纵以在焦点平面阵列26的每个部分使目标成像而不是围绕它的光轴旋转。这个允许利用飞行器的一个或者几个小的重新定位(而不是多个大的操纵)进行各个偏振的测量。利用前向照相机,图11的构造除了航向或者俯仰(pitch)的小的变化外仅需要45°的摆转以便在三个不同的偏振角度进行测量。
图12中示出的构造包括具有各自的方位的三个线性的偏振滤光器 18c至18e和在焦点平面阵列26的前方并覆盖焦点平面阵列26的相应的四分之一的圆形的偏振滤光器18f。这个构造通常仅需要航向或者俯仰的一度或两度的变化即以在三个或者四个偏振角度(即,飞行器不需要摆转) 进行测量。圆形的偏振滤光器18f可以在圆形偏振显著的应用中测量全部的斯托克斯矢量。可选地,被圆形的偏振滤光器18f覆盖的焦点平面阵列 26的四分之一可以转而被中性密度滤光器覆盖以提供非偏振的强度测量。
第七实施方式.在另一个实施方式中,本发明在一些飞行器中开发以万向架安装的照相机的存在。图13是具有透镜单元28的典型的以万向架安装的照相机16的示意性的顶视图。图13A是图13中描述的以万向架安装的照相机的截面图,万向架被沿着图13中的线13A-13A表示的平面截面。万向架32具有两个互相垂直的旋转轴。照相机16可以围绕万向架方位轴向左摇摆和向右摆动(swing)并且可以围绕万向架仰角轴旋转以使得透镜单元28向上和向下指向。在这个构造中,方位角度和仰角轴与照相机16的光轴垂直且彼此垂直。
根据图14、图14A和图14B中示出的第七实施方式,以万向架安装的照相机16被设计成能辅助附接至照相机16的透镜单元28的偏振滤光器18的方位的改变。如在图14中的看到的,照相机16横向地安装在万向架32中以此方式使得前仰角轴平行于照相机16的光轴。在这个构造中,照相机16可以围绕第一和第二角位置之间的前标仰角轴旋转,使得偏振滤光器18向上和向下摆动,如图14A和图14B中看到的。为了说明的目的,假定在图14A和图14B中描述的旋转的量是90°。在照相机16在第一角位置时,偏振滤光器18水平地定位(图14A中看到的);在照相机 16在第二角位置时,偏振滤光器18垂直地定位(图14B中看到的)。在图14A和14B中,在照相机16在第一和第二角位置之间旋转时,直线的双向箭头表示偏振滤光器18的相应的方位,而弯曲的双向箭头表示偏振滤光器的中心的曲线路径。改变偏振滤光器18的方位的能力允许照相机 16在不同的偏振角度提供图像。在这个第七实施方式中,前仰角轴不再向上和向下瞄准照相机16。方位轴继续提供约其在现有技术装置中具有的范围的一半的左右指向。飞行器操纵则提供其他轴指向。
第八实施方式。图15示出在球形塔34中具有安装在万向架32(部分示出)上的照相机16的无人驾驶航空器20的侧视图。对于通过清楚的球形塔34(或者窗口)向外拍摄的以万向架安装的照相机,球形塔34(或者窗口)的一部分可以被偏振滤光器18覆盖以使照相机的观测域的一部分偏振,如图16所示。对于传统的成像,万向架32被用于在球形塔34 (或者窗口)的非滤光的部分的将照相机16向外指向。对于偏振测定,万向架32被用于将照相机16瞄准目标(在图16中未示出),并且飞行器被定位以将偏振滤光器18放置在照相机16与目标之间。如果需要多个滤光器方位,飞行器20进行如其他实施方式之前描述的操纵以定位偏振滤光器18。
应理解的是,UAV操作者很少通过炮塔球形34的下尾部分将照相机 16指向。使用那个位置用于偏振滤光器18将因此对普通的操作具有最小的影响,同时仍允许偏振测定数据的采集。如在第三实施方式中那样,向左或者右摆转飞行器改变滤光器方位。
图16示出装配在球形塔34内部的偏振滤光器18。在不可行的情况下,偏振滤光器18可以安装在球形塔34的外部,使用适当的整流罩以使气动阻力最小化。
另一个选项(附图中未示出)是将偏振滤光器18安装至球形塔34 的一侧,例如,右舷侧上。然后,以左向倾斜逆时针方向环绕目标的UAV 可以获取普通的非偏振的成像,但是通过以右向倾斜顺时针方向环绕目标,UAV可以获取偏振的成像。在焦点平面上的不同的位置观察目标,同时改变UAV的俯仰角度,允许在不同的方位的偏振测量。
到目前为止描述的实施方式以操纵交通工具的原理操作使得偏振滤光器的方位在使用照相机使目标成像期间改变。其他实施方式以利用没有专用的偏振滤光器的照相机的光学性质以确定场景中的偏振光的量的原理操作。根据一些实施方式,提供没有使用偏振滤光器确定来自场景中的一个或多个对象的偏振光的系统和方法。利用在不同的角度定位的照相机获取一系列图像因此对象出现在照相机的焦点平面上的不同的位置。以非垂直角度冲击到透镜上的光部分地反射,反射光平行于透镜表面偏振和透射光垂直于透镜表面偏振。比较一系列的图像,将发现看见每个偏振的对象的强度随着它在焦点平面中的投射的图像的位置而变化。强度的这个变化显示来自每个对象的偏振光。
对于使用没有偏振滤光器的照相机的典型的实施方式,系统包括:飞行器;机上导航和控制系统,具有之前描述的性能;机上照相机,具有相对于飞行器的已知的方位;机上控制系统,能够控制照相机以在飞行器到达所选择的位置时以所选择的方位的其中之一捕获图像;计算机(机上或者在地面上),编程以配准图像和根据表示照相机的偏振度的特征的存储的数据计算目标的偏振值;和用于将照相机图像传递至计算机的器件,。
没有使用偏振滤光器的实施方式采用表征照相机的偏振度(具体地,其缪勒矩阵的两个元素)关于角度的特性的器件和方法,使得照相机可以如在前段中描述的那样使用。照相机的偏振度的该特性涉及具有已知的角度和偏振度的偏振光源(通常在实验室或者工厂中使用);照相机;计算机,被配置为接收来自照相机的图像;和计算机上的软件,用于处理利用偏振光源和照相机产生的图像以确定表示照相机的偏振度的缪勒矩阵元素。
用于使用没有附接的偏振滤光器的照相机采集偏振测定数据的方法的主要步骤如下:
(1)通过测量或者通过计算,确定关于角度的照相机的偏振度(即,缪勒矩阵)。
(2)在表征照相机的偏振度之后,捕获目标的一系列照相机图像。照相机方位在相继的图像之间改变,因此目标在照相机的焦点平面上的不同的点成像。对于一些应用,照相机安装至航空器。照相机的方位通过操纵航空器控制。
(3)捕获的图像数据然后从照相机传输至计算机。
(4)计算机然后处理图像数据,使用照相机的缪勒矩阵来计算来自目标的光中的偏振的量和角度。
在公开依赖照相机的偏振度的表征的不同的实施方式之前,光偏振的方面的进一步讨论将是有帮助的。物理学家和工程师将电磁波的偏振描述为具有与电场振荡的方向对应的两个正交分量。在强偏振辐射中,这些分量的其中之一比其他分量强得多。天然的太阳光是非偏振的,即,两个偏振分量具有相等的幅度。
众所周知在透明的表面的部分反射可以将一束光分为两束,每一束部分地或者完全地偏振。这个可以通过使光以斜角穿过平板玻璃表明。图 17A示出在光以垂直入射撞击由玻璃制成的平板40时没有偏振。图17B 示出以倾斜入射的s偏振光的强反射,这增加透射波束中的p偏振光的比例。仅示出第一表面反射。实际上,也存在来自背后表面的反射。图17A 和图17B(及其他图形)遵循将两个偏振分量命名为s和p的共有设定,每个被命名为其自身所平行的部分:s平行于表面(Surface)和p平行于入射平面(Plane)。在图形中,p偏振光通过表示页面的平面中的矢量的箭头示出和s偏振光通过表示垂直于页面的矢量的圆圈示出。每个偏振分量的强度通过每个箭头的长度或者每个圆圈的直径表示。在入射角度接近 0°没有冲击时(图17B中描述的情形),从每个表面反射的光大部分是s 偏振。在入射波束入射角度接近0°没有冲击时,保留在透射波束中的光在 s分量上稍微减少并且因此稍微更多地被p偏振。两个分量的比率取决于入射角度和玻璃的折射率。可以使用菲涅耳方程计算出平行和垂直于表面的波形的反射和传输的系数幅值。对于任何入射角度θi,菲涅耳方程如下出现:
其中,ni是入射介质的折射率,nt是用于透射的介质的折射率,θi是入射角度,和θt是可以使用ni、nt、θi、和斯涅尔定律计算出的透射的角度。
缪勒矩阵
如之前参考等式.(1)至(4)讨论的,可以基于相对于光学元件的角度计算出斯托克斯参数。偏振滤光器、照相机透镜、或者其他光学元件可以将偏振光从通过第一斯托克斯矢量可描述的形式转换为第二斯托克斯矢量可描述的另一个形式。数学描述变换的最普通的方法是缪勒计算,其中,变换规定为4x4矩阵。公式看来像等式(9):
S2=M S1 (9)
其中,S1是第一斯托克斯矢量,M是光学元件的缪勒矩阵,和S2是第二斯托克斯矢量。完美的水平的偏振滤光器的缪勒矩阵如下:
对于完美的竖直的偏振滤光器,矩阵是:
等式(10)是示出缪勒计算如何工作的示例。具有强度1的光的非偏振的入射束(在等式(10)的最右边上通过矢量S1表示)以45°向右上偏振。其经过竖直的偏振滤光器(缪勒矩阵表示的),变为具有1/2强度的垂直地偏振光束(在等式(10)的左侧通过矢量S2表示):
在以上示例中,缪勒矩阵描述整个光学元件,例如,偏振滤光器或者照相机透镜。在照相机透镜的情况下,缪勒矩阵取决于具体的光束冲击在透镜上的入射角度θi和围绕光轴的取向角φ。因此,本公开内容有时仅在入射角度重要时涉及具体的缪勒矩阵作为M(θ),而在其他时间涉及具体的缪勒矩阵作为M(θ,φ),或者在两个参数都重要时涉及一些类似地专用项。
简单的定性示例
在CCD照相机中,透镜将入射的光聚焦至焦点平面阵列上的不同的点。图18A至图18C是分别示出了透镜42以与照相机16的光轴成不同角度θ=0、~20°、和~40°的不同的偏振量的示图,对应于各自的不同的像素位置。光到达透镜42的角度决定光聚焦在焦点平面阵列26上的位置。
图19示出以不同角度经过透镜42的不同的偏振光,对应于焦点平面阵列26上的对象图像的不同位置。椭圆离心率示出偏振度;椭圆方位示出偏振方向。因为以零入射角度到达的光被聚焦至焦点平面阵列26的中心(见图18A),聚焦在焦点平面阵列26的中心的光从透镜42没有发生偏振(见图19)。以大角度到达的光被聚焦接近焦点平面阵列26的边缘(参见图19),因此照亮焦点平面阵列26的边缘的光从透镜42发生最大的偏振。因此,透镜42作为偏振滤光器:如果从外部场景到照相机16的光已经垂直于透镜的偏振效果被偏振,那么透镜42减小光的强度。这是指场景中给定的对象的视在强度取决于(a)它的实际的强度,(b)它的偏振,和(c)它的在焦点平面上的位置。
图19A至图19C是示出了场景对象在不同的像素位置的不同的强度,其示出了其对于垂直偏振光(图19A)、水平偏振光(图19B)、和非偏振光(图19C)的偏振(线宽度表示强度)。如在图19A中看到的,垂直地偏振的对象在其出现接近通过焦点平面的中心的垂直线时保持明亮,但是其在至中心的右边或者左边的圆弧(arc)中变为暗淡。水平的偏振对象在其出现在接近通过焦点平面的中心的水平线的圆弧内时保持明亮,但是其在中心以上或者以下的圆弧中变暗淡(参见图19B)。如在图19C中看到的,非偏振的对象的强度随着远离焦点平面的中心减弱,无论对象相对于中心的方向。
上述讨论的前提是具有变化的偏振和变化的到达角的光与固定的照相机和它的焦点平面相互作用。可选地,可以考虑在照相机方位改变时的具有在固定坐标(例如,在x方向行进)中的固定偏振的入射光。图20A 至图20C示出这个方法。
图20A示出未倾斜的透镜42a(零入射角度)和在非零角度θ倾斜的透镜42b的截面图。这些透镜被沿着图20B中的线20A-20A表示的平面截面。图20B示出在图20A中描述的透镜42a、42b,以及相对于到达的光倾斜相同的角度θ但围绕光轴倾斜不同的方位角度φ的透镜42c、42d的正视图。图20C表示通过图20B中描述的透镜投射在焦点平面阵列26上的对象图像,假定焦点平面阵列26平行于每个透镜并以透镜的光轴为中心,如在典型的照相机中那样。角度φ对应于关于焦点平面的中心的角度位置。在这些方位经过透镜的光在焦点平面阵列26上的不同的点聚焦。因此,在光经过透镜时,像素在焦点平面上的φ坐标对应于光相对于透镜表面的方位。这个影响入射的偏振光中的s偏振和p偏振的相对量。聚焦至φ=0的位置的入射的水平偏振光相对于透镜p偏振。聚焦至φ=90°的位置的入射的水平偏振光是s偏振。根据一些实施方式,航空器可以以此方式操纵使得照相机将被以不同的角度定位,因此来自单个目标的光聚焦在不同的φ值的点。
复杂化
从目标至CCD照相机的传感器的光路径导致进一步复杂化,必须考虑到照相机是否由正确的缪勒矩阵表征。
弯曲透镜。利用玻璃的平板,入射的校准光以相同的角度撞击表面上的每个点,并且因此表面上的每个点使透射波束偏振与其他每个点相同的程度(参见图17B)。照相机透镜具有弯曲表面,因此光的校准光束在整个表面没有以相同的角度撞击透镜。因此对于通过透镜42上的不同的点透射的光,存在稍微的变化的偏振度(参见图21A)。然而,对于具有圆对称(即,几乎所有的它们)的透镜和接近图像的中心的目标,在透镜上的任一点A发生的偏振几乎被在与透镜的中心等距离并围绕轴从点A转 90°的点B的相对的几乎相等的偏振光抵消。因此,净效应类似于玻璃的平板:平行于透镜轴(即,大致垂直于透镜表面)到达并共同地聚焦在接近焦点平面阵列的中心的点上的光穿过透镜而不发生偏振;但是以相对于透镜轴的相当大的角度到达并共同地聚焦在远离焦点平面阵列的中心的点上的光发生强烈的偏振(参见图21B)。偏振度在透镜表面间稍微改变;仅在图21B中示出中心波束。
窄的照相机孔径使弯曲的透镜表面的影响最小化:透镜在小的孔径的区域上弯曲极小。宽孔径增加通过透镜广泛分离的平行路径中的无法抵消的差异。因此,一些实施方式包括孔径宽度以及θ作为参数来确定用于照相机的缪勒矩阵。
多个透镜。到目前为止,本公开内容已经将透镜作为在前和后表面反射的整块玻璃处理。通常任何照相机,包括空中监测照相机和现在普遍使用的傻瓜型和单反照相机,将具有结合成单个照相机透镜单元的多个透镜。每个透镜由透镜元件制成。一些接合在一起;其它不是,而非空气与透镜接触面。多镜头元件用于控制色差和提供清晰图像。部分反射可以发生在每个接口,增加离轴光路径的偏振程度。例如,图22示出内对焦式透镜系统的基本配置,包括固定的第一透镜组50、用于进行缩放操作的第二透镜组52、虹彩光阑(irisstop)54、固定的第三透镜组56、具有聚焦功能和补偿由缩放引起的焦点平面的移动的所谓的补偿功能的第四透镜组58(称为聚焦透镜);以及诸如焦点平面阵列26的图像感测装置。为了减少诸如闪光的图像伪像和增加透射光的量,透镜制造者通常利用可能由多层制成并通常对一些波长比在其他波长更加有效的抗反射的涂料涂覆元件。这减少了,但是没有除去,在每个空气至透镜界面增加的偏振。
焦点平面光学。一旦通过照相机透镜,光落在通常作为CCD检测器的焦点平面阵列上。与透镜类似,CCD同样可以增加偏振。CCD是不仅通过将光子转换为电信号来收集光而且通常通过红外线滤光器和滤色阵列(常常是拜尔滤镜)过滤光的多层装置。图23示出典型的CCD的单元小组的截面图。单位单元包括传感器60、滤色阵列62和芯片上显微透镜 64。(单色光装置没有作为CCD的一部分的滤色片。)
如在图23中示出的,光可以遇到用于使光的收集量最大化并使其指向传感器60的芯片上的显微透镜64。光然后通过滤色阵列62。通常滤色阵列将是由在芯片上图案化的红色、绿色、和蓝色滤色片制成的拜尔滤光器。在通过显微透镜64和滤色片62的每个界面,均出现一些反射。离轴越远,这个反射增加的偏振越多。
传感器表面。另一个部分反射出现在过滤器至传感器表面,稍微进一步增加偏振。
表征照相机的特性的方法
计算方法。表征照相机的特性、即确定其用于几个不同的入射角度的缪勒矩阵的一个方法是导入每个透镜元件、涂料、粘合剂、和焦点平面光学器件的详细的几何的和实体模型至光学分析软件。软件计算到达焦点平面阵列上的每个点的偏振光。这个方法不是新颖的。
实验方法。第二种方法是使用实验方法进行一系列强度测量和计算。与计算方法相比,这个方法比较容易,因为上述所有的复杂化自动地说明。这个实验方法包括以下步骤。
第一,在控制的光环境中设置包括所选择的透镜的照相机。设置通常包括光目标,可以被旋转至选择的方位的偏光器,和围绕至少一个轴使照相机旋转以拍摄目标以不同的已知的角度离轴出现的照片的器件。在图24 中示出这种实验设置的一个示例。具有传感器的焦点平面阵列26和透镜单元28的CCD照相机16安装在云台(pan-tilt)机构68上。照相机16 的透镜单元28通过设置在其间的偏振滤光器18瞄准光源66。光源66发射非偏振光,该非偏振光通过偏振滤光器过滤以产生冲击在透镜单元28 上的偏振光波形。(虽然图24示出直接朝向照相机16发射光的光源66,在以下报告的实际实验中,照相机在光由光源朝向一张白纸发射然后通过白纸朝向照相机发射之后接收光。)
在设置之后,在不同的照相机位置和滤光器方位捕获目标的图像。缪勒矩阵M(θ)在每个离轴角度θ不同。因此,图像测量必须在(a)期望精确的缪勒矩阵的每个角度θi下进行,或者在(b)足够紧密的隔开以允许足够精确内插的角度下进行。至少两个图像必须在每个角度θi捕获;如下所述,通常三个图像用于提高准确度。
捕获图像的角度θi的范围随着照相机和应用改变。单个参考图像必须在角度θ=0捕获。因为照相机在最大的入射角度具有最强的偏振作用,典型应用以从θ=0的参考图像至最大的可能的入射角度、即目标距离图像的中心最远的位置的角度捕获图像。在大多数情况下,这使目标放在矩形图像的角落。为了计算的简单性,一些实施方式使用目标在矩形图像的边缘的中间的图像,即使这没有与角落距离图像的中心一样远。
接下来几个部分描述用于在θ=0捕获参考图像和在θi≠0的一些值捕获一组图像的条件。
参考图像:在轴线上,即,θ=0
参考图像使用0°入射角、即目标位于图像的中心。在这个角度,透镜和焦点平面光学器件作为理想的清晰的滤光器处理。(其不是,但是这是不可辨别的除非使用更好的照相机或者其他仪器。)相应的缪勒矩阵是如等式(11)所示的单位矩阵:
目标发射和/或散射非偏振光,非偏振光通过在等式(11)的最右的输入斯托克斯矢量描述。
每个捕获的图像是像素值阵列Pj。每一个像素值与冲击在目标场景中的对应点的光的强度成比例。如等式(12)所示,在参考图像中的目标点测量的像素值P0定义参考强度I0
用于对应于其他角度θi的缪勒矩阵的非同式系数表示相对于这个参考强度的变化。在θ=θi,φ=0的图像
在每个入射角度θ=θi拍摄的图像都使用相同的旋转角度φ。旋转角度φ由包含目标的平面、透镜的中心、和距离目标最远的透镜上的点限定(参见图20C)。旋转角度φ限定偏振的坐标系统,即,所有的特征图像被限定为在φ=0。在φ=0偏振的光被限定为水平地偏振,即,Q=1在选择的坐标系统中。这个限定使水平偏振的光与透镜的p偏振的光相同,垂直偏振与 s偏振相同。
非偏振的目标
在θ=θi的图像的其中一个观察非偏振的光的目标,即除了照相机自身以外没有使用偏振滤光器。这个对应于在等式.(13)中的最右示出的输入斯托克斯矢量:
图像包括在目标的测量的像素值Pθunp。从目标到达照相机的光具有与参考图像相同的强度,但是,测量的像素值不同,因此使用等式(14) 和测量值P0和Pθunp计算用于θ=θi的缪勒矩阵元素A11:
水平偏振的目标(p偏振)
在θ=θi的图像的其中一个可以通过穿过水平偏光器的光观察目标。 (因为照相机被利用φ=0定位,水平偏振与p偏振相同。这个对应于在等式.(15)中的最右的输入斯托克斯矢量,包括滤光器对总体强度的作用。 (对于理想的偏振滤光器,强度系数是1/2,如示出。以下公开的方法的其中一种测量实系数。)
图像包括在目标的测量的像素值。从等式.(15),我们看到用于θ=θi的缪勒矩阵元素A12与通过等式.(16)的像素值相关:
这个等式可以被重新排列以获得如等式(17)所示的A12。
A12=2Iθp-A11 (17)
垂直偏振的目标(s偏振)
在θ=θi的图像的其中一个可以通过穿过垂直偏光器的光观察目标。 (因为照相机被利用φ=0定位,垂直偏振与s偏振相同。)这个对应于在等式.(18)中的最右示出的输入斯托克斯矢量:
图像包括在目标的测量的像素值。从等式(18),我们看到用于θ=θi的缪勒矩阵元素A12与通过等式(19)的像素值相关:
这个等式可以被重新排列以获得如等式(20)所示的A12。
A12=A11-2Iθs (20)
使用s偏振和p偏振图像得出平均值A12估算
一些实施方式使用上述的水平偏振和垂直偏振图像两者。这些实施方式使数据结合以减小噪音的作用和从而提高A12的估算。在这些实施方式中,等式(17)被与等式(20)相加,总和被除以2来计算A12的平均估算:
A12=Iθp-Iθs (21)
使用水平和垂直偏振的图像两者产生另一个优点:估算在这些测量中使用的偏振滤光器的强度系数。强度系数描述几分之几的非偏振的光通过滤光器获得。如前所述,理想的偏振滤光器具有1/2的强度系数。对于实际的偏振滤光器,强度系数可以计算为通过以任何两个垂直偏振、例如s 偏振和p偏振偏振获得的光的平均分数。未过滤的光的像素强度已经测量为,如在等式(14)中的看到的。因此,滤光器的强度系数可以计算为:
这个数值取代等式(15)和(18)中的系数1/2,导致用于估算A12的等式(17)、(20)、和(21)中的改善的数字系数。
缪勒矩阵测量示例
上述方法用于表征具有设置为18mm焦距的18-55mm Canon EFS变焦透镜的CanonEOS Rebel 300D照相机和在透镜的前方的清晰的滤光器的特性。光源是通过荧光台灯照亮的一张白色打印纸。白色打印纸具有绘制在其上的十字形目标符号(在图25中描述目标符号的一部分)。图像以 8-bit JPEG格式保存。这个水平的质量足以示出可行性。在更加严密的特征化中,将设置照相机以产生给出更高的分辩率并且没有引入压缩错误的 12-bitRAW格式的图像。
现在将描述的表征法使用四个像素组用于每个计算,但是仅是平均的技术以减小不需要的噪声。更加普通的方法基于单个像素的值。
首先,捕获轴上参考图像,使得目标在图像的中心。来自目标的光是非偏振的。图25示出闭合图像。MATLAB被用于标记目标像素并且测量其RGB值。目标像素位于像素图像的纵列1536(X)和横列1024(Y)。目标像素具有分别测量的R、G、和B值232、181和124。邻近于目标像素的四个像素具有分别平均测量的R、G、和B值237.25、182.5、和127.5。
然后关于接近图像的右边缘的目标捕获离轴图像,仍然没有偏振滤光器。目标的关于图像中心的角度是θ=θ0=28.3°。在这种情况下,目标像素位于像素图像的纵列2850(X)和横列1024(Y)。用于邻近于这个目标像素的四个像素的测量的R、G、和B值的平均值现在分别是209.75、167.5、和115.25。
此后,偏振滤光器(来自偏振的太阳镜的透镜)放置在目标和照相机之间(而来自图像中心的目标的角度依然是θ=θ0=28.3°)。第一,定位偏振滤光器使得来自目标的光相对于透镜和焦点平面光学器件水平偏振,即,p偏振。在这种情况下,邻近于目标像素的四个像素(即,X:2850; Y:1024)分别具有测量的R、G、和B值的平均值118、82、和44.25。然后,定位偏振滤光器使得来自目标的光相对于透镜和焦点平面光学垂直偏振,即,s偏振。在这种情况下,邻近于目标像素的四个像素具有分别测量的R、G、和B值的平均值104.75、80.75、和34.75。如所期望的,p 偏振值高于s偏振值:照相机中的每个界面反射s偏振光多于p偏振光以下图表示出来自上述测量结果的前两个缪勒矩阵元素的示例计算。
图表中的“目标点”行规定可见目标的离轴像素坐标(焦点平面的轴上中心在1536和1024)。图表中的每组测量包括对角地邻近于目标像素的四个像素。标记为R、G和B的纵列示出了每种颜色的测量的像素值;“强度”纵列是这些值的平均数。每个颜色和每个强度的平均值和中位值在紧邻每组数据的下面的两行中示出。倒数第三行示出由每种颜色和总强度的平均像素值计算的第一缪勒元素(A11)。底行示出每种颜色和总强度的第二缪勒元素(A12)。
数据示出了红色和蓝色频带中的水平与垂直偏振的相对高的强度比,但是绿色频带中的相对低的比率。这可能因为透镜的抗反射涂层被优化以减小绿色光、人类视力最敏感的频带中的反射。因为本文中公开的方法依赖不同的反射以促使偏振,绿色频带中的最小的反射对应于相同频带中的最小的偏振。绿色频带中的第二缪勒元件成加粗以表示绿色频带中的在θ这个值的偏振测量可能不可靠。
示例包括如等式(22)中的偏振滤光器的强度系数的计算。用于每种颜色的一个系数在标记“偏光器中性密度”的图表中的线中示出。
在上述实验中使用的照相机具有22.7mm宽和15.1mm高的焦点平面阵列。透镜焦距被设为18mm。目标点与中心水平成28.3°,即,θ=28.3°。
在上述的实验中,对θ的单个值进行测量。典型应用在θ的多个值使用类似的测量。产生的缪勒矩阵值存储在查找表格或者用于曲线拟合可用于估算任何角度的缪勒矩阵值的等式。这些缪勒矩阵组成照相机的偏振度的特征描述。
使用表征后的照相机的方法
一旦照相机的偏振度被表征,照相机可用于捕获来自包含未知的目标的场景的图像。根据一个实施方式的方法包括以下步骤:
步骤1:设置照相机。
照相机的设置包括以这样一种方式安装照相机和相关的装置,该方式使得照相机可以以通常与CCD上的不同位置对应的不同的透镜方位来观察相同的目标对象。这可以包括将照相机附接至摇摄(pan)/倾斜装配件,例如,在工厂中,或者将其附接至飞行器或者其他交通工具。
步骤2:捕获图像。
使用相同的入射角度θ和不同的照相机方位角度(例如,φ=0°、45°和90°)捕获多个(例如,三个)图像。对于在不同的方位捕获的每个图像,透镜将目标上的点的图像投射在CCD芯片上的相应的位置上。目的是以类似的入射角度(例如,与中心成30°)但不同的倾斜方位捕获相同的场景。在照相机没有围绕照相机到目标轴旋转的情况下,这个目的等价于在与中心相同的角度在CCD的不同的部件上捕获场景。为了测量前三个斯托克斯参数(完全表征线性偏振的特性),目标围绕光轴在不同的角度位置成像,理想地在0°、90°、和45°或者135°中的任一个。
照相机可以装配在摇摄/倾斜装配机构上。在工厂应用中,典型的实施方式在获取图像时使用自动的摇摄/倾斜装配件或者万向架来如上所述定位照相机。在具有万向架装配件的典型的空运应用中,万向架在获取图像时定位照相机。在没有万向架的空运情况下或者万向架是无效的情况下,操作者或者飞行控制计算机操纵飞行器、航天器、或者其他交通工具将照相机定位在不同的角度用于图像获取。
第九实施方式。如之前讨论的,图4A和图4B是具有固定装配的单个朝下的照相机16和固定到照相机上的偏振滤光器18的理想化固定翼飞行器20的顶部和侧视图。在照相机的偏振度已经如上所述特性化的情况下,偏振滤光器可以被省略。在这种情况下。在图4A和图4B中示出的构造中,照相机16在飞行器水平飞行时朝下。
图26示出除了已经省略的偏振滤光器之外的图4A和图4B中示出的类型的固定翼飞行器20的飞行路径。在特性化照相机在机上时,飞行器 20可以通过以相同的倾斜角θ0进行三个急转弯采集来自目标22的偏振测量数据。(对于水平飞行的飞行器上的指向下的照相机,倾斜角与入射角度θ相同。)相继的转向分别通过图26中的圆圈1、2和3表示。照相机在三个转弯的每一个期间直接在目标上面捕获相同的位置的图像。在圈号1 中,照相机在捕获图像时向西倾斜;在圈号2中,照相机在捕获图像时向西北倾斜;和在圈号3中,照相机在捕获图像时向北倾斜。这些与θ=0°、 45°、和90°对应。
具有固定前向的照相机的飞机可以在拍摄照片时通过暂时横转和向上或者向下俯仰约32°在θ=-45°、0°、和45°获取图像。具有固定朝侧面的照相机的飞机可以在拍摄照片时通过横转和向左和右摆转约32°在θ=-45°、0°、和45°获取图像。
第十实施方式。徘徊的旋翼飞机可以获取与以相同的角度倾斜的飞行器和照相机相似的一组图像,无需离开其在目标上面的位置。替代地,旋翼飞机可以通过两侧或者向前和向后移动摆转和俯仰。
第十一实施方式。航天器可以通过在经过目标上方的相继的轨道上使自身重定位来获取类似的图像。
步骤3:比较图像和确定偏振
在航空器的情况下,捕获的图像可以被通过无线通信信道传输至在地面上的天线用于通过在地面上的计算机处理或者捕获的图像可以直接传输至机上的计算机。图像被传输至使用测量的强度与位置比较来确定场景的斯托克斯矢量Sx的计算机:
以下讨论这个矢量的坐标系统。
根据一个已知的技术,我们可以测量系统的输出处的斯托克斯参数,例如,Qout=Int0–Int90,Uout=Int45–Int135。我们将连结这些至输出斯托克斯矢量,使矢量乘以缪勒矩阵的反置矩阵(invenrse),和获得来自目标的光的输入斯托克斯矢量Sx。
本文中公开的偏振测量数据采集技术操作不同。照相机在每个方位可以仅测量总强度I(θ,φ),不能测量Q和U。因此,不同的方法被用于计算Sx。对于以下阐述的方法的讨论,假定所有的三个图像在相同的入射角度θ0拍摄,但是围绕到目标的轴的方位θ以45°的整数倍数改变。并且,将引用假设在选择的参照系统中100%水平偏振的光束。这样的光实际上不存在;引入是为了帮助读者理解坐标系统和使照相机转向的作用。
θ=θ0,限定φ=0:Q=1
挑选一个图像以限定参照系统使得φ=0用于所选择的图像。在这个参照系统中100%水平偏振的假设光具有斯托克斯参数Q=1和斯托克斯参数 U=0;这个假设光相对于透镜的中心是p偏振的。这个参照系统如在等式 (23)中那样定义输入斯托克斯矢量,并如在等式(24)中那样确定图像中测量的强度:
这个涉及至A11和A12因此:
Iθp=A11Ix+A12Qx (25)
θ=θ0,φ=90°:H偏振/p偏振成为V偏振/s偏振:Q=–1
第二图像被使用,其中,照相机倾倒(tip)以实现对于目标的相同的入射角度θ0,但是照相机围绕至目标的轴旋转φ=90°,这在与具有φ=0°的图像相同的参照系统中测量。相对于透镜的传输光的能力,输入偏振旋转90°。在参照系统中100%水平偏振的假设光具有斯托克斯参数Q=-1和斯托克斯参数U=0。这个具有交换水平与垂直偏振的作用,因此至照相机的有效的斯托克斯矢量如在等式(26)中的最右示出:
这个涉及至A11和A12因此:
Iθs=A11Ix-A12Qx (27)
θ=θ0,φ=45°:45°偏振变为H偏振/p偏振:U=1
第三图像被使用,其中照相机倾倒以实现用于目标的相同的入射角度θ0,但是照相机被围绕至目标的轴旋转至φ=45°。相对于透镜的传输光的能力,输入偏振旋转45°。在参照系统中100%水平偏振的假设光具有斯托克斯参数Q=0和斯托克斯参数U=1。这具有交换H偏振和45°偏振的作用(分别是Q和U,在斯托克斯矢量中),因此在如等式(28)中的最右示出至照相机的有效的斯托克斯矢量:
这个涉及Iθ45至A11和A12因此:
Iθ45=A11Ix+A12Ux (29)
求出输入斯托克斯矢量
给出、和Iθ45的测量值,编程以处理偏振测量数据的计算机系统现在具有有三个未知的Ix、Qx、和Ux的三个等式(即,等式(25)、(27)和 (29))。等式(25)可以与等式(27)相加以产生:
Iθp+Iθs=2A11Ix (30)
被重新排列以获得Ix:
我们可以将这个替换为等式(30)以获得等式(32):
可以重新排列以获得如等式(33)中的Qx:
我们还可以将等式(31)替换为等式(29)以获得等式(34):
可以重新排列以获得Ux如下:
这个给出在等式(23)中定义的完整的三元素斯托克斯矢量Sx。
使用上述等式,斯托克斯参数可以用于计算每种颜色(R、G、B) 和总体强度。
使用来自校准示例的测量结果应用上述方法。这些测量结果不包括其中φ=45°的任何图像,因此不能计算Ux分量,但是其他计算确认上述过程引导Ix和Qx的正确的值,即,1和1,用于校准的参考值。
图27是根据一个实施方式识别用于获取成像的目标22的偏振值的系统的主要部件的方框图。系统包括:飞行器20;机上导航和控制系统70,能够飞行至三维位置(例如,经度、纬度和高度)并且随后使飞行器至少两次返回至大约相同的位置,以及能够测量飞行器在该位置的方位并在其返回至相同位置时将飞行器设置为不同的所选择的方位;机上照相机16,安装至万向架32;致动器74,耦接至万向架32用于改变照相机的相对于飞行器20的方位;机上线性偏振滤光器18,具有相对于照相机16的已知的、固定的方位;机上照相机控制系统72,能够控制致动器74用于将照相机16定位至多个所选择的方位中的任一个,在飞行器以所选择的方位的其中一个到达所选择的位置时控制照相机16捕获图像,然后接收来自照相机16的成像数据;机上发送器76,耦接至照相机控制系统72以用于将成像数据传输至地面站;接收器78,在地面站用于接收传输的成像数据;和成像数据处理计算机80(在地面上),编程以配准图像并计算所成像的目标22的偏振值。
照相机控制系统72可以包括具有硬件和软件的计算机。照相机控制软件包括:包含目标位置信息的数据库;第一程序,用于控制致动器74 改变万向架32的状态然后依据在数据采集任务期间从导航和飞行控制系统70接收的当前飞行器位置信息(即,当前飞行器位置和方位)和所存储的目标位置信息激活照相机16;以及第二程序,用于接收来自照相机16的成像的数据和以用于传输器76下载的合适的格式输出该数据。
成像数据处理计算机80还可以包括硬件和软件。成像数据处理软件包括用于配准捕获的图像的第一程序和用于计算用于成像的目标22的偏振值的第二程序。
替代地,照相机16可以被固定安装至飞行器20,从而消除对万向架 32和致动器74的需要。根据另一个替换实施方式,偏振滤光器18可以被省略和/或计算机80可以位于飞行器20上(在这种情况下,传输器76还将处理的数据传输至地面站)。
附加的实施方式。偏振测定数据采集系统可以体现多方面。附加的示例包括至少以下。
(1)表征照相机的缪勒矩阵,不仅作为角度函数,而且作为孔径的函数。相对大的孔径允许光以不同的入射角度通过透镜表面的部分。
(2)表征照相机的独立于其透镜的CCD,因此用户可以以不同的方式使CCD与透镜结合,不用表征每个组合的特性。串联使用的两个光学元件,诸如透镜和CCD,通过使用他们的缪勒矩阵(例如,S2=MCCD(Mlens S1)的连续的矩阵相乘数学地表示。如果两个缪勒矩阵被单独表征,那么输入斯托克斯矢量通过使两个矩阵反置(inverse)和以倒序使它们相乘:S1=Mlens -1(MCCD -1S2)计算出。
(3)使用45°的非整数倍数的φ角度和/或在图像之间变化的θ角度捕获图像。与等式(28)至(35)描述的方法相比,这些实施方式依据更加单调乏味且更复杂的代数学,但是推导和方法对于已从以上教导学习的技术人员将是清楚的。
(4)应用以上实施方式(使用除了0/45/90°之外的φ角度和角度θ的不同的值)来使用覆盖场景的少至三个图像计算用于场景中的多个像素尺寸的点(可能场景中的每个像素大小的点)的输入斯托克斯矢量Sx。这没有滤光器地产生完整的偏振测定图像——在场景的每一点的偏振的程度和角度。
(5)将照相机附接至UAV、有人驾驶飞行器、旋翼飞行器、航天器、水面舰船、或者UUV。
(6)使用以紫外线、视觉的、红外线、或者太赫兹频带工作的照相机和透镜。
此外,本公开内容包括根据下列项的实施方式:
项1。一种用于确定场景的偏振的方法,包括:
(a)将线性偏振滤光器放置在包括透镜和传感器阵列的照相机的视域中;
(b)在单个位置附近相继地以三个不同的方位设置照相机和线性偏振滤光器,在每个方位中,照相机的视域内均具有该场景;
(c)在照相机和线性偏振滤光器位于三个不同的方位同时,分别捕获第一至第三滤光后的图像;
(d)将分别表示所述第一至第三滤光后的图像的第一至第三组成像数据从照相机传输至计算机系统;以及
(e)根据第一至第三组成像数据计算场景中的至少一个点的偏振。
项2。如项1中所述的方法,进一步包括在交通工具上安装所述照相机和所述线性偏振滤光器,其中,所述步骤(b)包括操纵所述交通工具。
项3。根据项2中所述的方法,其中,交通工具是无人驾驶交通工具。
项4。根据项1中所述的方法,其中,所述三个不同的方位的前两个方位中的绕所述照相机的视线的各自的角度相对于参考位的角度相差 45°的奇数整数倍,而所述三个不同的方位的后两个方位中的绕所述照相机的所述视线的各自的相对于参考位的角度相差90°。
项5。根据项1中所述的方法,进一步包括在进行步骤(e)之前相对于彼此配准第一至第三组成像数据。
项6。根据项1中所述的方法,其中,步骤(e)包括计算斯托克斯参数。
项7。一种用于获取场景的图像的系统,包括:
无人驾驶交通工具;
照相机,在所述无人驾驶交通工具上,所述照相机包括透镜和传感器阵列;
第一线性偏振滤光器,设置在所述传感器阵列的至少第一部分的前方;
无人驾驶交通工具控制系统,能够控制所述无人驾驶交通工具以进行操纵,所述无人驾驶交通工具控制系统包括硬件和软件,所述无人驾驶交通工具控制系统的所述软件被配置为控制所述无人驾驶交通工具在第一次、第二次和第三次出现中的每一次出现时以彼此不同的第一、第二和第三方位将自身设置在指定位置或者接近指定位置,但是在每个所述方位,所述照相机的视域内均具有该场景;以及
照相机控制系统,设置在所述无人驾驶交通工具上,并能够控制所述照相机以捕获图像,所述照相机控制系统包括硬件和软件,所述照相机控制系统的所述软件被配置为控制所述照相机以分别在所述第一次、第二次和第三次出现期间捕获目标场景的第一、第二和第三图像然后输出分别表示所述第一、第二和第三图像的第一、第二和第三组成像数据。
项8。根据项7中所述的系统,进一步包括成像数据处理系统,能够处理成像数据,所述成像数据处理系统包括硬件和软件,所述成像数据处理系统的所述软件被配置为相对于彼此配准所述第一、第二和第三组成像数据,并计算所成像的场景的偏振值。
项9。根据项8中所述的系统,其中,所述偏振值包括斯托克斯参数。
项10。根据项7中所述的系统,其中,所述无人驾驶交通工具包括窗口,进一步包括安装至所述无人驾驶交通工具的万向架,所述照相机耦接至所述万向架,并且所述线性偏振滤光器附接至所述窗口。。
项11。根据项7中所述的系统,进一步包括安装至所述无人驾驶交通工具的万向架,其中,所述照相机可旋转地耦接至所述万向架,以用于围绕平行于照相机的光轴的轴旋转,并且所述线性偏振滤光器附接至所述照相机。
项12。根据项8中所述的系统,其中,所述第一至第三方位中的至少两个方位的绕所述照相机的视线的相对于参考位的各自的角度相差 45°的整数倍数。
项13。根据项7中所述的系统,进一步包括设置在所述传感器阵列的第二部分的前方的第二线性偏振滤光器,其中,所述第一和第二线性偏振滤光器中的一个是水平偏振的,所述第一和第二线性偏振滤光器中的另一个是垂直偏振的。
项14。一种用于确定场景的偏振的方法,包括:
(a)表征包括透镜和传感器阵列的照相机的偏振度的特性;
(b)在单个位置附近相继地以三个不同的方位设置照相机,在每个所述方位,所述照相机视域内均具有该场景;
(c)在照相机分别处于三个不同的方位时捕获第一至第三图像;
(d)将分别表示第一至第三所捕获的图像的第一、第二和第三组成像数据从照相机传递至计算机系统;以及
(e)根据第一、第二和第三组成像数据计算场景中的至少一个点的偏振。
项15。根据项14中所述的方法,其中,步骤(a)包括确定第一和第二缪勒矩阵元素。
项16。根据项14中所述的方法,其中步骤(a)包括确定用于传感器阵列上的至少两个位置的第一缪勒矩阵元素和第二缪勒矩阵元素中的至少一个,所述位置对应于经过透镜的中心的光的不同的入射角度。
项17。根据项14中所述的方法,其中,选择三个不同的方位中至少一个使得场景落在接近传感器阵列的边缘或者角落的位置。
项18。根据项14中所述的方法,进一步包括将照相机安装在交通工具上,其中步骤(b)包括操纵交通工具。
项19。根据项14中所述的方法,其中,所述第一至第三方位中的至少两个方位的绕所述照相机的视线的相对于参考位的各自的角度相差 45°的整数倍数。
项20。根据项14中所述的方法,进一步包括在进行步骤(e)之前相对于彼此配准第一至第三组成像数据。
项21。一种用于获取场景的图像的系统,包括:
无人驾驶交通工具;
照相机,在所述无人驾驶交通工具上,所述照相机包括透镜和传感器阵列;
无人驾驶交通工具控制系统,能够控制所述无人驾驶交通工具以进行操纵,所述无人驾驶交通工具控制系统包括硬件和软件,所述无人驾驶交通工具控制系统的所述软件被配置为控制所述无人驾驶交通工具在第一次、第二次和第三次出现中的每一次出现时以彼此不同的第一、第二和第三方位将自身设置在指定位置或者接近指定位置,但是在每个所述方位,所述照相机的视域内均具有该场景;以及;
照相机控制系统,设置在所述无人驾驶交通工具上,并能够控制所述照相机以捕获图像,所述照相机控制系统包括硬件和软件,所述照相机控制系统的所述软件被配置为控制所述照相机以分别在所述第一次、第二次和第三次出现期间捕获目标场景的第一、第二和第三图像然后输出分别表示所述第一、第二和第三图像的第一、第二和第三组成像数据。
项22。根据项21中所述的系统,进一步包括成像数据处理系统,能够处理成像数据,所述成像数据处理系统包括硬件和软件,所述成像数据处理系统的所述软件被配置为相对于彼此配准所述第一、第二和第三组成像数据,并部分地基于表征照相机的偏振度的特性的存储数据计算所成像的场景的偏振值。
项23。一种测量来自场景的光中的偏振的方法,包括:
(a)使用设置在单个位置附近并以相继不同的方位角度定位的照相机捕获场景的相继的图像,其中,已知表征在不同的入射角度和不同的方位角度的照相机的偏振度的一组矩阵,并且在照相机的传感器阵列和场景之间不存在偏振滤光器;
(b)相对于彼此配准捕获的图像;以及
(c)基于配准后的捕获的图像和多个已知的矩阵计算来自场景中的至少一个关注点的光的偏振测定值,
其中,使用包括硬件和软件的计算机系统进行步骤(b)和(c)。
项24。根据项23中所述的方法,其中,矩阵是缪勒矩阵,所计算的偏振测定值是斯托克斯参数。
项25。根据项23中所述的方法,其中,所包括的偏振测定值包括强度和偏振角度。
项26。根据项23中所述的方法,其中,以绕照相机的光轴的三个不同的方位角度对场景成像,所述不同的方位角度以45度角间隔设置。
项27。根据项23中所述的方法,进一步包括在交通工具上安装照相机和操纵交通工具以实现不同的照相机方位。
项28。一种用于表征在指定的入射光的入射角度和指定的方位角度的具有透镜和传感器的焦点平面阵列的照相机的偏振度的特性的经验方法,方法包括:
(a)提供发射非偏振光的目标;
(b)使照相机瞄准目标,而在其间不插入偏振滤光器,以使得目标的一部分投射在焦点平面阵列的中心的至少一个传感器上;
(c)在照相机处于在步骤(b)中描述的状态时捕获参考图像;
(d)测量对应于焦点平面阵列的中心的传感器的参考图像中的像素的参考像素值;
(e)使照相机瞄准目标,而在其间不插入偏振滤光器,以使得目标的一部分投射在接近焦点平面阵列的边缘或者角落的至少一个传感器上;
(f)在照相机处于在步骤(e)中描述的状态时捕获第一图像;
(g)测量对应于接近焦点平面阵列的边缘或者角落的传感器的第一图像中的像素的第一像素值;
(h)将线性偏振滤光器设置在照相机和目标之间;
(i)在照相机处于在步骤(e)和(h)描述的状态时捕获第二图像;
(j)测量对应于接近焦点平面阵列的边缘或者角落的传感器的第二图像中的像素的第二像素值;
(k)基于参考像素值组和第一组像素值计算矩阵的第一元素;和
(l)至少基于参考像素值和第二像素值计算矩阵的第二元素。
项29。根据项28中所述的经验方法,其中,步骤(h)进一步包括定位线性偏振滤光器,以使其偏振轴平行于在照相机透镜的中心的表面平面或者在照相机透镜的中心的入射平面之一。
项30。根据项28中所述的经验方法,进一步包括:
(m)将线性偏振滤光器旋转90°;
(n)在照相机处于在步骤(e)和(m)中描述的状态时捕获第三图像;和
(o)测量对应于接近焦点平面阵列的边缘或者角落的传感器的第三图像中的像素的第三像素值,
其中,在步骤(l),至少基于参考像素值和第二和第三像素值计算出矩阵的第二元素。
项31。根据项30中所述的经验方法,进一步包括基于参考像素值和第二和第三像素值计算强度系数。
项32。根据项31中所述的经验方法,其中,在步骤(l)中,矩阵的第二元素的计算进一步基于强度系数。
虽然已经在上文描述就飞行器而言的不同的实施方式,在其他实施方式中,平台可以包括:(a)航天器,在经过目标之间使自身转向;或者(b) 船舶或者潜水器,拍摄水下照片。使用万向架的实施方式甚至在交通工具中不需要:地面交通工具或者固定装置中的以万向架安装的照相机可以使用万向架移动来定位照相机和附接至照相机的滤光器。这个甚至可以应用于具有附接至透镜的前面的偏振滤光器的手提照相机,类似智能手机。因为许多智能手机包括加速计或者其他器件来感测方位,和它们具有处理器和通信链路,具有偏振滤光器的智能手机应当与装备照相机的飞机一样有能力获取偏振的图像和使用它们以产生偏振测定测量。
另外,虽然上述实施方式涉及CCD,但是本文中公开的教导同样可以和其他电子焦点平面技术或者薄膜照相机和扫描数字化器一起使用。
尽管已经参考各种实施方式描述用于偏振数据获取的系统,本领域中的技术人员将理解在不偏离本文中的教导的情况下可以做出各种改变以及可替代等同物。此外,在不背离权利要求的范围的前提下,可做出多种变形以使得本公开中的教导适用于特定的情形。
如权利要求中所使用的,术语“计算机系统”应被宽泛地解释为包括具有至少一个计算机或者处理器的系统,并且其可具有通过网络或者总线进行通信的多个计算机或者处理器。如在前述的句子中使用的,术语“计算机”和“处理器”是指具有处理单元(例如,中央处理单元)和用于存储处理单元可读的程序的存储器(即,计算机可读介质)的一些形式的装置。
在下文中阐述的要求保护的方法不应解释为要求在其中列举的步骤按字母顺序或者以它们被列举的顺序进行。它们也不应当解释为把同时或者交替进行的两个或更多步骤的任何部分排除在外。
如在本公开内容中使用,术语“位置”包括位置和方位。
Claims (13)
1.一种用于确定场景的偏振的方法,包括:
步骤(a)将交通工具上的线性偏振滤光器放置在包括透镜和传感器阵列的照相机的视域中;
步骤(b)操纵所述交通工具以在捕获图像时在单个位置附近相继地以三个不同的方位设置所述照相机以及由此固定在所述照相机的所述线性偏振滤光器相应地在单个位置附近相继地以三个不同的方位设置,对于每个所述方位,所述场景均在所述照相机的视域内;
步骤(c)在所述照相机和所述线性偏振滤光器位于所述三个不同的方位时,分别捕获第一滤光后的图像至第三滤光后的图像;
步骤(d)将分别表示所述第一滤光后的图像至所述第三滤光后的图像的第一组成像数据至第三组成像数据从所述照相机传输至计算机系统;以及
步骤(e)根据所述第一组成像数据至所述第三组成像数据计算所述场景中的至少一个点的偏振。
2.根据权利要求1所述的方法,进一步包括在交通工具上安装所述照相机和所述线性偏振滤光器。
3.根据权利要求2所述的方法,其中,所述交通工具是无人驾驶交通工具。
4.根据权利要求1所述的方法,其中,所述三个不同的方位的前两个方位中的绕所述照相机的视线相对于参考位的各自的角度相差45°的奇数整数倍,而所述三个不同的方位的后两个方位中的绕所述照相机的所述视线相对于参考位的各自的角度相差90°。
5.根据权利要求1所述的方法,进一步包括在进行所述步骤(e)之前相对于彼此配准所述第一组成像数据至所述第三组成像数据。
6.根据权利要求1所述的方法,其中,所述步骤(e)包括计算斯托克斯参数。
7.一种用于获取场景的图像的系统,包括:
无人驾驶交通工具;
照相机,在所述无人驾驶交通工具上,所述照相机包括透镜和传感器阵列;
第一线性偏振滤光器,设置在所述传感器阵列的至少第一部分的前方;
无人驾驶交通工具控制系统,能够控制所述无人驾驶交通工具执行操纵,所述无人驾驶交通工具控制系统包括硬件和软件,所述无人驾驶交通工具控制系统的所述软件被配置为控制所述无人驾驶交通工具在第一次、第二次和第三次出现中的每一次出现时以彼此不同的第一方位、第二方位和第三方位将自身设置在指定位置或者接近指定位置,但是在每个所述方位,所述场景在所述照相机的视域内;以及
照相机控制系统,设置在所述无人驾驶交通工具上,并能够控制所述照相机以捕获图像,所述照相机控制系统包括硬件和软件,所述照相机控制系统的所述软件被配置为控制所述照相机在所述第一次、第二次和第三次出现期间分别以所述第一线性偏振滤光器的不同方位捕获目标场景的第一图像、第二图像和第三图像,然后输出分别表示所述第一图像、所述第二图像和所述第三图像的第一组成像数据、第二组成像数据和第三组成像数据。
8.根据权利要求7所述的系统,进一步包括:成像数据处理系统,能够处理成像数据,所述成像数据处理系统包括硬件和软件,所述成像数据处理系统的所述软件被配置为相对于彼此配准所述第一组成像数据、所述第二组成像数据和所述第三组成像数据,并且计算所成像的场景的偏振值。
9.根据权利要求8所述的系统,其中,所述偏振值包括斯托克斯参数。
10.根据权利要求7所述的系统,其中,所述无人驾驶交通工具包括窗口,进一步包括被安装至所述无人驾驶交通工具的万向架,所述照相机耦接至所述万向架,并且所述线性偏振滤光器附接至所述窗口。
11.根据权利要求7所述的系统,进一步包括安装至所述无人驾驶交通工具的万向架,其中,所述照相机能旋转地耦接至所述万向架,以用于绕平行于所述照相机的光轴的轴旋转,并且所述线性偏振滤光器附接至所述照相机。
12.根据权利要求8所述的系统,其中,所述第一方位至第三方位中的至少两个方位的绕所述照相机的视线相对于参考位的各自的角度相差45°的整数倍数。
13.根据权利要求7所述的系统,进一步包括设置在所述传感器阵列的第二部分的前方的第二线性偏振滤光器,其中,所述第一线性偏振滤光器和所述第二线性偏振滤光器中的一个是水平偏振的,所述第一线性偏振滤光器和所述第二线性偏振滤光器中的另一个是垂直偏振的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/174,652 US9464938B2 (en) | 2014-02-06 | 2014-02-06 | Systems and methods for measuring polarization of light in images |
US14/174,652 | 2014-02-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104833424A CN104833424A (zh) | 2015-08-12 |
CN104833424B true CN104833424B (zh) | 2017-10-24 |
Family
ID=52596305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510064791.9A Active CN104833424B (zh) | 2014-02-06 | 2015-02-06 | 用于测量图像中的光的偏振的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9464938B2 (zh) |
EP (1) | EP2905590B1 (zh) |
JP (1) | JP6516487B2 (zh) |
KR (1) | KR101784334B1 (zh) |
CN (1) | CN104833424B (zh) |
BR (1) | BR102015001708B1 (zh) |
CA (1) | CA2870718C (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10215642B2 (en) * | 2012-05-17 | 2019-02-26 | The University Of Akron | System and method for polarimetric wavelet fractal detection and imaging |
US10395113B2 (en) * | 2014-01-22 | 2019-08-27 | Polaris Sensor Technologies, Inc. | Polarization-based detection and mapping method and system |
WO2016033181A1 (en) * | 2014-08-26 | 2016-03-03 | Digital Wind Systems, Inc. | Method and apparatus for contrast enhanced photography of wind turbine blades |
US10008123B2 (en) * | 2015-10-20 | 2018-06-26 | Skycatch, Inc. | Generating a mission plan for capturing aerial images with an unmanned aerial vehicle |
US9508263B1 (en) * | 2015-10-20 | 2016-11-29 | Skycatch, Inc. | Generating a mission plan for capturing aerial images with an unmanned aerial vehicle |
US10094928B2 (en) * | 2016-02-19 | 2018-10-09 | The Govemment of the United States ofAmerica, as represented by the Secretary of the Navy | Turbulence ocean lidar |
US11436929B2 (en) | 2016-06-10 | 2022-09-06 | Metal Raptor, Llc | Passenger drone switchover between wireless networks |
US11403956B2 (en) | 2016-06-10 | 2022-08-02 | Metal Raptor, Llc | Air traffic control monitoring systems and methods for passenger drones |
US11488483B2 (en) | 2016-06-10 | 2022-11-01 | Metal Raptor, Llc | Passenger drone collision avoidance via air traffic control over wireless network |
US9959772B2 (en) * | 2016-06-10 | 2018-05-01 | ETAK Systems, LLC | Flying lane management systems and methods for unmanned aerial vehicles |
US11341858B2 (en) | 2016-06-10 | 2022-05-24 | Metal Raptor, Llc | Managing dynamic obstructions in air traffic control systems for passenger drones and unmanned aerial vehicles |
US11710414B2 (en) | 2016-06-10 | 2023-07-25 | Metal Raptor, Llc | Flying lane management systems and methods for passenger drones |
US11328613B2 (en) | 2016-06-10 | 2022-05-10 | Metal Raptor, Llc | Waypoint directory in air traffic control systems for passenger drones and unmanned aerial vehicles |
US11670179B2 (en) | 2016-06-10 | 2023-06-06 | Metal Raptor, Llc | Managing detected obstructions in air traffic control systems for passenger drones |
US11670180B2 (en) | 2016-06-10 | 2023-06-06 | Metal Raptor, Llc | Obstruction detection in air traffic control systems for passenger drones |
US11468778B2 (en) | 2016-06-10 | 2022-10-11 | Metal Raptor, Llc | Emergency shutdown and landing for passenger drones and unmanned aerial vehicles with air traffic control |
US10789853B2 (en) * | 2016-06-10 | 2020-09-29 | ETAK Systems, LLC | Drone collision avoidance via air traffic control over wireless networks |
US9823658B1 (en) * | 2016-11-04 | 2017-11-21 | Loveland Innovations, LLC | Systems and methods for adaptive property analysis via autonomous vehicles |
KR20180080892A (ko) * | 2017-01-05 | 2018-07-13 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN108318458B (zh) * | 2017-01-16 | 2020-10-09 | 北京航空航天大学 | 一种适用于不同天气条件下的室外典型地物pBRDF的测量方法 |
WO2018165027A1 (en) * | 2017-03-06 | 2018-09-13 | Polaris Sensor Technologies, Inc. | Polarization-based detection and mapping method and system |
CN207926714U (zh) * | 2018-01-24 | 2018-09-28 | 深圳市道通智能航空技术有限公司 | 镜头组件及移动终端 |
CN110132420B (zh) * | 2018-02-09 | 2020-11-27 | 上海微电子装备(集团)股份有限公司 | 偏振测量装置、偏振测量方法及光配向方法 |
US20210235060A1 (en) * | 2018-05-18 | 2021-07-29 | Sony Corporation | Solid-state imaging device, information processing device, information processing method, and calibration method |
EP3578126B1 (en) * | 2018-06-08 | 2023-02-22 | Stryker European Operations Holdings LLC | Surgical navigation system |
JP7079483B2 (ja) | 2018-06-18 | 2022-06-02 | 国立研究開発法人産業技術総合研究所 | 情報処理方法、システム及びプログラム |
US20200012119A1 (en) * | 2018-07-06 | 2020-01-09 | Polaris Sensor Technologies, Inc. | Reducing glare for objects viewed through transparent surfaces |
CN109002796B (zh) * | 2018-07-16 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种图像采集方法、装置和系统以及电子设备 |
US10819082B2 (en) | 2018-07-26 | 2020-10-27 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Multifrequency ocean lidar power optimizer |
CN109658358B (zh) * | 2018-12-25 | 2023-05-12 | 辽宁工程技术大学 | 一种基于多导向滤波的快速bayer彩色重建方法 |
WO2021015669A1 (en) * | 2019-07-19 | 2021-01-28 | National University Of Singapore | Method for aligning an autonomous mobile apparatus to a reference object, an autonomous mobile apparatus, and a guidance module thereof |
EP4104004A4 (en) * | 2020-02-11 | 2024-03-06 | Valve Corp | POLARIMETRY CAMERA FOR HIGH FIDELITY SURFACE CHARACTERIZATION MEASUREMENTS |
US11396354B2 (en) * | 2020-04-15 | 2022-07-26 | Bae Systems Information And Electronic Systems Integration Inc. | Covert underwater navigation via polarimetry |
CA3137651A1 (en) | 2020-12-19 | 2022-06-19 | The Boeing Company | Combined multi-spectral and polarization sensor |
CN113924768B (zh) * | 2021-05-08 | 2022-12-13 | 华为技术有限公司 | 图像处理方法及装置 |
US20230119076A1 (en) * | 2021-09-01 | 2023-04-20 | Arizona Board Of Regents On Behalf Of Arizona State University | Autonomous polarimetric imaging for photovoltaic module inspection and methods thereof |
CN114440836B (zh) * | 2022-01-19 | 2023-06-30 | 南京市测绘勘察研究院股份有限公司 | 一种附有玻璃幕墙建筑的无人机摄影测量建模方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1451230A (zh) * | 2000-07-21 | 2003-10-22 | 纽约市哥伦比亚大学托管会 | 图象拼合方法与设备 |
CN1653326A (zh) * | 2002-04-19 | 2005-08-10 | 应用材料有限公司 | 视觉系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6678046B2 (en) | 2001-08-28 | 2004-01-13 | Therma-Wave, Inc. | Detector configurations for optical metrology |
IL149934A (en) * | 2002-05-30 | 2007-05-15 | Rafael Advanced Defense Sys | Airborne intelligence photography system |
US7193214B1 (en) | 2005-04-08 | 2007-03-20 | The United States Of America As Represented By The Secretary Of The Army | Sensor having differential polarization and a network comprised of several such sensors |
US20070244608A1 (en) * | 2006-04-13 | 2007-10-18 | Honeywell International Inc. | Ground control station for UAV |
EP2356022B1 (en) * | 2008-11-20 | 2013-05-01 | BAE SYSTEMS plc | Unmanned aerial vehicle (uav) and method |
JP2011186328A (ja) * | 2010-03-10 | 2011-09-22 | Hitachi Maxell Ltd | 偏光回折格子アレイ、偏光センサー、および偏光解析装置 |
US8757900B2 (en) * | 2012-08-28 | 2014-06-24 | Chapman/Leonard Studio Equipment, Inc. | Body-mounted camera crane |
-
2014
- 2014-02-06 US US14/174,652 patent/US9464938B2/en active Active
- 2014-11-10 CA CA2870718A patent/CA2870718C/en active Active
-
2015
- 2015-01-26 BR BR102015001708-1A patent/BR102015001708B1/pt active IP Right Grant
- 2015-01-28 JP JP2015014628A patent/JP6516487B2/ja active Active
- 2015-02-04 KR KR1020150017571A patent/KR101784334B1/ko active IP Right Grant
- 2015-02-06 EP EP15154228.9A patent/EP2905590B1/en active Active
- 2015-02-06 CN CN201510064791.9A patent/CN104833424B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1451230A (zh) * | 2000-07-21 | 2003-10-22 | 纽约市哥伦比亚大学托管会 | 图象拼合方法与设备 |
CN1653326A (zh) * | 2002-04-19 | 2005-08-10 | 应用材料有限公司 | 视觉系统 |
Non-Patent Citations (1)
Title |
---|
Polarized light in coastal waters:hyperspectral and multiangular analysis;Alberto Tonizzo ET AL.;《OPTICS EXPRESS》;20090330;第17卷(第7期);第3.1-3.2节,图2 * |
Also Published As
Publication number | Publication date |
---|---|
CA2870718C (en) | 2017-03-21 |
BR102015001708A2 (pt) | 2015-09-22 |
JP6516487B2 (ja) | 2019-05-22 |
EP2905590A1 (en) | 2015-08-12 |
EP2905590B1 (en) | 2016-10-05 |
US20150219498A1 (en) | 2015-08-06 |
CN104833424A (zh) | 2015-08-12 |
JP2015155896A (ja) | 2015-08-27 |
CA2870718A1 (en) | 2015-08-06 |
BR102015001708B1 (pt) | 2020-11-24 |
KR101784334B1 (ko) | 2017-10-11 |
US9464938B2 (en) | 2016-10-11 |
KR20150099416A (ko) | 2015-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104833424B (zh) | 用于测量图像中的光的偏振的系统和方法 | |
CN102845053B (zh) | 利用旋转对称式广角透镜获得复合图像的方法及其成像系统以及以硬件方式进行图像处理的图像传感器 | |
US8390696B2 (en) | Apparatus for detecting direction of image pickup device and moving body comprising same | |
KR100802525B1 (ko) | 실시간 멀티밴드 카메라 | |
Horvath et al. | Ground-based full-sky imaging polarimetry of rapidly changing skies and its use for polarimetric cloud detection | |
CN205265783U (zh) | 成像系统 | |
EA008402B1 (ru) | Размещаемая на транспортном средстве система сбора и обработки данных | |
CN210526874U (zh) | 一种机载三光光电吊舱系统 | |
CN103149788A (zh) | 空中360°全景照片拍摄装置及方法 | |
CN103501409A (zh) | 一种超高分辨率全景高速球一体机系统 | |
WO2013191583A2 (ru) | Способ получения изображения земной поверхности с движущегося носителя и устройство для его осуществления | |
Bachmann et al. | Micro UAV based georeferenced orthophoto generation in VIS+ NIR for precision agriculture | |
CN106097367A (zh) | 一种双目立体相机的标定方法及装置 | |
CN203204299U (zh) | 空中360°全景照片拍摄装置 | |
US6781707B2 (en) | Multi-spectral display | |
US20170356799A1 (en) | Imaging assembly for a drone and system comprising such an assembly mounted on a drone | |
CN110376725B (zh) | 一种鱼眼镜头系统 | |
CN110476118A (zh) | 用于机器视觉的低轮廓多波段高光谱成像 | |
CN115661970A (zh) | 一种基于图像识别技术的风电设备巡检系统 | |
Kweon et al. | Fisheye lens for image processing applications | |
RU2005108242A (ru) | Мультиспектральный комплекс для авиасъемки наземных объектов и способ съемки | |
Abramov et al. | Ground Testing of the Landing Platform Television System of the Exomars-2022 Spacecraft | |
WO2020181511A1 (zh) | 测试拍摄稳定性的方法、校准装置和校准系统 | |
Xue et al. | A compact visible bionic compound eyes system based on micro-surface fiber faceplate | |
CN201837826U (zh) | 单相机全方位立体视觉系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |