CN109688342A - 一种多光谱立体成像系统 - Google Patents
一种多光谱立体成像系统 Download PDFInfo
- Publication number
- CN109688342A CN109688342A CN201910028532.9A CN201910028532A CN109688342A CN 109688342 A CN109688342 A CN 109688342A CN 201910028532 A CN201910028532 A CN 201910028532A CN 109688342 A CN109688342 A CN 109688342A
- Authority
- CN
- China
- Prior art keywords
- camera
- video camera
- multispectral
- image
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000010365 information processing Effects 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000011888 foil Substances 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000001816 cooling Methods 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 abstract description 17
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000003068 static effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Abstract
一种多光谱立体成像系统，由视觉信息获取系统和视觉信息处理系统两部分构成，视觉信息获取系统包括支架，在支架上安装两台同样的多谱摄像机，其同向对齐设置、光轴平行；多光谱摄像机包含可见光‑近红外摄像机、远红外摄像机和镀膜分光镜；视觉信息处理系统包括视觉处理计算机、单片机和数据传输线，视觉处理计算机通过数据传输线与单片机相连，向单片机传送采集开始和采集终止信号；单片机通过数据传输线与各个摄像机连接；各个摄像机与视觉处理计算机连接。本发明利用同一光路同时获得多段光谱信息，使拍摄条件不局限于静止场景条件，不局限拍摄距离以及光照条件，并保证图像间具有高重叠度。
Description
技术领域
本发明属于光谱成像领域，具体涉及一种多光谱立体成像系统。
背景技术
随着成像技术和视觉传感器制作工艺的不断发展，各种类型的摄像机逐渐步入到我们的生活当中，在交通、制造业、安防、检验、文档分析、医疗诊断、军事等领域有着广泛的应用。最常见的视觉传感器是可见光摄像机，包括拍摄灰度图像的可见光摄像机和彩色图像的彩色摄像机(RGB摄像机)。然而，可见光仅是整个太阳光谱的一小部分，因而可见光摄像机所获取的信息相对有限，其获取条件也较为苛刻，对环境的光照条件较为敏感，在夜晚、强光照或雾霾天气下难以有效拍摄。因而，出现了拍摄不同波段的不可见光的视觉传感器，包括紫外摄像机、近红外摄像机、中红外摄像机、远红外摄像机等，不过，由于单一传感器所获取的信息源单一，信息采集能力有限，因而能够采集多种光谱的多光谱摄像机应运而生。多光谱摄像机使用滤光片，从场景获得的具有各种波段的光中分离出特定波段，并利用特定的成像器件进行感光，从而获取不同频谱的信息。从获取图像的频谱来看，现有的多光谱摄像机的成像范围集中于可见光波段、紫外波段、近红外波段，少数涉及到了中红外波段。特别地，一些多光谱相机将其获取的光谱限定到了特定波长，如880nm近红外、650nm红光、550nm绿光、450nm蓝光等，其获取的是特定波长光谱的图像。
从多种光谱的获取方式来看，现有的多光谱摄像机可以分为以下三类：第一类多光谱摄像机采用相机阵列的形式，阵列中的每一个位置对应一个普通摄像机或多光谱摄像机。这种多光谱摄像机将获得不同频谱的相机组合起来，从而能够同时获得场景中的多种频谱信息，但是由于阵列中每个相机的光路不同，因而整个摄像机很难对准同一目标物，获取的图像重叠精度差。
第二类多光谱摄像机，只包含一个镜头和一个成像元器件(即使用同一光路)。这类摄像机通过在不同时刻使用不同滤光片的方式，获得场景中不同波段的频谱信息。通常滤光片的更换以一个高速旋转的滤光片轮的形式来实现，该轮盘一般包含6-8个可更换滤光片，转速最高可达每秒100圈，该类相机拍摄时要求场景是静止的，这样才能保证不同频谱的图像间具有较高的重叠精度。
第三类多光谱摄像机，只包含一个镜头，但包含多个滤光片和成像元器件。该类摄像机利用分光镜，将从场景中获取的光线分解成若干束，每一束光经过其对应的滤光片投射到相应的成像元器件上，从而获得特定光谱的图像。这类摄像机主要在可见光、紫外、近红外波段同时获取2-3种不同频谱的图像信息，不同频谱间图像的重叠精度高，且不要求拍摄场景静止，但成本很高，成本直接与分光后的光路数量相关。
以上所述多光谱摄像机均是被动接受场景中的各种光谱进行成像。除此之外，市面上还有通过接收主动发射的红外、结构光或激光来感知场景三维特性的摄像机，这类摄像机可统称为RGB-D摄像机，其使用可见光摄像机获取场景物体的颜色信息，而主动发射/接收部分则能够获取场景物体的深度信息，继而实现同时获得可见光信息和深度信息的功能，但该类摄像机只能被动感知场景中的可见光信息，其精确的深度检测范围通常在0.4m-4.0m，最大不超过10m，因此仅适用于室内环境。
所说的获取物体深度信息的摄像机，即立体摄像机，其基于双目立体成像原理，根据场景中物体在左右两个相机间成像位置的差异性，通过计算图像对应点间的位置偏差，来获取物体的深度信息。这种测量方法具有效率高、精度合适、系统结构简单、成本低等优点，其测量距离理论上可达到无穷远，且适合于对运动物体的测量，但现有的双目立体摄像机只接收可见光信息，无法在光照条件恶劣的情况(如夜晚、强光照、雾霾天气等)下使用。
因而，现有的多光谱摄像机不涉及远红外波段信息的采集，缺乏同时获取可见光、近红外和远红外信息的能力。
发明内容
本发明的目的是提供一种多光谱立体成像系统，利用同一光路同时获得多段光谱信息，使拍摄条件不局限于静止场景条件，不局限拍摄距离以及光照条件，并保证图像间具有高重叠度。
本发明采取的技术方案是：
一种多光谱立体成像系统，由视觉信息获取系统和视觉信息处理系统两部分构成，所述视觉信息获取系统包括支架，在支架上安装两台同样的多谱摄像机，两台多谱摄像机同向对齐设置、光轴平行；
每台所述的多光谱摄像机包含一台可见光-近红外(RGB-NIR)摄像机、一台远红外(FIR)摄像机和一个镀膜分光镜，该分光镜能够透过远红外波段的光束，同时反射可见光和近红外波段的光束；
所述视觉信息处理系统包括视觉处理计算机、单片机和数据传输线，视觉处理计算机通过数据传输线与单片机相连，向单片机传送采集开始和采集终止信号；单片机通过数据传输线与各个摄像机(各个摄像机包括两台可见光-近红外摄像机和两台远红外摄像机)连接，向各摄像机传输周期性触发信号；各个摄像机通过千兆网线经千兆以太网口/USB3.0接口与视觉处理计算机连接。
进一步的，可见光-近红外摄像机、远红外摄像机和分光镜三者的几何位置关系通过所述两台摄像机(可见光-近红外摄像机和远红外摄像机)之间的联合标定确定，标定方法为：首先在一块平板上粘贴两层材料制成标定板，其中，底层材料是印有棋盘格图案的一整张纸，另一层为锡箔纸；标定开始前，用锡箔纸覆盖棋盘格的白色区域，标定时，用冷空气冷却标定板至15℃，利用两种材料在低温下辐射系数相差较大的特性，使得标定板在红外摄像机的成像中，能够清晰地看到棋盘图案，而对于可见光摄像机，由于黑白颜色的对比，使得可见光图像中同样可以看到清晰的棋盘图案；再通过检测可见光与远红外图像中的角点坐标，把角点坐标输入相机标定算法则能得到两台摄像机的内部参数，然后对两台摄像机拍摄的图像进行去畸变操作，鉴于可见光摄像机的分辨率高于红外摄像机，因此需要调整去畸变后的可见光图像的尺寸，使其与去畸变后的红外图像的尺寸相同；最后通过调整器对两台摄像机的位姿进行调整，先对齐两张图像中的主点，然后对齐图像中的其他角点，使得图像间实现像素级别的配准，进而确定出可见光-近红外摄像机、远红外摄像机和分光镜三者的几何位置关系。
进一步的，所述可见光-近红外(RGB-NIR)摄像机与远红外(FIR)摄像机的光轴垂直，分光镜为边长6.5cm的正方形。
本发明的有益效果：
(1)同步性好。能够同时输出同一时刻被观测场景的可见光、近红外、远红外和深度信息，不需进行额外的时间戳匹配和立体匹配。
(2)像素配准程度高。系统基于同一光路的分光原理进行设计，获得的多光谱数据和深度数据能够实现像素级别的对齐，降低了后续对多光谱信息的处理难度。
(3)精度高。立体匹配时融合了可见光、近红外、远红外三种信息，匹配效果好于单一采集可见光信息的传统双目摄像机，提高了立体匹配精度。
(4)适用条件广泛。系统能够采集可见光、近红外、远红外，对拍摄时的光照约束要小于传统的单光谱相机和可见光相机，能够在差光照条件下进行使用，实现夜间等条件下的工作以及动态场景的拍摄。
(5)造价低。单个可见光-近红外-远红外混合摄像机单元的成本要低于同一光路三分光的多光谱摄像机。
(6)工艺简单。整个系统只有安装支架和分光系统需要进行加工，加工安装方便。
(7)基于分光原理，利用同一光路同时获得场景中的可见光、近红外、远红外信息，使拍摄条件不局限于场景静止的状态，并保证采集到的可见光图像、近红外图像和远红外图像间具有高重叠度。
(8)使用两个多光谱摄像机构成立体摄像机，实现多种光照条件(如白天、夜晚等)下的大距离测量，保证室外环境的测距功能。
减小分光镜尺寸的原理是：
当两个相机组件的光轴垂直放置时，给定相机的视场角，分光镜的长度和相机到分光镜距离成正比。当相机到分光镜的距离固定时，分光镜的长度和两相机组件光轴间的夹角成反比。
因此缩小相机到分光镜的距离以及扩大两相机光轴间的夹角都可以减小分光镜的尺寸。然而两相机光轴不垂直会导致视场不对称，容易引起相机间的相互遮挡，并且相机的底座等加工工件需要特别制定，所以本发明系统采用相机光轴垂直的方案，依据此方案，将分光镜尺寸定为6.5厘米(以正方形分光镜为例)。
附图说明
图1是本发明的视觉信息获取子系统外部结构示意图；
图2是本发明的分光镜尺寸计算方法示意图；
图3是本发明的分光镜尺寸与两个相机组件光轴间夹角的关系图；
图4是本发明的视觉信息获取子系统内部结构示意图；
图5是本发明的多谱图像间配准过程示意图；
图6是本发明的多光谱立体视觉信息处理流程图；
图7分别为白天和夜晚的拍摄效果图。
具体实施方式
如图1所示，一种多光谱立体成像系统，由视觉信息获取系统和视觉信息处理系统两部分构成，视觉信息获取子系统由一个支架以及安装于支架上的两台多谱摄像机组成，两台多谱摄像机一上一下相对摆放，同时光轴平行，保证两个摄像机单元间拥有足够大的公共视场区域。每台多谱摄像机包含一台PointGrey Flea3彩色摄像机(FL3-GE-13S2C-C)、一台FLIRA65远红外摄像机和一个镀膜分光镜。Flea3摄像机的分辨率为1280*960，感光波长为400～700nm，视场角为40°左右；FLIRA65摄像机的分辨率为640*512，感光波长为7.5～13μm，视场角为45°左右；分光镜的形状为正方形，分光镜镀膜可以透过远红外波段的光束同时反射可见光波段的光束，构成多光谱摄像机的远红外和可见光相机是成品相机，本发明通过尽可能减小分光镜的尺寸使得多光谱摄像机的尺寸减小，尺寸通过图2所示内容确定。如图2所示，考虑三种不同的情形。第一种情况，如图2(a)，两个摄像机的光轴垂直放置，摄像机的视场角为θ，每个摄像机到分光镜的距离为d1和d2，假设d1＝d2，则分光镜的长度可以计算为
很明显，当给定摄像机的视场角，分光镜的长度和d1成正比。如果把两个摄像机同时向分光镜靠近，如图2(b)，假设摄像机距离分光镜为d1′和d2′，并且d1′＝d2′，则分光镜的长度可以计算为
如果d1′＝d1/2，则分光镜的长度会缩减为图2(a)中分光镜长度的一半。只要图2(a)和图2(b)中混合摄像机的感知视场的宽度相差不大，则图2(b)中的混合摄像机的方案就比图2(b)中的混合摄像机方案好，并且尺寸更小。考虑距离摄像机为d的场景，则图2(a)和图2(b)中的混合摄像机的感知宽度分别为
s＝2(d+d1)×tan(θ/2)\*MERGEFORMAT (3)
和
s'＝2(d+d1')×tan(θ/2)\*MERGEFORMAT (4)
在实际应用场景中，d是d1和d1′的几百倍，因此s和s′近似相等，即图2(a)和图2(b)中的感知宽度几乎一样。这也说明了图2(b)中的混合摄像机的方案比图2(a)中的混合摄像机方案好，混合摄像机尺寸更小。
除了图2(b)中的方案可以减小分光镜的尺寸之外，图2(c)方案中的分光镜的尺寸可以比图2(b)中的更小。在图2(c)中，假设摄像机和分光镜的距离与图2(b)相比保持不变，为d1*和d2*，并且d1*＝d2*＝d1′。不同于图2(b)的方案，两个摄像机同时分别逆时针和顺时针旋转β度，则分光镜的长度可以计算为
当θ为50度，我们变化β的值从0到θ/2。图3(a)所示为公式(5)中的第一项随着β从0变化到θ/2的值。图3(b)所示为公式(5)中的第二项随着β从0变化到θ/2的值。图3(c)所示为公式(5)的值随着β从0变化到θ/2的值。可以看出，在摄像机旋转没有引起互相遮挡的前提下，当β值为0度时，图2(c)方案和图2(b)方案是一样的。当β值为θ/2时，图2(c)方案中分光镜的尺寸最小。然而，图2(c)方案的视场不对称，容易引起互相遮挡，并且摄像机的底座等加工工件需要特别制作。相比之下，图2(b)方案中，我们可以采用标准件。因此该系统采用了图2(b)的方案，依据此方案，混合摄像机的分光镜采用边长大约6.5厘米的正方形镀膜分光镜，多谱摄像机的尺寸为10cm*21cm*20cm。
视觉信息获取子系统的内部示意图如图4所示，入射光经镀膜分光镜分光后，7.5～13μm波段的光线入射到FLIRA65摄像机的成像器件，获取远红外图像；400～700nm波段的光线反射到Flea3摄像机，然后经Flea3摄像机内部的分光棱镜将光束再次分成近红外光束和可见光光束，并由Flea3摄像机对应的成像器件得到可见光图像和近红外图像。
把远红外、可见光摄像机以及分光镜放置在同一个统一底座之上，并且可见光摄像机和远红外摄像机的机身固定于各自的底座之上，各摄像机底座与整个混合摄像机底座之间通过两个可调节的支架连接。调整台上放置的自由度调整架与摄像机的支架相连，用来调整摄像机的相对姿态使得两个图像达到配准。
假设P为三维空间的一点，p1＝(u1,v1,1)T和p2＝(u2,v2,1)T分别为P点在可见光摄像机和远红外摄像机中的映射。P1＝(x1,y1,z1)T和P2＝(x2,y2,z2)T分别为P点在可见光摄像机坐标系和远红外摄像机坐标系中的坐标。可得几者间的关系为
式中K1，K2分别为可见光摄像机和远红外摄像机的内参矩阵。若两摄像机组件完全配准，z1＝z2并且P1＝P2，式(6)可被化简为
公式(7)给出了可见光摄像机和远红外摄像机间的转换关系，通过变换矩阵可将远红外图像映射到可见光图像，通过变换矩阵可将可将光头像映射到远红外图像上。内部参数K1，K2可通过摄像机标定算法得到，根据K1，K2对两台摄像机下的图像进行去畸变操作。由于可见光摄像机的分辨率高于红外摄像机，因此调整去畸变后的可见光图像的尺寸，使其与去畸变后的红外图像的尺寸相同。通过调整器对两台摄像机的位姿进行调整，首先对齐两张图像中的主点，然后对齐图像中的其他角点，使得图像间实现像素级别的配准。用强力胶固定各摄像机组件和分光镜，待胶完全干了之后，由于热胀冷缩的原因，两个摄像机组件间的相对姿态有少许变化(存在一个很小的旋转变换以及一个非常小的平移变换)。假设P1和P2间的变换关系为P1＝R·P2+t，公式(4)可以改写为
一般来说，热胀冷缩导致的摄像机间平移变换非常小，z1的值远大于t，所以可得并且t≈0，公式(6)可近似为
因此只需要估计摄像机间的旋转矩阵，采用单应映射计算出该旋转矩阵，可以实现多光谱图像之间的准确配准，该过程如图5所示。
所述视觉信息处理系统包括视觉处理计算机、单片机和数据传输线，所述视觉处理计算机包含多核CPU、GPU、千兆以太网卡、USB 3.0接口。视觉处理计算机通过数据传输线与单片机相连，向单片机传送采集开始和采集终止信号；单片机通过数据传输线与各个摄像机连接，向各摄像机传输周期性触发信号；各个摄像机通过千兆网线经千兆以太网口/USB 3.0接口与视觉处理计算机连接，将各摄像机采集的视觉信息传送到计算机中。
图6为多光谱立体视觉信息处理流程图，当视觉处理计算机获得数据采集指令后，首先向视觉信息获取子系统中的各摄像机单元发送信号，实施摄像机初始化操作，配置相关参数，并在计算机中设置公共缓存空间以用于多光谱视觉数据的临时存储；初始化完成后，视觉处理计算机向单片机发送信号，要求单片机产生稳定的周期性方波信号，作为各摄像机单元的触发信号，同步发送给各摄像机单元；各摄像机单元收到同步触发信号后，进行图像采集，并将采集得到的图像源源不断地传送到视觉处理计算机中的公共缓存空间中；收到各光谱图像信息的视觉处理计算机，利用图像的时间戳信息匹配出各摄像机同一时刻所采集到的图像，并将这些图像传送到计算机内的图像处理单元；图像处理单元对多光谱数据进行预处理、矫正、配准等操作后，实现两个多光谱摄像机单元间的立体匹配，获得场景的深度图像；最后，视觉处理计算机将获得的像素对齐的多光谱图像和深度图像输出，然后返回处理下一帧收到的多光谱图像数据。
在图7中，(a)和(b)分别为白天和夜晚的拍摄效果图，可看出，本发明的多光谱立体成像系统在晚上光线很暗的条件下，也能拍摄出较为清晰图片。
Claims (3)
1.一种多光谱立体成像系统，其特征在于，由视觉信息获取系统和视觉信息处理系统两部分构成，所述视觉信息获取系统包括支架(1)，在支架(1)上安装两台同样的多谱摄像机(2)，两台多谱摄像机同向对齐设置、光轴平行；
每台所述的多光谱摄像机(2)包含一台可见光-近红外(RGB-NIR)摄像机(3)、一台远红外(FIR)摄像机(4)和一个镀膜分光镜(5)，该分光镜能够透过远红外波段的光束，同时反射可见光和近红外波段的光束；
所述视觉信息处理系统包括视觉处理计算机、单片机和数据传输线，视觉处理计算机通过数据传输线与单片机相连，向单片机传送采集开始和采集终止信号；单片机通过数据传输线与各个摄像机连接，向各摄像机传输周期性触发信号；各个摄像机通过千兆网线经千兆以太网口/USB 3.0接口与视觉处理计算机连接。
2.如权利要求1所述的一种多光谱立体成像系统，其特征在于，所述的可见光-近红外摄像机、远红外摄像机和镀膜分光镜三者的几何位置关系通过所述两台摄像机之间的联合标定确定，标定方法为：首先在一块平板上粘贴两层材料制成标定板，其中，底层材料是印有棋盘格图案的一整张纸，另一层为锡箔纸；标定开始前，用锡箔纸覆盖棋盘格的白色区域，标定时，用冷空气冷却标定板至15℃，利用两种材料在低温下辐射系数相差较大的特性，使得标定板在红外摄像机的成像中，能够清晰地看到棋盘图案为止，而对于可见光摄像机，由于黑白颜色的对比，使得可见光图像中同样可以看到清晰的棋盘图案；再通过检测可见光与远红外图像中的角点坐标，把角点坐标输入相机标定算法则能得到两台摄像机的内部参数，然后对两台摄像机拍摄的图像进行去畸变操作，鉴于可见光摄像机的分辨率高于红外摄像机，因此需要调整去畸变后的可见光图像的尺寸，使其与去畸变后的红外图像的尺寸相同；最后，在上述操作基础上，通过调整器对两台摄像机的位姿进行调整，先对齐两张图像中的主点，然后对齐图像中的其他角点，使得图像间实现像素级别的配准，进而确定出可见光-近红外摄像机、远红外摄像机和分光镜三者的几何位置关系。
3.如权利要求1所述的一种多光谱立体成像系统，其特征在于，所述可见光-近红外摄像机(3)与远红外摄像机(4)的光轴垂直，镀膜分光镜(5)为边长6.5cm的正方形状。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910028532.9A CN109688342A (zh) | 2019-01-11 | 2019-01-11 | 一种多光谱立体成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910028532.9A CN109688342A (zh) | 2019-01-11 | 2019-01-11 | 一种多光谱立体成像系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109688342A true CN109688342A (zh) | 2019-04-26 |
Family
ID=66192215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910028532.9A Pending CN109688342A (zh) | 2019-01-11 | 2019-01-11 | 一种多光谱立体成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109688342A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322516A (zh) * | 2019-07-03 | 2019-10-11 | 云南电网有限责任公司电力科学研究院 | 一种紫外光相机与可见光相机阵列的标定方法 |
| CN110826409A (zh) * | 2019-10-09 | 2020-02-21 | 北京集光通达科技股份有限公司 | 道路监控装置和方法 |
| CN112560841A (zh) * | 2020-12-07 | 2021-03-26 | 上海新产业光电技术有限公司 | 一种阵列相机 |
| CN112995528A (zh) * | 2021-05-06 | 2021-06-18 | 中国工程物理研究院流体物理研究所 | 一种光电分幅相机通道间图像配准装置、系统及方法 |
| CN113467062A (zh) * | 2021-06-24 | 2021-10-01 | 江苏宇迪光学股份有限公司 | 一种可见光与近红外光双分辨成像镜头 |
| CN114397021A (zh) * | 2022-01-21 | 2022-04-26 | 成都市远浩三维科技有限公司 | 一种夜间追踪器及其图像成形方法 |
| CN116261042A (zh) * | 2022-12-20 | 2023-06-13 | 哈尔滨海鸿基业科技发展有限公司 | 一种用于多摄像单元图像融合后影像自动聚焦机构 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020030163A1 (en) * | 2000-08-09 | 2002-03-14 | Zhang Evan Y.W. | Image intensifier and LWIR fusion/combination system |
| KR20180033683A (ko) * | 2016-09-26 | 2018-04-04 | 한국과학기술원 | 다중 파장 시스템을 위한 이종 카메라간 캘리브레이션 패턴판, 캘리브레이션 장치 및 방법 |
| CN108010088A (zh) * | 2017-12-18 | 2018-05-08 | 南京理工大学 | 用于可见光体视和红外体视的多光谱标定板及标定装置 |
| CN108040243A (zh) * | 2017-12-04 | 2018-05-15 | 南京航空航天大学 | 多光谱立体视觉内窥镜装置及图像融合方法 |
| CN209787294U (zh) * | 2019-01-11 | 2019-12-13 | 南京理工大学 | 一种多光谱立体成像系统 |
-
2019
- 2019-01-11 CN CN201910028532.9A patent/CN109688342A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020030163A1 (en) * | 2000-08-09 | 2002-03-14 | Zhang Evan Y.W. | Image intensifier and LWIR fusion/combination system |
| KR20180033683A (ko) * | 2016-09-26 | 2018-04-04 | 한국과학기술원 | 다중 파장 시스템을 위한 이종 카메라간 캘리브레이션 패턴판, 캘리브레이션 장치 및 방법 |
| CN108040243A (zh) * | 2017-12-04 | 2018-05-15 | 南京航空航天大学 | 多光谱立体视觉内窥镜装置及图像融合方法 |
| CN108010088A (zh) * | 2017-12-18 | 2018-05-08 | 南京理工大学 | 用于可见光体视和红外体视的多光谱标定板及标定装置 |
| CN209787294U (zh) * | 2019-01-11 | 2019-12-13 | 南京理工大学 | 一种多光谱立体成像系统 |
Non-Patent Citations (2)
| Title |
|---|
| SHRESTHA ET AL.: "Multispectral imaging using a stereo camera: concept, design and assessment", 《EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING》, vol. 57 * |
| 任贵文: "基于OpenCV的红外与可见光双摄像机标定方法研究", 《科学技术与工程》, vol. 16, no. 3, pages 211 - 214 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322516A (zh) * | 2019-07-03 | 2019-10-11 | 云南电网有限责任公司电力科学研究院 | 一种紫外光相机与可见光相机阵列的标定方法 |
| CN110826409A (zh) * | 2019-10-09 | 2020-02-21 | 北京集光通达科技股份有限公司 | 道路监控装置和方法 |
| CN112560841A (zh) * | 2020-12-07 | 2021-03-26 | 上海新产业光电技术有限公司 | 一种阵列相机 |
| CN112995528A (zh) * | 2021-05-06 | 2021-06-18 | 中国工程物理研究院流体物理研究所 | 一种光电分幅相机通道间图像配准装置、系统及方法 |
| CN113467062A (zh) * | 2021-06-24 | 2021-10-01 | 江苏宇迪光学股份有限公司 | 一种可见光与近红外光双分辨成像镜头 |
| CN113467062B (zh) * | 2021-06-24 | 2023-02-17 | 江苏宇迪光学股份有限公司 | 一种可见光与近红外光双分辨成像镜头 |
| CN114397021A (zh) * | 2022-01-21 | 2022-04-26 | 成都市远浩三维科技有限公司 | 一种夜间追踪器及其图像成形方法 |
| CN116261042A (zh) * | 2022-12-20 | 2023-06-13 | 哈尔滨海鸿基业科技发展有限公司 | 一种用于多摄像单元图像融合后影像自动聚焦机构 |
| CN116261042B (zh) * | 2022-12-20 | 2024-02-27 | 哈尔滨海鸿基业科技发展有限公司 | 一种用于多摄像单元图像融合后影像自动聚焦机构 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109688342A (zh) | 一种多光谱立体成像系统 | |
| CN209787294U (zh) | 一种多光谱立体成像系统 | |
| CN106454287B (zh) | 组合摄像系统、移动终端及图像处理方法 | |
| CA2810892C (en) | Wide angle field of view active illumination imaging system | |
| WO2021071995A1 (en) | Systems and methods for surface normals sensing with polarization | |
| CN107343130A (zh) | 一种基于dmd动态分光的高动态成像模块 | |
| US20030164875A1 (en) | System and method for passive three-dimensional data acquisition | |
| CN106572340A (zh) | 摄像系统、移动终端及图像处理方法 | |
| CA2707176A1 (en) | Method and apparatus for rapid three-dimensional restoration | |
| EP3756161B1 (en) | Method and system for calibrating a plenoptic camera system | |
| EP4182889A1 (en) | Using 6dof pose information to align images from separated cameras | |
| CN110376725B (zh) | 一种鱼眼镜头系统 | |
| CN108495115A (zh) | 图像传感器及其像素组和像素阵列，获取图像信息的方法 | |
| CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
| CN108444600A (zh) | 一种高通量宽谱段小型化成像光谱仪 | |
| US20030164841A1 (en) | System and method for passive three-dimensional data acquisition | |
| CN103630118B (zh) | 一种立体高光谱成像装置 | |
| CN109459405A (zh) | 基于窄带图像处理去除土壤背景干扰的光谱指数测量方法 | |
| CN106644074B (zh) | 一种三维立体光谱成像系统 | |
| CN114485953A (zh) | 温度测量方法、装置及系统 | |
| CN109696744A (zh) | 一种多波段集成传感器光学系统 | |
| CN110398287A (zh) | 基于窄带反射镜阵列的多光谱视频成像装置 | |
| CN109118460B (zh) | 一种分光偏振光谱信息同步处理方法及系统 | |
| CN112560841B (zh) | 一种阵列相机 | |
| CN108917928A (zh) | 一种360度全景多光谱成像仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |