CN112655023A - 用于精确图像融合的多模态成像传感器校准方法 - Google Patents
用于精确图像融合的多模态成像传感器校准方法 Download PDFInfo
- Publication number
- CN112655023A CN112655023A CN201880094945.0A CN201880094945A CN112655023A CN 112655023 A CN112655023 A CN 112655023A CN 201880094945 A CN201880094945 A CN 201880094945A CN 112655023 A CN112655023 A CN 112655023A
- Authority
- CN
- China
- Prior art keywords
- digital
- image
- sensor
- images
- imaging sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 47
- 230000001131 transforming effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims 2
- 238000007781 pre-processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种校准具有不同模态的多个数字成像传感器以用于图像融合的系统和方法，包括以下步骤：用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像；以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像；交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数；用所述外部参数校准每个数字成像传感器；以及变换和校正每个数字图像，使得每个数字图像的所述感兴趣区域共面并对准。
Description
技术领域
本发明一般涉及用于图像融合的装置、系统或方法。特别地但非排他地涉及一种用于精确图像融合的校准多模态成像传感器的方法。
背景技术
图像融合(IF)是一种将互补的多模态、多时相和/或多视图信息集成到一个新图像中的技术。该新图像将包含其质量不能以其它方式获得的信息。
在IF技术中有着大量的应用。在天文学中，多传感器融合用于通过组合来自两个或更多个传感器的图像来实现高空间分辨率和光谱分辨率：高空间分辨率传感器、IR传感器和X射线传感器。医学成像使用IF同时评估CT、MRI和/或PET图像。军事、安全和监视应用使用可见光与红外图像的多模态图像融合。
发明内容
本发明提供了一种校准具有两个或多个相机的多模态相机系统的系统和方法，所述两个或多个相机具有不同的视场、分辨率和模态，并且基于该校准来变换图像，以便精确地融合从系统获得的所有图像。优选地，本发明提供了一种用于图像融合的多模态成像传感器的新颖校准方法。
根据本发明的第一方面，提供了一种校准具有不同模态的多个数字成像传感器以用于图像融合的方法，包括以下步骤：
用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像；
以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像；
交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数；
用所述外部参数校准每个数字成像传感器；以及
变换和校正每个数字图像，使得每个数字图像的所述感兴趣区域共面并对准。
优选地，该方法还包括将数字成像传感器设置为参考传感器并将由所述参考传感器生成的数字图像设置为参考图像的步骤。
优选地，所述多个数字成像传感器中的每一个被放置在对象的前方不同距离处或不同观察视角处。
优选地，所述多个数字成像传感器中的每一个适于捕获所述对象的多个数字图像。
优选地，该方法还包括获得每个数字成像传感器的所述内部参数的步骤。
优选地，所述内部参数包括但不限于透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
优选地，由相应的数字成像传感器生成的每个数字图像的所述缩放比率等于或基本等于所述参考传感器和所述相应的数字图像传感器之间的焦距的比。
优选地，通过比较每个缩放的数字图像来获得外部参数。
优选地，所述外部参数包括但不限于传感器角度、相对距离中的一个或多个。
优选地，所述校正步骤包括使用所述外部参数并利用从所述参考相机获得的所述图像成对地从每个数字成像传感器进行获取的步骤。
优选地，所述校正步骤包括分别用变换矩阵{Ti}与{Tri}并且以成对的方式对每个数字图像的图像矩阵{Ii}和所述参考图像的图像矩阵{Ir}进行变换的步骤，其中每对图像拥有一对变换矩阵{Ti}与{Tri}，并且使得多对数字图像以共面的方式被对准。
优选地，利用变换矩阵{Tri -1Ti}变换每个数字图像的图像矩阵{Ii}，使得所有变换后的图像在同一平面上被对准。
优选地，数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
根据本发明的第二方面，提供了一种用于校准模态图像融合的处理器，包括：
参考数字图像传感器，具有参考模态特征；
一个或多个数字图像传感器，其中每个数字图像传感器具有与所述参考模态特征不同的模态特征；
自校准处理单元，用于利用传感器的内部参数校准从所述传感器生成的数字图像，并且缩放所述数字图像以获得重叠的感兴趣区域；以及
多模态成像传感器校准和融合单元，用于从所述自校准处理单元接收所述缩放的图像；
其中，所述多模态成像传感器校准和融合单元适于交叉参考所述缩放的数字图像以导出一个或多个外部参数；用所述非本征参数校准每个数字成像传感器；并对每个数字图像进行变换和校正，
使得每个数字图像的感兴趣区域共面并对准。
优选地，所述多模态成像传感器校准和融合单元适于将数字成像传感器设置为参考传感器，并将由所述参考传感器生成的数字图像设置为参考图像。
优选地，每个数字成像传感器被放置在对象前方不同距离处或不同观察视角处。
优选地，每个数字成像传感器适于捕获所述对象的多个数字图像。
优选地，自校准单元适于获得每个数字成像传感器的内部参数。
优选地，内部参数包括但不限于透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
优选地，由相应的数字成像传感器生成的每个数字图像的缩放比率等于或基本等于所述参考传感器和相应的数字图像传感器之间的焦距的比。
优选地，通过比较每个缩放的数字图像来获得外部参数。
优选地，外部参数包括但不限于对象的深度、传感器角度、相对距离中的一个或多个。
优选地，多模态成像传感器校准和融合单元适于使用所述外部参数成对地从每个数字成像传感器获得的图像和从所述参考相机获得的图像的变换矩阵。
优选地，所述多模态成像传感器校准和融合单元适于分别利用变换矩阵{Ti}与{Tri}以成对的方式执行每个数字图像的图像矩阵{Ii}和参考图像的图像矩阵{Ir}的变换，其中，每对图像拥有一对变换矩阵{Ti}与{Tri}，并且使得多对数字图像以共面的方式对准。
优选地，利用变换矩阵{Tri -1Ti}变换每个数字图像的图像矩阵{Ii}，使得所有变换后的图像在同一平面上被对准。
优选地，所述数字图像传感器通过有线或无线连接被连接到所述自校准单元。
优选地，所述数字图像传感器通过以太网连接被连接到所述自校准单元。
优选地，所述数字图像传感器通过WiFi连接被连接到所述自校准单元。
优选地，所述自校准单元包括多个独立的校准模块，每个校准模块与数字成像传感器集成。
优选地，所述数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
根据本发明的第三方面，提供了一种计算机系统，包括：
一个或多个接口，用于从多个数字成像传感器接收数字图像；
处理单元，用于执行包括以下步骤的方法：
用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像；
以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像；
交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数；
用所述外部参数校准每个数字成像传感器；以及
变换和校正每个数字图像，使得每个数字图像的感兴趣区域共面并对准。
当考虑以下说明书和附图时，其它优点将变得显而易见。
附图说明
现在将参考附图通过示例的方式描述本发明的实施例，其中：
图1示出了根据本发明的实施例的图像融合系统的示意图；
图2示出了从本发明的实施例的多模态成像传感器获得的图像的示意图；
图3示出了本发明的实施例的处理设备的示意图；
图4示出了本发明的实施例的数字成像传感器的示意图；
图5示出了根据本发明的实施例的多个数字图像的感兴趣区域(ROI)的示意图；
图6示出了根据本发明的实施例的将图像变换到同一平面的图像校正过程的示意图；以及
图7示出了根据本发明的实施例的将图像变换到同一平面的图像校正的另一过程的示意图。
具体实施方式
发明人通过他们自己的研究、试验和实验已经设计出，多视图融合技术可以指由相同传感器但从不同视点拍摄的相同场景的一组图像，这些图像被融合以获得具有比传感器通常提供的分辨率更高分辨率的图像或覆盖比传感器通常提供的区域更广的区域，或者恢复场景的3D表示。该技术可用于制作3D电影。
多时相IF技术可以识别两个不同的目标。可以在不同时间采集相同场景的图像，以发现并评估该场景中的变化，或者获得该场景的较少退化的图像。前一目标可以用于医学成像，特别是器官和肿瘤的变化检测，以及用于监测土地或森林开采的遥感。采集期可以是数月或数年。后一目标可能需要不同的测量以彼此更接近，例如以秒为单位，并且可能在不同的条件下。
不希望被理论所束缚，多模态相机可以利用各种相机的感测能力并且集成它们的信息以便提供对真实世界环境的更全面的理解。图像融合可用于整合来自不同相机的信息。这可能需要解决计算机视觉中的相应问题-在一个图像中寻找可以被识别为另一图像中的相同点的一组点。
优选地，多模态或多传感器图像融合可以用于将来自若干图像的相关信息组合成单个图像。最终输出图像可以提供比任何单个图像更多的信息，并且降低信噪比。用户可以收集有用的信息而不用注视和比较来自多个传感器的图像。
输入图像融合技术的一个例子是像素级方法，其在空间域或变换域中工作。平均方法、最大化方法、Brovey方法、主成分分析(PCA)、小波变换和基于强度-色调-饱和度(HIS)的方法也可以包含在像素级融合方法中。
执行像素级融合的先决条件是图像已经由均质传感器采集，其中该传感器处于立体设置、相同形态、相同或相似的视场(FOV)和分辨率。
在示例图像预处理系统中，该系统可以包括耦合到处理单元以预处理图像切片数据的图像预处理单元。该图像预处理单元包括，图像融合模块，用于估计不同的所述图像切片数据之间的缺失值的，图像拼接模块，用于将不同的所述图像切片数据拼接成拼接后的图像数据，以及神经元跟踪模块，用于通过奖励函数、最小路径推导过程、多边形路径近似过程或其组合，跟踪所述拼接后的图像数据中神经元的中心线；以及数据库，其耦合到所述处理单元以存储所述经预处理的图像切片数据。
然而，该图像预处理系统可能更适合于处理3D图像，其中传感器或相机处于立体设置、相同形态、相同或相似的视场(FOV)和分辨率。
在用于融合多时相图像集以实现精确的空间共配准(例如，匹配对准)的示例方法中，图像的精确对准或空间共配准是用于变化检测、图像融合和时间分析/建模的预处理步骤。被称为帧中心(FC)匹配的预处理技术可以实现长系列的多时相空中影像之间的精确配准。
在这个例子中，FC匹配过程包括以下步骤：a)原始的、非地理参考的图像帧之间的帧到帧配准；b)利用地理参考的配准基础图像的帧到帧配准；以及c)以地理参考镶嵌作为基础图像的帧到镶嵌配准。
类似于前面的例子，该图像预处理方法也在假设传感器具有相同的模态、相同或相似的视场(FOV)和分辨率的情况下工作。
在又一示例中，提供了一种用于融合红外图像和可见光动态图像的融合方法和设备。该方法可以包括预处理红外图像和可见光图像的步骤。预处理包括图像格式转换、可见图像去噪、图像增强和图像转换。
在图像格式转换过程中，将图像转换为YUV格式图像。对可见光图像的Y通道进行去噪。用YUV格式的滤波器对红外图像进行滤波。然后，增强图像。
类似地，该图像预处理方法也在假设传感器具有相同的模态、相同或相似的视场(FOV)和分辨率的情况下工作。
优选地，可以为具有不同FOV和分辨率的多模态相机结合校准方法，其中该校准方法能够找到来自多模态相机的图像之间的像素映射关系，以便实现准确的图像融合。
在一些示例实施例中，多相机校准可以假设相机在视场、分辨率和模态方面具有类似的配置(感测单元正在检测类似频谱中的电磁波)。或者，可以假设视觉是双目设置，其具有并排放置的两个相机。
然而，也经常是具有不同模态的相机具有不同的数量、FOV、分辨率可以使用。因此，优选地校准具有不同视场、分辨率和模态的多于两个的相机。在没有精确校准的情况下，来自多个相机的图像不能以足够的精度融合或使用像素级融合。
此外，还优选的是解决多模态相机系统中的相同问题(例如，从一个图像到其他图像的像素映射功能)。
在本发明的一个实施例中，提供了一种校准具有不同模态的多个数字成像传感器以用于图像融合的方法。该方法包括以下步骤：用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像；以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像；交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数；用所述外部参数校准每个数字成像传感器；以及变换和校正每个数字图像，使得每个数字图像的感兴趣区域共面并对准。
本发明的方法可以由计算机系统执行，该计算机系统包括用于从多个数字成像传感器接收数字图像的一个或多个接口以及处理单元。
参考图1，示出了用于对校准对象12成像的图像融合系统10的示例实施例。图像融合系统10包括多模态相机系统14、处理设备或处理器16、以及用于来自多模态相机的图像之间的像素到像素关系的图像融合处理器18。
校准可以与具有一个或多个特征点的任何对象相关联，所述特征点可以被多模态传感器系统14中的所有相机识别。优选地，系统10基于一个或多个识别的特征点来校准一个或多个可见或可识别的对象。在图2所示的示例中，校准对象是棋盘形对象，其角点可以由系统中具有不同模态的所有相机看到。
优选地，多模态传感器系统14可以包括具有不同模态的一种或多种类型的传感器。例如，传感器包括光学图像相机、相位检测传感器、或用于根据应用类型捕获从伽马射线、X射线、红外辐射、微波到无线电波的电磁辐射范围的任何电磁波感测设备。
在本发明的一个实施例中，多模态传感器系统14可以包括三个成像设备：RGB相机、热感相机和深度相机。如图2所示，RGB相机的分辨率为1280×720，并且其视场(FOV)为40°-114.2°×22.5°-60.6°；该热感相机的分辨率为640×480，FOV为33°-114.2°×22.5°-60.6°；深度相机的分辨率是320×240，并且其FOV是74.3°×59.3°。在该实施例中，相机的分辨率和FOV都是不同的。
在又一实施例中，所有相机可以具有相同的模态，并且处理设备或处理器16将能够检测相机的模态并且不对图像数据进行调整。
在一个实施例中，处理设备16是计算处理器或适于执行用于数字信号处理的可编程指令的设备。处理设备16可以获取所捕获的用于校准的图像作为输入，并且所得到的输出是从多模态相机系统获得的图像之间的像素到像素映射关系。
优选地，传感器21、22、23中的每一个可以包括自校准模块或自校准单元24、25、26，用于使用一个或多个内部参数来校准由相应传感器生成的图像，所述内部参数描述了如何设置相机，诸如焦距、光学中心的位置......等。通过相应的自校准24、25、26对每个相机21、22、23的自校准可以减少传感器生成的图像中的噪声和失真。
在一个优选实施例中，内部参数是传感器的物理属性，例如焦距和光学中心。然而，在其他情况下，相机或传感器21、22、23拍摄图像序列，并通过比较这些图像的一个或多个特征来执行自校准。
在一个实施例中，传感器21、22、23拍摄具有全局参考坐标P(Px，Py，Pz)中的特征点的图像，该特征点在点I(Ix，Iy，f)处到达图像平面，其中f是传感器的焦距。
尽管仅存在一个物理焦距，但是由于像素在传感器上可以是矩形而不是正方形，因此可以获得焦距的两个结果。因此，f＝sxfx＝syfy。其中，sx和sy分别是沿x轴和y轴的像素的有效尺寸。
图像点的坐标可以通过下式导出
I＝MP或
其中，其中，fx是以特征点沿x轴获得的像素为单位的焦距，cx是传感器中心相对于光学轴沿着所述x轴的偏移量，P是世界参考坐标上的特征点，I是在均匀图像平面坐标中的特征点的图像，M是变换矩阵。
在该实施例中，实际焦距和光学中心可以用共享相同特征点的图像序列来导出。类似地，在图像序列共享相同特征点的情况下，传感器21、22、23还可进一步导出传感器的定向(旋转)参数和其它内部参数。
优选地，传感器或相机21、22、23和自校准单元或模块24、25、26可以集成为如图4所示的单个单元。在这种布置中，传感器或相机21、22、23可以被分开较大的距离或者甚至远程工作。传感器21、22、23中的每一个可以预处理图像，并且图像可以进一步经由诸如WiFi之类的有线或无线通信链路被提供给多模态成像传感器校准和融合单元27(也称为多模态成像传感器校准和融合模块27)。这样的系统通常可以覆盖比集中式系统更大的区域，并且传感器和中央处理单元之间的链路可以容易地适应于系统将被部署于其中的环境。此外，由于数据处理可以直接在传感器上或附接到传感器的处理单元执行，因此可以减少多模态成像传感器校准和融合单元27上的处理负荷。
在另一实施例中，自校准模块24、25、26与多模态成像传感器校准和融合模块27集成为集中式单元。由于每个传感器21、22、23物理地(或逻辑地)附接到多模态成像传感器校准和融合模块27，所以可以并行接收来自传感器的数据流，使信息的绝对时间对应关系变得容易。测量和补偿每个传感器的信息流之间的延迟的能力使得它们在数据融合阶段期间容易关联。
参考图4，传感器或相机40包括透镜41和/或其它光学元件，用于光学投影或校正到电荷耦合器件(CCD)或信号检测器42的图像或电磁波，CCD/检测器可以将信号传送到模数转换器43(A-D转换器)，其可以生成原始数据图像文件44。在一个优选实施例中，原始数据图像文件44可以存储在存储/存储器设备中，例如固态存储器或易失性存储器，用于进一步处理。然后，原始数据的副本可以被转发到自校准模块45。
在一个实施例中，自校准模块45具有图像调整模块46，用于对图像进行调整或校正，例如但不限于亮度、白平衡、锐度或对比度等。自校准模块45还可以包括失真校正模块47，用于校正任何镜头失真和/或与相机的视角相关联的图像的失真。在另一实施例中，自校准模块45包括用于利用均质传感器进行3D成像的场景重建模块。
在自校准之后，每个传感器的处理图像可以被转发到处理设备16，与交叉参考模块28交叉参考，以及与多模态成像传感器校准和融合模块27多模态成像传感器校准和融合。当处理设备16接收到图像时，处理设备16可以根据从传感器获得的内部参数来决定哪个图像将被用作参考。
优选地，处理设备16可以缩放来自不同相机或传感器21、22、23的所有图像，以获得作为用于图像融合的感兴趣区域(ROI)的整个重叠区域。这种缩放的一般表示可以表示为Is＝TsI。
优选地，处理器设备16可适于根据每个相机和参考相机(生成参考图像的相机)的焦距的比率来缩放自校准图像。焦距可以是在捕获图像期间从每个传感器21、22、23获得的内部参数。缩放图像之间的重叠区域可以被定义为如图5所示感兴趣区域(ROI)。
一旦ROI被变换为基本上相似或相同的尺度，处理设备16就可以对所有相机执行交叉校准过程以用于进一步的图像校正。优选地，处理设备16可以处理在ROI内捕获的图像的子集，以执行相机的交叉校准并获得多模态传感器21、22、23的外部参数。
另外，处理设备16然后可以变换和校正感兴趣区域内的图像以用于图像融合。在该处理中，可以使用成对获得的外部参数，利用从参考相机获得的图像来校正从每个相机获得的图像。
参考图6和图7，处理设备16适于执行校正过程，该校正过程分别利用变换矩阵{Ti}与{Tri}以成对的方式(即，每对图像拥有一对变换矩阵{Ti}和{Tri})变换图像{Ii}和参考图像{Ir}。这使得多对图像以共面的方式对准。
利用变换矩阵{Ti}的{Tri}执行的图像{Ii}和{Ir}的变换可以仅涉及将一对图像置于共面。所得到的图像可以存储在处理设备16的存储寄存器中，以用于下一个对准过程。为了将来自本发明的多模态相机系统20中的所有相机的所有图像对准到相同的相机平面，处理设备16将对图像{Ii}应用变换矩阵{Tri -1Ti}，并且生成对准在相同相机平面上的一组图像{Tri -1Ti(Ii)}。
在所有图像在相同的相机平面上对准之后，可以使用沿着x和y轴移动校正的图像的平移向量集合将所有图像融合在一起。图像{Ii}的平移向量{Si}可以通过特征点匹配来获得，其中在图像中应当存在可以由具有不同模态的所有相机捕获的至少一个特征点。
因此，像素映射关系可以描述为
{Si(Tri -1Ti(Ii))}＝{Sj(Trj -1Tj(Ij))}对于所有i≠j的情况因此，在这种像素映射关系下，所有图像可以相互融合。
还将理解，在本发明的方法和系统全部由计算系统实现或部分由计算系统实现的情况下，可以利用任何适当的计算系统体系结构。这将包括独立计算机、网络计算机和专用硬件设备。在使用术语“计算系统”和“计算设备”的情况下，这些术语旨在覆盖能够实现所描述的功能的计算机硬件的任何适当的布置。
本领域技术人员将理解，在不背离如广泛描述的本发明的精神或范围的情况下，可以对如具体实施方式中所示的本发明进行许多变化和/或修改。因此，本发明的实施例在所有方面都被认为是说明性的而非限制性的。
除非另外指明，否则本文所包含的对现有技术的任何引用不应被认为是承认该信息是公知常识。
Claims (31)
1.一种校准具有不同模态的多个数字成像传感器以用于图像融合的方法，包括以下步骤：
用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像；
以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像；
交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数；
用所述外部参数校准每个数字成像传感器；以及
变换和校正每个数字图像，使得每个数字图像的所述感兴趣区域共面并对准。
2.根据权利要求1所述的方法，还包括将一数字成像传感器设置为参考传感器并将由所述参考传感器生成的数字图像设置为参考图像的步骤。
3.根据权利要求1所述的方法，其中，所述多个数字成像传感器中的每一个被放置在对象前方不同距离处或不同观察视角处。
4.根据权利要求3所述的方法，其中，所述多个数字成像传感器中的每一个适于捕获所述对象的多个数字图像。
5.根据权利要求2所述的方法，还包括获得每个数字成像传感器的所述内部参数的步骤。
6.根据权利要求5所述的方法，其中，所述内部参数包括所述透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
7.根据权利要求6所述的方法，其中由相应的数字成像传感器生成的每个数字图像的所述缩放比率等于或基本上等于所述参考传感器与所述相应的数字图像传感器之间的焦距的比。
8.根据权利要求7所述的方法，其中，通过比较所述缩放的数字图像中的每一个来获得所述外部参数。
9.根据权利要求8所述的方法，其中，所述外部参数包括所述对象的深度、传感器角度、相对距离中的一个或多个。
10.根据权利要求2所述的方法，其中，所述校正步骤包括使用所述外部参数并利用从所述参考相机获得的所述图像成对地从每个数字成像传感器进行获取的步骤。
11.根据权利要求10所述的方法，其中，所述校正步骤包括分别利用变换矩阵{Ti}与{Tri}并且以成对的方式对每个数字图像的图像矩阵{Ii}和所述参考图像的图像矩阵{Ir}进行变换的步骤，其中，每对图像拥有一对变换矩阵{Ti}与{Tri}，并且使得多对数字图像以共面的方式被对准。
12.根据权利要求11所述的方法，其中，利用变换矩阵{Tri -1Ti}对每个数字图像的图像矩阵{Ii}进行变换，使得所有变换后的图像在同一平面上被对准。
13.根据权利要求1所述的方法，其中所述数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
14.一种用于校准模态图像融合的处理器，包括：
参考数字图像传感器，具有参考模态特征；
一个或多个数字图像传感器，其中每个数字图像传感器具有与所述参考模态特征不同的模态特征；
自校准处理单元，用于利用传感器的内部参数校准从所述传感器生成的数字图像，并且缩放所述数字图像以获得重叠的感兴趣区域；以及
多模态成像传感器校准和融合单元，用于从所述自校准处理单元接收所述缩放的图像；
其中，所述多模态成像传感器校准和融合单元适于交叉参考所述缩放的数字图像以导出一个或多个外部参数；用所述外部参数校准每个数字成像传感器；并对每个数字图像进行变换和校正，
使得每个数字图像的所述感兴趣区域共面并对准。
15.根据权利要求14所述的处理器，其中，所述多模态成像传感器校准和融合单元适于将一数字成像传感器设置为参考传感器，并将由所述参考传感器生成的数字图像设置为参考图像。
16.根据权利要求15所述的处理器，其中，所述数字成像传感器中的每一个被放置在对象前方不同距离处或不同观察视角处。
17.根据权利要求15所述的处理器，其中，所述数字成像传感器中的每一个适于捕获所述对象的多个数字图像。
18.根据权利要求15所述的处理器，其中所述自校准单元适于获得每个数字成像传感器的所述内部参数。
19.根据权利要求18所述的处理器，其中所述内部参数包括所述透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
20.根据权利要求19所述的处理器，其中由相应的数字成像传感器生成的每个数字图像的缩放比率等于或基本等于所述参考传感器和所述相应的数字图像传感器之间的焦距的比。
21.根据权利要求20所述的处理器，其中，通过比较所述缩放的数字图像中的每一个来获得所述外部参数。
22.根据权利要求21所述的处理器，其中，所述外部参数包括对象的深度、传感器角度、相对距离中的一个或多个。
23.根据权利要求15所述的处理器，其中，所述多模态成像传感器校准和融合单元适于使用所述外部参数并利用从所述参考相机获得的图像成对地从每个数字成像传感器中进行获取。
24.根据权利要求15所述的处理器，其中，所述多模态成像传感器校准和融合单元适于分别利用变换矩阵{Ti}与{Tri}以成对的方式执行每个数字图像的图像矩阵{Ii}和所述参考图像的图像矩阵{Ir}的变换，其中，每对图像拥有一对变换矩阵{Ti}与{Tri}，并且使得多对数字图像以共面的方式对准。
25.根据权利要求24所述的处理器，其中，利用变换矩阵{Tri -1Ti}对每个数字图像的图像矩阵{Ii}进行变换，使得所有变换后的图像在同一平面上被对准。
26.根据权利要求15所述的处理器，其中所述数字图像传感器远程连接到所述自校准单元。
27.根据权利要求26所述的处理器，其中所述数字图像传感器通过以太网连接而连接到所述自校准单元。
28.根据权利要求26所述的处理器，其中所述数字图像传感器通过Wi-Fi连接而连接到所述自校准单元。
29.根据权利要求15所述的处理器，其中所述自校准单元包括多个独立的校准模块，所述校准模块中的每一个与数字成像传感器集成。
30.根据权利要求15所述的处理器，其中，所述数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
31.一种计算机系统，包括：
一个或多个接口，用于从多个数字成像传感器接收数字图像；
处理单元，执行根据权利要求1所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/093677 WO2020000369A1 (en) | 2018-06-29 | 2018-06-29 | Multimodal imaging sensor calibration method for accurate image fusion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112655023A true CN112655023A (zh) | 2021-04-13 |
| CN112655023B CN112655023B (zh) | 2024-09-06 |
Family
ID=68985463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880094945.0A Active CN112655023B (zh) | 2018-06-29 | 2018-06-29 | 用于精确图像融合的多模态成像传感器校准方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11838490B2 (zh) |
| CN (1) | CN112655023B (zh) |
| WO (1) | WO2020000369A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028281B (zh) * | 2019-10-22 | 2022-10-18 | 清华大学 | 基于光场双目系统的深度信息计算方法及装置 |
| CN112598716B (zh) * | 2020-12-01 | 2024-04-05 | 浙江大华技术股份有限公司 | 一种多模态图像的配准方法、装置及系统 |
| US12026914B2 (en) | 2021-01-19 | 2024-07-02 | Google Llc | Cross spectral feature mapping for camera calibration |
| CN112797900B (zh) * | 2021-04-07 | 2021-07-06 | 中科慧远视觉技术(北京)有限公司 | 多相机板材尺寸测量方法 |
| US20230169630A1 (en) * | 2021-12-01 | 2023-06-01 | Ford Global Technologies, Llc | Image compensation service |
| CN116611025B (zh) * | 2023-05-19 | 2024-01-26 | 贵州师范大学 | 一种脉冲星候选信号的多模态特征融合方法 |
| CN116437205B (zh) * | 2023-06-02 | 2023-08-11 | 华中科技大学 | 一种多视点多焦距成像的景深拓展方法和系统 |
| CN117115061B (zh) * | 2023-09-11 | 2024-04-09 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140098194A1 (en) * | 2012-10-05 | 2014-04-10 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
| US20150062369A1 (en) * | 2013-08-29 | 2015-03-05 | Sick Ag | Optoelectronic Apparatus and Method for Recording Rectified Images |
| CN107111864A (zh) * | 2014-12-23 | 2017-08-29 | 华为技术有限公司 | 用于平滑视图切换和缩放的计算性多相机调整 |
| US20170262971A1 (en) * | 2016-03-10 | 2017-09-14 | Sony Corporation | System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2375376B1 (en) * | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
| US9582881B2 (en) | 2015-03-18 | 2017-02-28 | Intel Corporation | Machine vision image sensor calibration |
| US10395389B2 (en) | 2016-04-11 | 2019-08-27 | Hewlett-Packard Development Company, L.P. | Calibration based on intrinsic parameter selection and a projected calibration target |
| CN109478315B (zh) * | 2016-07-21 | 2023-08-01 | 前视红外系统股份公司 | 融合图像优化系统和方法 |
| US11555903B1 (en) * | 2018-11-30 | 2023-01-17 | Zoox, Inc. | Sensor calibration using dense depth maps |
-
2018
- 2018-06-29 CN CN201880094945.0A patent/CN112655023B/zh active Active
- 2018-06-29 US US17/254,564 patent/US11838490B2/en active Active
- 2018-06-29 WO PCT/CN2018/093677 patent/WO2020000369A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140098194A1 (en) * | 2012-10-05 | 2014-04-10 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
| US20150062369A1 (en) * | 2013-08-29 | 2015-03-05 | Sick Ag | Optoelectronic Apparatus and Method for Recording Rectified Images |
| CN107111864A (zh) * | 2014-12-23 | 2017-08-29 | 华为技术有限公司 | 用于平滑视图切换和缩放的计算性多相机调整 |
| US20170262971A1 (en) * | 2016-03-10 | 2017-09-14 | Sony Corporation | System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210274150A1 (en) | 2021-09-02 |
| US11838490B2 (en) | 2023-12-05 |
| CN112655023B (zh) | 2024-09-06 |
| WO2020000369A1 (en) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112655023B (zh) | 用于精确图像融合的多模态成像传感器校准方法 | |
| US11546576B2 (en) | Systems and methods for dynamic calibration of array cameras | |
| US10542208B2 (en) | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information | |
| US9684963B2 (en) | Systems and methods for dynamic registration of multimodal images | |
| US10182216B2 (en) | Extended color processing on pelican array cameras | |
| US8619128B2 (en) | Systems and methods for an imaging system using multiple image sensors | |
| CN110660088A (zh) | 一种图像处理的方法和设备 | |
| Teranaka et al. | Single-sensor RGB and NIR image acquisition: toward optimal performance by taking account of CFA pattern, demosaicking, and color correction | |
| Rabatel et al. | Registration of visible and near infrared unmanned aerial vehicle images based on Fourier-Mellin transform | |
| CN110322485A (zh) | 一种异构多相机成像系统的快速图像配准方法 | |
| TW202013956A (zh) | 影像裝置的校正方法及其相關影像裝置和運算裝置 | |
| WO2021163406A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
| US20190014303A1 (en) | Imaging system and method | |
| CN113228104B (zh) | 热图像和可见图像对的自动共配准 | |
| KR101578029B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
| RU2684749C1 (ru) | Способ совмещения цифровых изображений различных спектральных диапазонов | |
| CN109658459B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| Jarron et al. | Multi-camera panoramic imaging system calibration | |
| US9992398B2 (en) | Optical sighting | |
| Zhang et al. | On-orbit relative radiometric calibration of optical video satellites without uniform calibration sites | |
| RU2764838C1 (ru) | Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов | |
| Ariff et al. | A study of near-infrared (NIR) filter for surveillance application | |
| KR20140117808A (ko) | 감시카메라의 영상 왜곡 보정장치 및 왜곡 보정방법 | |
| Gustafsson et al. | Spectral cube reconstruction for a high resolution hyperspectral camera based on a linear variable filter | |
| Hu et al. | A coaxial visible and infrared dual-band imager |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40046213 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |