CN112655023A - 用于精确图像融合的多模态成像传感器校准方法 - Google Patents

用于精确图像融合的多模态成像传感器校准方法 Download PDF

Info

Publication number
CN112655023A
CN112655023A CN201880094945.0A CN201880094945A CN112655023A CN 112655023 A CN112655023 A CN 112655023A CN 201880094945 A CN201880094945 A CN 201880094945A CN 112655023 A CN112655023 A CN 112655023A
Authority
CN
China
Prior art keywords
digital
image
sensor
images
imaging sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880094945.0A
Other languages
English (en)
Other versions
CN112655023B (zh
Inventor
陈鸿群
唐志鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Logistics and Supply Chain Multitech R&D Centre Ltd
Original Assignee
Logistics and Supply Chain Multitech R&D Centre Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Logistics and Supply Chain Multitech R&D Centre Ltd filed Critical Logistics and Supply Chain Multitech R&D Centre Ltd
Publication of CN112655023A publication Critical patent/CN112655023A/zh
Application granted granted Critical
Publication of CN112655023B publication Critical patent/CN112655023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种校准具有不同模态的多个数字成像传感器以用于图像融合的系统和方法,包括以下步骤:用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像;以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像;交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数;用所述外部参数校准每个数字成像传感器;以及变换和校正每个数字图像,使得每个数字图像的所述感兴趣区域共面并对准。

Description

用于精确图像融合的多模态成像传感器校准方法
技术领域
本发明一般涉及用于图像融合的装置、系统或方法。特别地但非排他地涉及一种用于精确图像融合的校准多模态成像传感器的方法。
背景技术
图像融合(IF)是一种将互补的多模态、多时相和/或多视图信息集成到一个新图像中的技术。该新图像将包含其质量不能以其它方式获得的信息。
在IF技术中有着大量的应用。在天文学中,多传感器融合用于通过组合来自两个或更多个传感器的图像来实现高空间分辨率和光谱分辨率:高空间分辨率传感器、IR传感器和X射线传感器。医学成像使用IF同时评估CT、MRI和/或PET图像。军事、安全和监视应用使用可见光与红外图像的多模态图像融合。
发明内容
本发明提供了一种校准具有两个或多个相机的多模态相机系统的系统和方法,所述两个或多个相机具有不同的视场、分辨率和模态,并且基于该校准来变换图像,以便精确地融合从系统获得的所有图像。优选地,本发明提供了一种用于图像融合的多模态成像传感器的新颖校准方法。
根据本发明的第一方面,提供了一种校准具有不同模态的多个数字成像传感器以用于图像融合的方法,包括以下步骤:
用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像;
以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像;
交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数;
用所述外部参数校准每个数字成像传感器;以及
变换和校正每个数字图像,使得每个数字图像的所述感兴趣区域共面并对准。
优选地,该方法还包括将数字成像传感器设置为参考传感器并将由所述参考传感器生成的数字图像设置为参考图像的步骤。
优选地,所述多个数字成像传感器中的每一个被放置在对象的前方不同距离处或不同观察视角处。
优选地,所述多个数字成像传感器中的每一个适于捕获所述对象的多个数字图像。
优选地,该方法还包括获得每个数字成像传感器的所述内部参数的步骤。
优选地,所述内部参数包括但不限于透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
优选地,由相应的数字成像传感器生成的每个数字图像的所述缩放比率等于或基本等于所述参考传感器和所述相应的数字图像传感器之间的焦距的比。
优选地,通过比较每个缩放的数字图像来获得外部参数。
优选地,所述外部参数包括但不限于传感器角度、相对距离中的一个或多个。
优选地,所述校正步骤包括使用所述外部参数并利用从所述参考相机获得的所述图像成对地从每个数字成像传感器进行获取的步骤。
优选地,所述校正步骤包括分别用变换矩阵{Ti}与{Tri}并且以成对的方式对每个数字图像的图像矩阵{Ii}和所述参考图像的图像矩阵{Ir}进行变换的步骤,其中每对图像拥有一对变换矩阵{Ti}与{Tri},并且使得多对数字图像以共面的方式被对准。
优选地,利用变换矩阵{Tri -1Ti}变换每个数字图像的图像矩阵{Ii},使得所有变换后的图像在同一平面上被对准。
优选地,数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
根据本发明的第二方面,提供了一种用于校准模态图像融合的处理器,包括:
参考数字图像传感器,具有参考模态特征;
一个或多个数字图像传感器,其中每个数字图像传感器具有与所述参考模态特征不同的模态特征;
自校准处理单元,用于利用传感器的内部参数校准从所述传感器生成的数字图像,并且缩放所述数字图像以获得重叠的感兴趣区域;以及
多模态成像传感器校准和融合单元,用于从所述自校准处理单元接收所述缩放的图像;
其中,所述多模态成像传感器校准和融合单元适于交叉参考所述缩放的数字图像以导出一个或多个外部参数;用所述非本征参数校准每个数字成像传感器;并对每个数字图像进行变换和校正,
使得每个数字图像的感兴趣区域共面并对准。
优选地,所述多模态成像传感器校准和融合单元适于将数字成像传感器设置为参考传感器,并将由所述参考传感器生成的数字图像设置为参考图像。
优选地,每个数字成像传感器被放置在对象前方不同距离处或不同观察视角处。
优选地,每个数字成像传感器适于捕获所述对象的多个数字图像。
优选地,自校准单元适于获得每个数字成像传感器的内部参数。
优选地,内部参数包括但不限于透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
优选地,由相应的数字成像传感器生成的每个数字图像的缩放比率等于或基本等于所述参考传感器和相应的数字图像传感器之间的焦距的比。
优选地,通过比较每个缩放的数字图像来获得外部参数。
优选地,外部参数包括但不限于对象的深度、传感器角度、相对距离中的一个或多个。
优选地,多模态成像传感器校准和融合单元适于使用所述外部参数成对地从每个数字成像传感器获得的图像和从所述参考相机获得的图像的变换矩阵。
优选地,所述多模态成像传感器校准和融合单元适于分别利用变换矩阵{Ti}与{Tri}以成对的方式执行每个数字图像的图像矩阵{Ii}和参考图像的图像矩阵{Ir}的变换,其中,每对图像拥有一对变换矩阵{Ti}与{Tri},并且使得多对数字图像以共面的方式对准。
优选地,利用变换矩阵{Tri -1Ti}变换每个数字图像的图像矩阵{Ii},使得所有变换后的图像在同一平面上被对准。
优选地,所述数字图像传感器通过有线或无线连接被连接到所述自校准单元。
优选地,所述数字图像传感器通过以太网连接被连接到所述自校准单元。
优选地,所述数字图像传感器通过WiFi连接被连接到所述自校准单元。
优选地,所述自校准单元包括多个独立的校准模块,每个校准模块与数字成像传感器集成。
优选地,所述数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
根据本发明的第三方面,提供了一种计算机系统,包括:
一个或多个接口,用于从多个数字成像传感器接收数字图像;
处理单元,用于执行包括以下步骤的方法:
用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像;
以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像;
交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数;
用所述外部参数校准每个数字成像传感器;以及
变换和校正每个数字图像,使得每个数字图像的感兴趣区域共面并对准。
当考虑以下说明书和附图时,其它优点将变得显而易见。
附图说明
现在将参考附图通过示例的方式描述本发明的实施例,其中:
图1示出了根据本发明的实施例的图像融合系统的示意图;
图2示出了从本发明的实施例的多模态成像传感器获得的图像的示意图;
图3示出了本发明的实施例的处理设备的示意图;
图4示出了本发明的实施例的数字成像传感器的示意图;
图5示出了根据本发明的实施例的多个数字图像的感兴趣区域(ROI)的示意图;
图6示出了根据本发明的实施例的将图像变换到同一平面的图像校正过程的示意图;以及
图7示出了根据本发明的实施例的将图像变换到同一平面的图像校正的另一过程的示意图。
具体实施方式
发明人通过他们自己的研究、试验和实验已经设计出,多视图融合技术可以指由相同传感器但从不同视点拍摄的相同场景的一组图像,这些图像被融合以获得具有比传感器通常提供的分辨率更高分辨率的图像或覆盖比传感器通常提供的区域更广的区域,或者恢复场景的3D表示。该技术可用于制作3D电影。
多时相IF技术可以识别两个不同的目标。可以在不同时间采集相同场景的图像,以发现并评估该场景中的变化,或者获得该场景的较少退化的图像。前一目标可以用于医学成像,特别是器官和肿瘤的变化检测,以及用于监测土地或森林开采的遥感。采集期可以是数月或数年。后一目标可能需要不同的测量以彼此更接近,例如以秒为单位,并且可能在不同的条件下。
不希望被理论所束缚,多模态相机可以利用各种相机的感测能力并且集成它们的信息以便提供对真实世界环境的更全面的理解。图像融合可用于整合来自不同相机的信息。这可能需要解决计算机视觉中的相应问题-在一个图像中寻找可以被识别为另一图像中的相同点的一组点。
优选地,多模态或多传感器图像融合可以用于将来自若干图像的相关信息组合成单个图像。最终输出图像可以提供比任何单个图像更多的信息,并且降低信噪比。用户可以收集有用的信息而不用注视和比较来自多个传感器的图像。
输入图像融合技术的一个例子是像素级方法,其在空间域或变换域中工作。平均方法、最大化方法、Brovey方法、主成分分析(PCA)、小波变换和基于强度-色调-饱和度(HIS)的方法也可以包含在像素级融合方法中。
执行像素级融合的先决条件是图像已经由均质传感器采集,其中该传感器处于立体设置、相同形态、相同或相似的视场(FOV)和分辨率。
在示例图像预处理系统中,该系统可以包括耦合到处理单元以预处理图像切片数据的图像预处理单元。该图像预处理单元包括,图像融合模块,用于估计不同的所述图像切片数据之间的缺失值的,图像拼接模块,用于将不同的所述图像切片数据拼接成拼接后的图像数据,以及神经元跟踪模块,用于通过奖励函数、最小路径推导过程、多边形路径近似过程或其组合,跟踪所述拼接后的图像数据中神经元的中心线;以及数据库,其耦合到所述处理单元以存储所述经预处理的图像切片数据。
然而,该图像预处理系统可能更适合于处理3D图像,其中传感器或相机处于立体设置、相同形态、相同或相似的视场(FOV)和分辨率。
在用于融合多时相图像集以实现精确的空间共配准(例如,匹配对准)的示例方法中,图像的精确对准或空间共配准是用于变化检测、图像融合和时间分析/建模的预处理步骤。被称为帧中心(FC)匹配的预处理技术可以实现长系列的多时相空中影像之间的精确配准。
在这个例子中,FC匹配过程包括以下步骤:a)原始的、非地理参考的图像帧之间的帧到帧配准;b)利用地理参考的配准基础图像的帧到帧配准;以及c)以地理参考镶嵌作为基础图像的帧到镶嵌配准。
类似于前面的例子,该图像预处理方法也在假设传感器具有相同的模态、相同或相似的视场(FOV)和分辨率的情况下工作。
在又一示例中,提供了一种用于融合红外图像和可见光动态图像的融合方法和设备。该方法可以包括预处理红外图像和可见光图像的步骤。预处理包括图像格式转换、可见图像去噪、图像增强和图像转换。
在图像格式转换过程中,将图像转换为YUV格式图像。对可见光图像的Y通道进行去噪。用YUV格式的滤波器对红外图像进行滤波。然后,增强图像。
类似地,该图像预处理方法也在假设传感器具有相同的模态、相同或相似的视场(FOV)和分辨率的情况下工作。
优选地,可以为具有不同FOV和分辨率的多模态相机结合校准方法,其中该校准方法能够找到来自多模态相机的图像之间的像素映射关系,以便实现准确的图像融合。
在一些示例实施例中,多相机校准可以假设相机在视场、分辨率和模态方面具有类似的配置(感测单元正在检测类似频谱中的电磁波)。或者,可以假设视觉是双目设置,其具有并排放置的两个相机。
然而,也经常是具有不同模态的相机具有不同的数量、FOV、分辨率可以使用。因此,优选地校准具有不同视场、分辨率和模态的多于两个的相机。在没有精确校准的情况下,来自多个相机的图像不能以足够的精度融合或使用像素级融合。
此外,还优选的是解决多模态相机系统中的相同问题(例如,从一个图像到其他图像的像素映射功能)。
在本发明的一个实施例中,提供了一种校准具有不同模态的多个数字成像传感器以用于图像融合的方法。该方法包括以下步骤:用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像;以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像;交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数;用所述外部参数校准每个数字成像传感器;以及变换和校正每个数字图像,使得每个数字图像的感兴趣区域共面并对准。
本发明的方法可以由计算机系统执行,该计算机系统包括用于从多个数字成像传感器接收数字图像的一个或多个接口以及处理单元。
参考图1,示出了用于对校准对象12成像的图像融合系统10的示例实施例。图像融合系统10包括多模态相机系统14、处理设备或处理器16、以及用于来自多模态相机的图像之间的像素到像素关系的图像融合处理器18。
校准可以与具有一个或多个特征点的任何对象相关联,所述特征点可以被多模态传感器系统14中的所有相机识别。优选地,系统10基于一个或多个识别的特征点来校准一个或多个可见或可识别的对象。在图2所示的示例中,校准对象是棋盘形对象,其角点可以由系统中具有不同模态的所有相机看到。
优选地,多模态传感器系统14可以包括具有不同模态的一种或多种类型的传感器。例如,传感器包括光学图像相机、相位检测传感器、或用于根据应用类型捕获从伽马射线、X射线、红外辐射、微波到无线电波的电磁辐射范围的任何电磁波感测设备。
在本发明的一个实施例中,多模态传感器系统14可以包括三个成像设备:RGB相机、热感相机和深度相机。如图2所示,RGB相机的分辨率为1280×720,并且其视场(FOV)为40°-114.2°×22.5°-60.6°;该热感相机的分辨率为640×480,FOV为33°-114.2°×22.5°-60.6°;深度相机的分辨率是320×240,并且其FOV是74.3°×59.3°。在该实施例中,相机的分辨率和FOV都是不同的。
在又一实施例中,所有相机可以具有相同的模态,并且处理设备或处理器16将能够检测相机的模态并且不对图像数据进行调整。
在一个实施例中,处理设备16是计算处理器或适于执行用于数字信号处理的可编程指令的设备。处理设备16可以获取所捕获的用于校准的图像作为输入,并且所得到的输出是从多模态相机系统获得的图像之间的像素到像素映射关系。
优选地,传感器21、22、23中的每一个可以包括自校准模块或自校准单元24、25、26,用于使用一个或多个内部参数来校准由相应传感器生成的图像,所述内部参数描述了如何设置相机,诸如焦距、光学中心的位置......等。通过相应的自校准24、25、26对每个相机21、22、23的自校准可以减少传感器生成的图像中的噪声和失真。
在一个优选实施例中,内部参数是传感器的物理属性,例如焦距和光学中心。然而,在其他情况下,相机或传感器21、22、23拍摄图像序列,并通过比较这些图像的一个或多个特征来执行自校准。
在一个实施例中,传感器21、22、23拍摄具有全局参考坐标P(Px,Py,Pz)中的特征点的图像,该特征点在点I(Ix,Iy,f)处到达图像平面,其中f是传感器的焦距。
尽管仅存在一个物理焦距,但是由于像素在传感器上可以是矩形而不是正方形,因此可以获得焦距的两个结果。因此,f=sxfx=syfy。其中,sx和sy分别是沿x轴和y轴的像素的有效尺寸。
图像点的坐标可以通过下式导出
I=MP或
Figure BDA0002853925050000101
其中,其中,fx是以特征点沿x轴获得的像素为单位的焦距,cx是传感器中心相对于光学轴沿着所述x轴的偏移量,P是世界参考坐标上的特征点,I是在均匀图像平面坐标中的特征点的图像,M是变换矩阵。
在该实施例中,实际焦距和光学中心可以用共享相同特征点的图像序列来导出。类似地,在图像序列共享相同特征点的情况下,传感器21、22、23还可进一步导出传感器的定向(旋转)参数和其它内部参数。
优选地,传感器或相机21、22、23和自校准单元或模块24、25、26可以集成为如图4所示的单个单元。在这种布置中,传感器或相机21、22、23可以被分开较大的距离或者甚至远程工作。传感器21、22、23中的每一个可以预处理图像,并且图像可以进一步经由诸如WiFi之类的有线或无线通信链路被提供给多模态成像传感器校准和融合单元27(也称为多模态成像传感器校准和融合模块27)。这样的系统通常可以覆盖比集中式系统更大的区域,并且传感器和中央处理单元之间的链路可以容易地适应于系统将被部署于其中的环境。此外,由于数据处理可以直接在传感器上或附接到传感器的处理单元执行,因此可以减少多模态成像传感器校准和融合单元27上的处理负荷。
在另一实施例中,自校准模块24、25、26与多模态成像传感器校准和融合模块27集成为集中式单元。由于每个传感器21、22、23物理地(或逻辑地)附接到多模态成像传感器校准和融合模块27,所以可以并行接收来自传感器的数据流,使信息的绝对时间对应关系变得容易。测量和补偿每个传感器的信息流之间的延迟的能力使得它们在数据融合阶段期间容易关联。
参考图4,传感器或相机40包括透镜41和/或其它光学元件,用于光学投影或校正到电荷耦合器件(CCD)或信号检测器42的图像或电磁波,CCD/检测器可以将信号传送到模数转换器43(A-D转换器),其可以生成原始数据图像文件44。在一个优选实施例中,原始数据图像文件44可以存储在存储/存储器设备中,例如固态存储器或易失性存储器,用于进一步处理。然后,原始数据的副本可以被转发到自校准模块45。
在一个实施例中,自校准模块45具有图像调整模块46,用于对图像进行调整或校正,例如但不限于亮度、白平衡、锐度或对比度等。自校准模块45还可以包括失真校正模块47,用于校正任何镜头失真和/或与相机的视角相关联的图像的失真。在另一实施例中,自校准模块45包括用于利用均质传感器进行3D成像的场景重建模块。
在自校准之后,每个传感器的处理图像可以被转发到处理设备16,与交叉参考模块28交叉参考,以及与多模态成像传感器校准和融合模块27多模态成像传感器校准和融合。当处理设备16接收到图像时,处理设备16可以根据从传感器获得的内部参数来决定哪个图像将被用作参考。
优选地,处理设备16可以缩放来自不同相机或传感器21、22、23的所有图像,以获得作为用于图像融合的感兴趣区域(ROI)的整个重叠区域。这种缩放的一般表示可以表示为Is=TsI。
优选地,处理器设备16可适于根据每个相机和参考相机(生成参考图像的相机)的焦距的比率来缩放自校准图像。焦距可以是在捕获图像期间从每个传感器21、22、23获得的内部参数。缩放图像之间的重叠区域可以被定义为如图5所示感兴趣区域(ROI)。
一旦ROI被变换为基本上相似或相同的尺度,处理设备16就可以对所有相机执行交叉校准过程以用于进一步的图像校正。优选地,处理设备16可以处理在ROI内捕获的图像的子集,以执行相机的交叉校准并获得多模态传感器21、22、23的外部参数。
另外,处理设备16然后可以变换和校正感兴趣区域内的图像以用于图像融合。在该处理中,可以使用成对获得的外部参数,利用从参考相机获得的图像来校正从每个相机获得的图像。
参考图6和图7,处理设备16适于执行校正过程,该校正过程分别利用变换矩阵{Ti}与{Tri}以成对的方式(即,每对图像拥有一对变换矩阵{Ti}和{Tri})变换图像{Ii}和参考图像{Ir}。这使得多对图像以共面的方式对准。
利用变换矩阵{Ti}的{Tri}执行的图像{Ii}和{Ir}的变换可以仅涉及将一对图像置于共面。所得到的图像可以存储在处理设备16的存储寄存器中,以用于下一个对准过程。为了将来自本发明的多模态相机系统20中的所有相机的所有图像对准到相同的相机平面,处理设备16将对图像{Ii}应用变换矩阵{Tri -1Ti},并且生成对准在相同相机平面上的一组图像{Tri -1Ti(Ii)}。
在所有图像在相同的相机平面上对准之后,可以使用沿着x和y轴移动校正的图像的平移向量集合将所有图像融合在一起。图像{Ii}的平移向量{Si}可以通过特征点匹配来获得,其中在图像中应当存在可以由具有不同模态的所有相机捕获的至少一个特征点。
因此,像素映射关系可以描述为
{Si(Tri -1Ti(Ii))}={Sj(Trj -1Tj(Ij))}对于所有i≠j的情况因此,在这种像素映射关系下,所有图像可以相互融合。
还将理解,在本发明的方法和系统全部由计算系统实现或部分由计算系统实现的情况下,可以利用任何适当的计算系统体系结构。这将包括独立计算机、网络计算机和专用硬件设备。在使用术语“计算系统”和“计算设备”的情况下,这些术语旨在覆盖能够实现所描述的功能的计算机硬件的任何适当的布置。
本领域技术人员将理解,在不背离如广泛描述的本发明的精神或范围的情况下,可以对如具体实施方式中所示的本发明进行许多变化和/或修改。因此,本发明的实施例在所有方面都被认为是说明性的而非限制性的。
除非另外指明,否则本文所包含的对现有技术的任何引用不应被认为是承认该信息是公知常识。

Claims (31)

1.一种校准具有不同模态的多个数字成像传感器以用于图像融合的方法,包括以下步骤:
用一个或多个内部参数校准由相应的数字成像传感器生成的每个数字图像;
以一缩放比率缩放每个数字图像以生成具有重叠的感兴趣区域的缩放的数字图像;
交叉参考一个或多个缩放的数字图像以导出一个或多个外部参数;
用所述外部参数校准每个数字成像传感器;以及
变换和校正每个数字图像,使得每个数字图像的所述感兴趣区域共面并对准。
2.根据权利要求1所述的方法,还包括将一数字成像传感器设置为参考传感器并将由所述参考传感器生成的数字图像设置为参考图像的步骤。
3.根据权利要求1所述的方法,其中,所述多个数字成像传感器中的每一个被放置在对象前方不同距离处或不同观察视角处。
4.根据权利要求3所述的方法,其中,所述多个数字成像传感器中的每一个适于捕获所述对象的多个数字图像。
5.根据权利要求2所述的方法,还包括获得每个数字成像传感器的所述内部参数的步骤。
6.根据权利要求5所述的方法,其中,所述内部参数包括所述透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
7.根据权利要求6所述的方法,其中由相应的数字成像传感器生成的每个数字图像的所述缩放比率等于或基本上等于所述参考传感器与所述相应的数字图像传感器之间的焦距的比。
8.根据权利要求7所述的方法,其中,通过比较所述缩放的数字图像中的每一个来获得所述外部参数。
9.根据权利要求8所述的方法,其中,所述外部参数包括所述对象的深度、传感器角度、相对距离中的一个或多个。
10.根据权利要求2所述的方法,其中,所述校正步骤包括使用所述外部参数并利用从所述参考相机获得的所述图像成对地从每个数字成像传感器进行获取的步骤。
11.根据权利要求10所述的方法,其中,所述校正步骤包括分别利用变换矩阵{Ti}与{Tri}并且以成对的方式对每个数字图像的图像矩阵{Ii}和所述参考图像的图像矩阵{Ir}进行变换的步骤,其中,每对图像拥有一对变换矩阵{Ti}与{Tri},并且使得多对数字图像以共面的方式被对准。
12.根据权利要求11所述的方法,其中,利用变换矩阵{Tri -1Ti}对每个数字图像的图像矩阵{Ii}进行变换,使得所有变换后的图像在同一平面上被对准。
13.根据权利要求1所述的方法,其中所述数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
14.一种用于校准模态图像融合的处理器,包括:
参考数字图像传感器,具有参考模态特征;
一个或多个数字图像传感器,其中每个数字图像传感器具有与所述参考模态特征不同的模态特征;
自校准处理单元,用于利用传感器的内部参数校准从所述传感器生成的数字图像,并且缩放所述数字图像以获得重叠的感兴趣区域;以及
多模态成像传感器校准和融合单元,用于从所述自校准处理单元接收所述缩放的图像;
其中,所述多模态成像传感器校准和融合单元适于交叉参考所述缩放的数字图像以导出一个或多个外部参数;用所述外部参数校准每个数字成像传感器;并对每个数字图像进行变换和校正,
使得每个数字图像的所述感兴趣区域共面并对准。
15.根据权利要求14所述的处理器,其中,所述多模态成像传感器校准和融合单元适于将一数字成像传感器设置为参考传感器,并将由所述参考传感器生成的数字图像设置为参考图像。
16.根据权利要求15所述的处理器,其中,所述数字成像传感器中的每一个被放置在对象前方不同距离处或不同观察视角处。
17.根据权利要求15所述的处理器,其中,所述数字成像传感器中的每一个适于捕获所述对象的多个数字图像。
18.根据权利要求15所述的处理器,其中所述自校准单元适于获得每个数字成像传感器的所述内部参数。
19.根据权利要求18所述的处理器,其中所述内部参数包括所述透镜的焦距、光学中心的位置和透镜畸变中的一个或多个。
20.根据权利要求19所述的处理器,其中由相应的数字成像传感器生成的每个数字图像的缩放比率等于或基本等于所述参考传感器和所述相应的数字图像传感器之间的焦距的比。
21.根据权利要求20所述的处理器,其中,通过比较所述缩放的数字图像中的每一个来获得所述外部参数。
22.根据权利要求21所述的处理器,其中,所述外部参数包括对象的深度、传感器角度、相对距离中的一个或多个。
23.根据权利要求15所述的处理器,其中,所述多模态成像传感器校准和融合单元适于使用所述外部参数并利用从所述参考相机获得的图像成对地从每个数字成像传感器中进行获取。
24.根据权利要求15所述的处理器,其中,所述多模态成像传感器校准和融合单元适于分别利用变换矩阵{Ti}与{Tri}以成对的方式执行每个数字图像的图像矩阵{Ii}和所述参考图像的图像矩阵{Ir}的变换,其中,每对图像拥有一对变换矩阵{Ti}与{Tri},并且使得多对数字图像以共面的方式对准。
25.根据权利要求24所述的处理器,其中,利用变换矩阵{Tri -1Ti}对每个数字图像的图像矩阵{Ii}进行变换,使得所有变换后的图像在同一平面上被对准。
26.根据权利要求15所述的处理器,其中所述数字图像传感器远程连接到所述自校准单元。
27.根据权利要求26所述的处理器,其中所述数字图像传感器通过以太网连接而连接到所述自校准单元。
28.根据权利要求26所述的处理器,其中所述数字图像传感器通过Wi-Fi连接而连接到所述自校准单元。
29.根据权利要求15所述的处理器,其中所述自校准单元包括多个独立的校准模块,所述校准模块中的每一个与数字成像传感器集成。
30.根据权利要求15所述的处理器,其中,所述数字成像传感器包括RGB相机、红外辐射相机和深度相机中的一个。
31.一种计算机系统,包括:
一个或多个接口,用于从多个数字成像传感器接收数字图像;
处理单元,执行根据权利要求1所述的方法。
CN201880094945.0A 2018-06-29 2018-06-29 用于精确图像融合的多模态成像传感器校准方法 Active CN112655023B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/093677 WO2020000369A1 (en) 2018-06-29 2018-06-29 Multimodal imaging sensor calibration method for accurate image fusion

Publications (2)

Publication Number Publication Date
CN112655023A true CN112655023A (zh) 2021-04-13
CN112655023B CN112655023B (zh) 2024-09-06

Family

ID=68985463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094945.0A Active CN112655023B (zh) 2018-06-29 2018-06-29 用于精确图像融合的多模态成像传感器校准方法

Country Status (3)

Country Link
US (1) US11838490B2 (zh)
CN (1) CN112655023B (zh)
WO (1) WO2020000369A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置
CN112598716B (zh) * 2020-12-01 2024-04-05 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及系统
US12026914B2 (en) 2021-01-19 2024-07-02 Google Llc Cross spectral feature mapping for camera calibration
CN112797900B (zh) * 2021-04-07 2021-07-06 中科慧远视觉技术(北京)有限公司 多相机板材尺寸测量方法
US20230169630A1 (en) * 2021-12-01 2023-06-01 Ford Global Technologies, Llc Image compensation service
CN116611025B (zh) * 2023-05-19 2024-01-26 贵州师范大学 一种脉冲星候选信号的多模态特征融合方法
CN116437205B (zh) * 2023-06-02 2023-08-11 华中科技大学 一种多视点多焦距成像的景深拓展方法和系统
CN117115061B (zh) * 2023-09-11 2024-04-09 北京理工大学 一种多模态图像融合方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098194A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US20150062369A1 (en) * 2013-08-29 2015-03-05 Sick Ag Optoelectronic Apparatus and Method for Recording Rectified Images
CN107111864A (zh) * 2014-12-23 2017-08-29 华为技术有限公司 用于平滑视图切换和缩放的计算性多相机调整
US20170262971A1 (en) * 2016-03-10 2017-09-14 Sony Corporation System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375376B1 (en) * 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
US9582881B2 (en) 2015-03-18 2017-02-28 Intel Corporation Machine vision image sensor calibration
US10395389B2 (en) 2016-04-11 2019-08-27 Hewlett-Packard Development Company, L.P. Calibration based on intrinsic parameter selection and a projected calibration target
CN109478315B (zh) * 2016-07-21 2023-08-01 前视红外系统股份公司 融合图像优化系统和方法
US11555903B1 (en) * 2018-11-30 2023-01-17 Zoox, Inc. Sensor calibration using dense depth maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098194A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US20150062369A1 (en) * 2013-08-29 2015-03-05 Sick Ag Optoelectronic Apparatus and Method for Recording Rectified Images
CN107111864A (zh) * 2014-12-23 2017-08-29 华为技术有限公司 用于平滑视图切换和缩放的计算性多相机调整
US20170262971A1 (en) * 2016-03-10 2017-09-14 Sony Corporation System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object

Also Published As

Publication number Publication date
US20210274150A1 (en) 2021-09-02
US11838490B2 (en) 2023-12-05
CN112655023B (zh) 2024-09-06
WO2020000369A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN112655023B (zh) 用于精确图像融合的多模态成像传感器校准方法
US11546576B2 (en) Systems and methods for dynamic calibration of array cameras
US10542208B2 (en) Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9684963B2 (en) Systems and methods for dynamic registration of multimodal images
US10182216B2 (en) Extended color processing on pelican array cameras
US8619128B2 (en) Systems and methods for an imaging system using multiple image sensors
CN110660088A (zh) 一种图像处理的方法和设备
Teranaka et al. Single-sensor RGB and NIR image acquisition: toward optimal performance by taking account of CFA pattern, demosaicking, and color correction
Rabatel et al. Registration of visible and near infrared unmanned aerial vehicle images based on Fourier-Mellin transform
CN110322485A (zh) 一种异构多相机成像系统的快速图像配准方法
TW202013956A (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
WO2021163406A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
US20190014303A1 (en) Imaging system and method
CN113228104B (zh) 热图像和可见图像对的自动共配准
KR101578029B1 (ko) 영상 왜곡 보정 장치 및 방법
RU2684749C1 (ru) Способ совмещения цифровых изображений различных спектральных диапазонов
CN109658459B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
Jarron et al. Multi-camera panoramic imaging system calibration
US9992398B2 (en) Optical sighting
Zhang et al. On-orbit relative radiometric calibration of optical video satellites without uniform calibration sites
RU2764838C1 (ru) Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов
Ariff et al. A study of near-infrared (NIR) filter for surveillance application
KR20140117808A (ko) 감시카메라의 영상 왜곡 보정장치 및 왜곡 보정방법
Gustafsson et al. Spectral cube reconstruction for a high resolution hyperspectral camera based on a linear variable filter
Hu et al. A coaxial visible and infrared dual-band imager

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046213

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant