CN106254741A - 一种大视场高分辨率多亿像素遥感相机 - Google Patents

一种大视场高分辨率多亿像素遥感相机 Download PDF

Info

Publication number
CN106254741A
CN106254741A CN201610773148.8A CN201610773148A CN106254741A CN 106254741 A CN106254741 A CN 106254741A CN 201610773148 A CN201610773148 A CN 201610773148A CN 106254741 A CN106254741 A CN 106254741A
Authority
CN
China
Prior art keywords
subimage
support plate
position alignment
alignment error
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610773148.8A
Other languages
English (en)
Other versions
CN106254741B (zh
Inventor
贾惠柱
毛珩
文湘鄂
陈瑞
解晓东
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610773148.8A priority Critical patent/CN106254741B/zh
Publication of CN106254741A publication Critical patent/CN106254741A/zh
Application granted granted Critical
Publication of CN106254741B publication Critical patent/CN106254741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种大视场高分辨率多亿像素遥感相机及成像方法,大视场高分辨率多亿像素遥感相机包括:测距仪;四个成像光路组件,每一个成像光路组件包括:镜头;和成像模组,每一个成像模组对成像光路组件的物面中的一个子区域对应成像为一个子图像;上位机包括:离线装调和标定装置,其根据子图像离线标定各载板之间的位置对准误差以及离线校正各载板之间的位置对准误差;在线装调和标定装置,其在当前的成像工作距离下根据子图像在线标定各载板之间的位置对准误差以及在线校正各载板之间的位置对准误差;图像后处理装置,其用于后处理各子图像,以及将后处理好的各相邻的子图像重叠,以拼接成视场全覆盖的像方图像。本发明既能够用于开展低空遥感成像及实时监视,也能够实现对大视场地面场景进行高分辨率实时成像。

Description

一种大视场高分辨率多亿像素遥感相机
技术领域
本发明涉及光学成像技术领域,特别是涉及一种大视场高分辨率多亿像素遥感相机及成像方法。
背景技术
在遥感成像中,视场大小(或视场角)和地面空间分辨率这两个重要指标一直是相互制约的。2010年,美国卡内基梅隆大学团队设计开发了GigaPan全景拍摄系统,经过小视场相机扫描成像和后续拼接,获取到十亿像素图像,由于其通过扫描成像,无法满足实时监控的需求;2012年,美国杜克大学研制出多尺度十亿像素相机AWARE-2,它能够完成大视场和多亿像素的实时成像,但受限于系统复杂度高稳定性差不能用于机载遥感成像。目前,国外的航拍系统大多能够达到高分辨率成像(GRD~0.5m),但鲜有能兼顾大视场的成像系统,而国内尚无成熟可用的大视场、高分辨率遥感成像系统。
在关键元器件上,国内外尚不存在单片光敏探测器能够达到30Hz@1亿像素的能力,因此必须采用多片光敏探测器拼接的方法来实现亿像素实时成像。
因此,希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。
发明内容
本发明的目的在于提供一种大视场高分辨率多亿像素遥感相机及成像方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的,本发明提供一种大视场高分辨率多亿像素遥感相机,所述大视场高分辨率多亿像素遥感相机包括:测距仪;四个成像光路组件,每一个所述成像光路组件包括:镜头;和成像模组,其以阵列的形式通过载板置于所述镜头的探测面上;每一个所述成像模组对所述成像光路组件的物面中的一个子区域对应成像为一个子图像;上位机,其连接所述成像模组和测距仪,且包括:离线装调和标定装置,其用于接收各所述子图像,并根据所述子图像离线标定各所述载板之间的位置对准误差以及离线校正各所述载板之间的位置对准误差;在线装调和标定装置,其用于接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板之间的位置对准误差以及在线校正各所述载板之间的位置对准误差;和图像后处理装置,其用于在各所述载板之间的位置对准误差达标后接收各所述子图像,并后处理各所述子图像,以及将后处理好的各相邻的所述子图像重叠,以拼接成视场全覆盖的像方图像。
进一步地,所述离线装调和标定装置包括:离线标定单元,其用于接收各所述子图像,并根据所述子图像离线标定各所述载板之间的位置对准误差,并输出;第一校正单元,其用于接收所述离线标定单元标定的各所述载板之间的位置对准误差,并基于所述位置对准误差对各所述载板进行离线位置调整;以及第一判断单元,其用于接收所述离线标定单元标定的各所述载板之间的位置对准误差,并判断调整后的各所述载板之间的位置对准误差是否达标,在判定为未达标的情形下向所述第一校正单元发出调整指令。
进一步地,所述在线装调和标定装置包括:在线标定单元,其用于接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板之间的位置对准误差,并输出;第二校正单元,其用于接收所述在线标定单元标定的各所述载板之间的位置对准误差,并基于所述位置对准误差中的平移误差对各所述载板进行在线平移误差自动调整;以及第二判断单元,其用于接收所述在线标定单元标定的各所述载板之间的位置对准误差,并判断调整后的各所述载板之间的平移误差是否达标,在判定为未达标的情形下向所述第二校正单元发出调整指令。
进一步地,所述离线标定单元还用于标定各所述成像模组的渐晕分布;所述图像后处理装置包括:渐晕校正单元,其用于接收所述离线标定单元标定好的渐晕分布以及在所述第二判断单元判定为达标的情形下接收所述子图像,并依据标定好的渐晕分布对各所述子图像进行渐晕校正;几何校正单元,其用于接收所述离线标定单元和在线标定单元标定的位置对准误差中的缩放误差和旋转误差以及经由所述渐晕校正单元渐晕校正后的各所述子图像,并依据该标定的缩放误差和旋转误差对渐晕校正后的各所述子图像进行缩放校正;配准单元,其用于接收所述几何校正单元缩放和旋转校正后的各所述子图像,并依据各所述子图像之间的边缘重叠关系,利用图像配准算法获得各所述子图像之间具有亚像素级匹配精度的第二平移位置对准误差;以及拼接单元,其用于接收所述配准单元获得的第二平移位置对准误差以及所述几何校正单元缩放和旋转校正后的各所述子图像,并将各所述子图像之间的平移位置对准误差按照四舍五入近似为整数像素单位从而据此实施对各所述子图像的区域裁切以及重叠区域的图像融合,以形成所述视场全覆盖的像方图像。
进一步地,所述大视场高分辨率多亿像素遥感相机还包括:FPGA数字处理装置,每一所述FPGA数字处理装置设置在一所述载板以及连接对应所述载板上的各所述成像模组,对各所述子图像进行并行采集并输出;所述上位机还包括:时钟源,其连接各所述载板上的所述FPGA数字处理装置,以通过各所述FPGA数字处理装置逻辑触发各所述成像模组在同一时刻曝光以及控制各所述FPGA数字处理装置将采集的各所述子图像在同一时刻转发给所述离线装调和标定装置、在线装调和标定装置和图像后处理装置。
本发明还提供一种大视场高分辨率多亿像素遥感成像方法,所述大视场高分辨率多亿像素遥感成像方法包括:步骤1),设置相机:设置四个成像光路组件,每一个所述成像光路组件包括镜头和成像模组,所述成像模组以阵列的形式通过载板置于所述镜头的探测面上;每一个所述成像模组对所述成像光路组件的物面中的一个子区域对应成像一个子图像;将所述成像模组和测距仪连接上位机;步骤2),离线装调和标定:接收各所述子图像,并根据所述子图像离线标定各所述载板之间的位置对准误差以及离线校正各所述载板之间的位置对准误差;步骤3),在线装调和标定:接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板之间的位置对准误差以及在线校正各所述载板之间的位置对准误差;以及步骤4),图像后处理:在各所述载板之间的位置对准误差达标后接收各所述子图像,并后处理各所述子图像,以及将后处理好的各相邻的所述子图像重叠,以拼接成视场全覆盖的像方图像。
进一步地,所述步骤2)具体包括:步骤21),接收各所述子图像,并根据所述子图像离线标定各所述载板之间的位置对准误差,并输出;步骤22),接收所述步骤21)标定的各所述载板之间的位置对准误差,并基于所述位置对准误差中的平移误差对各所述载板进行离线位置调整;以及步骤23),接收所述步骤21)标定的各所述载板之间的位置对准误差,并判断调整后的各所述载板之间的平移误差是否达标,在判定为未达标的情形下返回所述步骤21)。
进一步地,所述步骤3)具体包括:步骤31),接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板之间的位置对准误差,并输出;步骤32),接收所述步骤31)标定的各所述载板之间的位置对准误差,并基于所述位置对准误差中的平移误差对各所述载板进行在线平移误差自动调整;以及步骤33),接收所述步骤31)标定的各所述载板之间的位置对准误差,并判断调整后的各所述载板之间的平移误差是否达标,在判定为未达标的情形下返回所述步骤31)。
进一步地,所述步骤2)具体还包括:步骤24),标定各所述成像模组的渐晕分布;所述步骤4)具体还包括:步骤41),接收所述步骤24)标定好的渐晕分布以及在所述步骤33)判定为达标的情形下接收所述子图像,并依据标定好的渐晕分布对各所述子图像进行渐晕校正;步骤42),接收所述步骤21)和步骤31)标定的位置对准误差中的缩放误差和旋转误差以及经由所述步骤41)渐晕校正后的各所述子图像,并依据该标定的缩放误差和旋转误差对渐晕校正后的各所述子图像进行缩放校正;步骤43),接收所述步骤42)缩放和旋转校正后的各所述子图像,并依据各所述子图像之间的边缘重叠关系,利用图像配准算法获得各所述子图像之间具有亚像素级匹配精度的第二平移位置对准误差;以及步骤44),接收所述步骤43)获得的第二平移位置对准误差以及所述步骤42)缩放和旋转校正后的各所述子图像,并将各所述子图像之间的平移位置对准误差按照四舍五入近似为整数像素单位从而据此实施对各所述子图像的区域裁切以及重叠区域的图像融合,以形成所述视场全覆盖的像方图像。
本发明既能够用于开展低空(10km以下)遥感成像及实时监视,也能够实现对大视场(广域)地面场景进行高分辨率实时成像。
附图说明
图1是根据本发明一优选实施例的大视场高分辨率多亿像素遥感相机的原理性结构示意图。
图2是图1中的一个成像光路组件的信号连接关系示意图。
图3a是本发明中四个成像光路组件的排布示意图,图中示意出了镜头和成像模组排成的阵列。
图3b是本发明中来自四个成像光路组件获取的所有子图像区域的拼接示意图。
图4是本发明中两个成像光路组件的成像原理示意图。
图5是本发明中由于成像工作距离的改变而造成各载板之间平移位置变化的示意图,用以说明平移误差是依赖于成像工作距离变化的。
图6是图1中的离线装调和标定装置的原理性结构示意图。
图7是图1中的在线装调和标定装置的原理性结构示意图。
图8是图1中的图像后处理装置的原理性结构示意图。
图9是根据本发明一优选实施例的大视场高分辨率多亿像素遥感成像方法的流程示意图。
图10是图9中的图像采集和图像后处理的流程示意图。
具体实施方式
在附图中,使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
在本发明的描述中,术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。
如图1、图2、图3a和图3b所示,本实施例所提供的大视场高分辨率多亿像素遥感相机包括测距仪1、四个成像光路组件2和上位机3,其中:
测距仪1可以采用现有技术中的激光测距仪实现,用于测量成像工作距离,通常可视为地面场景到镜头前端面的距离。
每一个成像光路组件2包括一个镜头21和多个成像模组22。四个成像光路组件2的排布如图3a和图3b所示,四个成像光路组件2的参数性能相同,四个成像光路组件2呈2×2排布,四条光轴同向,并且相互基本平行。需要说明的是,此处的“基本”可以理解为并不要求严格平行,其原因在于在实际装调过程中会存在误差。
图3a示出的实线圆圈代表每个镜头,图中示意出了四个镜头21,分别镜头I、镜头II、镜头III和镜头IV。图3a示出的虚线圆圈代表每个镜头21的探测面,在每个成像光路组件2的探测面设有载板23,每一载板233上以阵列的形式排布多个成像模组22,比如手机成像模组,手机成像模组具有成本低,使用方便的优势。当然,也不排除使用工业级成像器件等高精度光敏探测器。测距仪1安装在安装镜头21的基座面板上。
每一个成像模组22对成像光路组件22的物面中的一个子区域对应成像一个子图像。如图4所示,以两个镜头21为例对此进行说明:
待成像的物面被分割成1至2n(n为自然数)个子区域,第一个镜头21的像面分别为像面1、像面3……像面2n-1,第二个镜头21的像面分别为像面2、像面3……像面2n,其中:像面1对应是物面1的子图像,像面2对应是物面2的子图像,依此类推,像面2n-1是物面2n-1的子图像,像面2n是物面2n的子图像。
如图3b所示,上述成像模组22组成的阵列排布的行向、列向间隔需最终使得探测面实现大视场无缝拼接,即各相邻子图像的边缘重叠,由此实施图像配准拼接。
如图1和图2所示,上位机3连接成像光路组件2和测距仪1,用于接收成像光路组件2中各成像模组22探测到的子图像以及测距仪1测得的成像工作距离。成像光路组件2中各成像模组22将探测到的子图像通过模组连接线输送给模组连接子板,再通过FPGA数字处理装置输送给上位机3。
如图1所示,上位机3具体包括:
离线装调和标定装置31,离线装调和标定装置31用于接收各所述子图像,并根据所述子图像离线标定各载板23之间的位置对准误差以及离线校正各载板23之间的位置对准误差。
在线装调和标定装置32,在线装调和标定装置32用于接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各载板23之间的位置对准误差以及在线校正各载板23之间的位置对准误差。
需要说明的是,由以上光学器件的布置来看,载板23的法线与其对应的镜头21的光轴平行,载板23所在的平面为垂直于光轴的垂轴面。以光轴为Z轴,在载板23所在的平面内设置X轴和Y轴,建立三维坐标系。
各载板23之间的位置对准误差包括平移误差、缩放误差、旋转误差和倾斜误差。其中:平移误差由各成像光路组件2的光轴不重合引入的依赖于成像工作距离的各载板23之间的像面平移误差,即如图5中示出地,在正常工况下,当工作距离发生变化时,由于四个成像光路组件2的光轴并不重合,实线的物面从外向内沿光轴Z平移至虚线的物面,像面则由实线向外侧在垂轴面内产生平移。校正平移误差的方法是沿X轴和/或Y轴直线移动各载板23,使平移误差控制在预设范围。
缩放误差由各载板23与其对应的镜头21后端面之间的间距不一致所引起,校正缩放误差的方法是沿Z轴移动各载板23,使缩放误差控制在预设范围。
旋转误差由载板23在垂轴面内的旋转引起,校正旋转误差的方法是围绕Z轴旋转载板23,使旋转误差控制在预设范围。
倾斜误差由载板23绕X轴和/或Y轴的旋转引起,校正倾斜误差的方法是围绕X轴和/或Y轴旋转载板23。
图像后处理装置33用于在各载板23之间的位置对准误差达标后接收各所述子图像,并后处理各所述子图像,以及将后处理好的各相邻的所述子图像重叠,以拼接成视场全覆盖的像方图像。
本实施例使用外光路拼接的方法,具体通过复制四套独立且参数性能相同的成像光路组件2,并在四个成像光路组件2的探测面放置相互交错的由成像模组22组成的光敏探测器阵列,从而实现对大视场的全覆盖成像,这样可以使得成像视场不受限,信噪比高。
在一个实施例中,如图6所示,离线装调和标定装置31包括离线标定单元311、第一校正单元312和第一判断单元313,其中:
离线标定单元311连接各成像模组22,用于接收各所述子图像,并根据所述子图像离线标定各载板23之间的位置对准误差,并输出各载板23之间的位置对准误差。该标定方法可以采用现有的标定方法实现。
第一校正单元312连接离线标定单元311,用于接收离线标定单元311标定的各载板23之间的位置对准误差,并基于该各载板23之间的位置对准误差对各载板23进行离线位置调整。比如设置在载板23上的手动调整装置,其设于载板23的下方,并基于标定的各载板23之间的位置对准误差使用四个独立的千分尺位置调整装置分别驱动各载板23做旋转、沿轴向平移以及垂轴面内二轴倾斜运动,便可以完成相应的位置调整。
第一判断单元313的输入端连接离线标定单元311,第一判断单元313的输出端连接第一校正单元312,用于接收离线标定单元311标定的各载板23之间的位置对准误差,并判断调整后的各载板23之间的位置对准误差是否达标,在判定为未达标的情形下向第一校正单元312发出调整指令。此处的“达标”可视为各载板23之间的位置对准误差的残余量小至无法进一步实施校正调整。
本实施例相当于相机的初始化,根据标定好的各载板23之间的位置对准误差,通过第一校正单元312进行离线位置调整,上述各载板23之间的位置对准误差的估计和校正以迭代方式进行,直至残余量小至无法实施校正,并将各载板23之间的位置对准误差的残余量进行保存,以供图像后处理装置33进行残余量校正。
在一个实施例中,如图7所示,由于各成像光路组件2的光轴不重合引入的依赖于成像工作距离的各载板23之间的像面平移误差。其中,由于工作距离不同造成变化的位置对准误差需要根据实际工作距离进行实时校正。在线装调和标定装置32包括在线标定单元321、第二校正单元322和第二判断单元323,其中:
在线标定单元321连接成像光路组件2和测距仪1,用于接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各载板23之间的位置对准误差,并输出。该标定方法可以采用现有的标定方法实现。
第二校正单元322连接在线标定单元321,用于接收在线标定单元321标定的各载板23之间的位置对准误差,并基于所述位置对准误差中的平移误差对各载板23进行在线平移误差自动调整。
优选地,第二校正单元322包括二轴电动平移台,二轴电动平移台与载板23驱动连接,并基于所述位置对准误差中的平移误差实现对载板23在垂轴面内的二轴平移运动,以在线平移误差自动调整。
第二判断单元323的输入端连接在线标定单元321,第二判断单元323的输出端连接第二校正单元322,用于接收在线标定单元321标定的各载板23之间的位置对准误差,并判断调整后的各载板23之间的平移误差是否达标,在判定为未达标的情形下向第二校正单元322发出调整指令。比如:第二判断单元323连接二轴电动平移台的电控端,以控制各载板23在垂轴面内的二轴平移运动,以在线平移误差自动调整。
本实施例相当于相机初进入工作状态(实时成像前),在线装调和标定装置32的工作时,使用测距仪1获知准确的遥感成像工作距离,由此在线标定单元321便可以根据工作距离计算出4个载板23各自的平移误差的理想变化量,并驱动第二校正单元322对4个载板23分别进行自动平移补偿。当检测到工作距离发生变化时,在线装调和标定装置32将会自动重复上述标定和校正流程。
也就是说,上述仅进行各载板23之间的位置对准误差中平移误差的在线校正。那么,由在线标定单元321标定的缩放误差、旋转误差和倾斜误差将进行保存,以供图像后处理装置33进行残余量校正。
如图1、图2、图9和图10所示,在一个实施例中,所述大视场高分辨率多亿像素遥感相机还包括多个FPGA数字处理装置4,FPGA数字处理装置4采用的是FPGA板卡,每一FPGA数字处理装置4设置在一载板23以及连接对应载板23上的各成像模组22,对各所述子图像进行并行采集并输出。通过多个FPGA数字处理装置4对各成像模组的数据进行并行采集,能够提高数据传输效率,达到实时传送的目的。
上位机3还包括时钟源34,时钟源34连接各载板23上的所述FPGA数字处理装置4,以通过各FPGA数字处理装置4逻辑触发各成像模组22在同一时刻曝光以及控制各FPGA数字处理装置4将采集的各所述子图像在同一时刻转发给所述离线装调和标定装置31、在线装调和标定装置32和图像后处理装置33。
当各成像模组22曝光完成后,所有子图像将会输出到FPGA数字处理装置4,由FPGA数字处理装置4经过PCIe总线转送到上位机3。上位机3收到子图像数据后,做图像后处理。
在一个实施例中,由于成像模组22上感光芯片各像素上附加微透镜的主光线角(CRA)影响以及光学镜头孔径光阑对像面上轴外视场收光受限的影响导致各芯片存在渐晕分布,离线标定单元311还用于标定各成像模组22的渐晕分布。
各载板23之间也存在上述提及的位置对准误差,这些偏差或误差会导致相邻的子图像之间的重叠区域变小,甚至出现未覆盖区域。各载板23之间的位置对准误差通过离线装调和标定装置31和在线装调和标定装置32做了部分校正,那么,位置对准误差的残余量由图像后处理装置33消除。此外,由于装配工艺的限制,同一载板上的各个成像模组之间会存在微小的转角偏差,这个偏差也需要由图像后处理装置33消除。
如图8所示,为了解决上述问题,图像后处理装置33采用GPGPU(General PurposeGraphics Processing Unit,通用计算图形处理器),通过GPGPU的加速技术,能够对各个成像模组传回的大量视频数据进行并行采集和处理,达到在轨处理的目的。
图像后处理装置33具体包括渐晕校正单元331、几何校正单元332、配准单元333和拼接单元334,其中:
渐晕校正单元331用于接收离线标定单元311标定好的渐晕分布以及在第二判断单元323判定为达标的情形下接收所述子图像,并依据标定好的渐晕分布对各所述子图像进行渐晕校正。
几何校正单元332用于接收离线标定单元311和在线标定单元321标定的位置对准误差中的缩放误差和旋转误差以及经由渐晕校正单元331渐晕校正后的各所述子图像,并依据该标定的缩放误差和旋转误差对渐晕校正后的各所述子图像进行缩放校正。
配准单元333用于接收几何校正单元332缩放和旋转校正后的各所述子图像,并依据各所述子图像之间的边缘重叠关系,利用图像配准算法获得各所述子图像之间具有亚像素级匹配精度的第二平移位置对准误差。
拼接单元334用于接收配准单元333获得的第二平移位置对准误差以及几何校正单元332缩放和旋转校正后的各所述子图像,并将各所述子图像之间的平移位置对准误差按照四舍五入近似为整数像素单位从而据此实施对各所述子图像的区域裁切以及重叠区域的图像融合,以形成所述视场全覆盖的像方图像。
在一个实施例中,上位机3还可以用户自定义处理,比如:多个特征目标的识别与同步追踪、多ROI区域多尺度的存储与显示、数据压缩及对地传输等等。上位机3还包括显示卡,以显示对拼接出所述视场全覆盖的像方图像。上位机3还可以包括存储器,以存储拼接出所述视场全覆盖的像方图像。
如图9所示,本发明还提供一种大视场高分辨率多亿像素遥感成像方法,该方法包括:
步骤1),设置相机:设置四个成像光路组件2,每一个成像光路组件2包括镜头21和成像模组22,成像模组22以阵列的形式通过载板23置于镜头21的探测面上。每一个成像模组22对成像光路组件22的物面中的一个子区域对应成像一个子图像。将成像模组22和测距仪1连接上位机3。
步骤2),离线装调和标定:接收各所述子图像,并根据所述子图像离线标定各载板23之间的位置对准误差以及离线校正各载板23之间的位置对准误差。
步骤3),在线装调和标定:接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板23之间的位置对准误差以及在线校正各所述载板23之间的位置对准误差;以及
步骤4),图像后处理:在各所述载板23之间的位置对准误差达标后接收各所述子图像,并后处理各所述子图像,以及将后处理好的各相邻的所述子图像重叠,以拼接成视场全覆盖的像方图像。
进一步地,所述步骤2)具体包括:
步骤21),接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各载板23之间的位置对准误差,并输出。
步骤22),接收所述步骤21)标定的各载板23之间的位置对准误差,并基于所述位置对准误差中的平移误差对各载板23进行在线平移误差自动调整。以及
步骤23),接收所述步骤21)标定的各载板23之间的位置对准误差,并判断调整后的各载板23之间的平移误差是否达标,在判定为未达标的情形下返回所述步骤22)。
进一步地,所述步骤3)具体包括:
步骤31),接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各载板23之间的位置对准误差,并输出。
步骤32),接收所述步骤31)标定的各载板23之间的位置对准误差,并基于所述位置对准误差中的平移误差对各载板23进行在线平移误差自动调整。以及
步骤33),接收所述步骤31)标定的各载板23之间的位置对准误差,并判断调整后的各载板23之间的平移误差是否达标,在判定为未达标的情形下返回所述步骤32)。
进一步地,所述步骤2)具体还包括:
步骤24),标定各所述成像模组22的渐晕分布;
所述步骤4)具体还包括:
步骤41),接收所述步骤24)标定好的渐晕分布以及在所述步骤33)判定为达标的情形下接收所述子图像,并依据标定好的渐晕分布对各所述子图像进行渐晕校正。
步骤42),接收所述步骤21)标定的位置对准误差中的缩放误差和旋转误差以及经由所述步骤41)渐晕校正后的各所述子图像,并依据该标定的缩放误差和旋转误差对渐晕校正后的各所述子图像进行缩放校正。
步骤43),接收所述步骤42)缩放和旋转校正后的各所述子图像,并依据各所述子图像之间的边缘重叠关系,利用图像配准算法获得各所述子图像之间具有亚像素级匹配精度的第二平移位置对准误差。以及
步骤44),接收所述步骤43)获得的第二平移位置对准误差以及所述步骤42)缩放和旋转校正后的各所述子图像,并将各所述子图像之间的平移位置对准误差按照四舍五入近似为整数像素单位从而据此实施对各所述子图像的区域裁切以及重叠区域的图像融合,以形成所述视场全覆盖的像方图像。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种大视场高分辨率多亿像素遥感相机,其特征在于,包括:
测距仪(1);
四个成像光路组件(2),每一个所述成像光路组件(2)包括:
镜头(21);和
成像模组(22),其以阵列的形式通过载板(23)置于所述镜头(21)的探测面上;每一个所述成像模组(22)对所述成像光路组件(22)的物面中的一个子区域对应成像为一个子图像;
上位机(3),其连接所述成像模组(22)和测距仪(1),且包括:
离线装调和标定装置(31),其用于接收各所述子图像,并根据所述子图像离线标定各所述载板(23)之间的位置对准误差以及离线校正各所述载板(23)之间的位置对准误差;
在线装调和标定装置(32),其用于接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板(23)之间的位置对准误差以及在线校正各所述载板(23)之间的位置对准误差;和图像后处理装置(33),其用于在各所述载板(23)之间的位置对准误差达标后接收各所述子图像,并后处理各所述子图像,以及将后处理好的各相邻的所述子图像重叠,以拼接成视场全覆盖的像方图像。
2.如权利要求1所述的大视场高分辨率多亿像素遥感相机,其特征在于,所述离线装调和标定装置(31)包括:
离线标定单元(311),其用于接收各所述子图像,并根据所述子图像离线标定各所述载板(23)之间的位置对准误差,并输出;
第一校正单元(312),其用于接收所述离线标定单元(311)标定的各所述载板(23)之间的位置对准误差,并基于所述位置对准误差对各所述载板(23)进行离线位置调整;以及
第一判断单元(313),其用于接收所述离线标定单元(311)标定的各所述载板(23)之间的位置对准误差,并判断调整后的各所述载板(23)之间的位置对准误差是否达标,在判定为未达标的情形下向所述第一校正单元(312)发出调整指令。
3.如权利要求2所述的大视场高分辨率多亿像素遥感相机,其特征在于,所述在线装调和标定装置(32)包括:
在线标定单元(321),其用于接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板(23)之间的位置对准误差,并输出;
第二校正单元(322),其用于接收所述在线标定单元(321)标定的各所述载板(23)之间的位置对准误差,并基于所述位置对准误差中的平移误差对各所述载板(23)进行在线平移误差自动调整;以及
第二判断单元(323),其用于接收所述在线标定单元(321)标定的各所述载板(23)之间的位置对准误差,并判断调整后的各所述载板(23)之间的平移误差是否达标,在判定为未达标的情形下向所述第二校正单元(322)发出调整指令。
4.如权利要求3所述的大视场高分辨率多亿像素遥感相机,其特征在于,所述离线标定单元(311)还用于标定各所述成像模组(22)的渐晕分布;
所述图像后处理装置(33)包括:
渐晕校正单元(331),其用于接收所述离线标定单元(311)标定好的渐晕分布以及在所述第二判断单元(323)判定为达标的情形下接收所述子图像,并依据标定好的渐晕分布对各所述子图像进行渐晕校正;
几何校正单元(332),其用于接收所述离线标定单元(311)和在线标定单元(321)标定的位置对准误差中的缩放误差和旋转误差以及经由所述渐晕校正单元(331)渐晕校正后的各所述子图像,并依据该标定的缩放误差和旋转误差对渐晕校正后的各所述子图像进行缩放校正;
配准单元(333),其用于接收所述几何校正单元(332)缩放和旋转校正后的各所述子图像,并依据各所述子图像之间的边缘重叠关系,利用图像配准算法获得各所述子图像之间具有亚像素级匹配精度的第二平移位置对准误差;以及
拼接单元(334),其用于接收所述配准单元(333)获得的第二平移位置对准误差以及所述几何校正单元(332)缩放和旋转校正后的各所述子图像,并将各所述子图像之间的平移位置对准误差按照四舍五入近似为整数像素单位从而据此实施对各所述子图像的区域裁切以及重叠区域的图像融合,以形成所述视场全覆盖的像方图像。
5.如权利要求1至4中任一项所述的大视场高分辨率多亿像素遥感相机,其特征在于,还包括:
FPGA数字处理装置(4),每一所述FPGA数字处理装置(4)设置在一所述载板(23)以及连接对应所述载板(23)上的各所述成像模组(22),对各所述子图像进行并行采集并输出;
所述上位机(3)还包括:
时钟源(34),其连接各所述载板(23)上的所述FPGA数字处理装置(4),以通过各所述FPGA数字处理装置(4)逻辑触发各所述成像模组(22)在同一时刻曝光以及控制各所述FPGA数字处理装置(4)将采集的各所述子图像在同一时刻转发给所述离线装调和标定装置(31)、在线装调和标定装置(32)和图像后处理装置(33)。
6.一种大视场高分辨率多亿像素遥感成像方法,其特征在于,包括:
步骤1),设置相机:设置四个成像光路组件(2),每一个所述成像光路组件(2)包括镜头(21)和成像模组(22),所述成像模组(22)以阵列的形式通过载板(23)置于所述镜头(21)的探测面上;每一个所述成像模组(22)对所述成像光路组件(22)的物面中的一个子区域对应成像一个子图像;将所述成像模组(22)和测距仪(1)连接上位机(3);
步骤2),离线装调和标定:接收各所述子图像,并根据所述子图像离线标定各所述载板(23)之间的位置对准误差以及离线校正各所述载板(23)之间的位置对准误差;
步骤3),在线装调和标定:接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板(23)之间的位置对准误差以及在线校正各所述载板(23)之间的位置对准误差;以及
步骤4),图像后处理:在各所述载板(23)之间的位置对准误差达标后接收各所述子图像,并后处理各所述子图像,以及将后处理好的各相邻的所述子图像重叠,以拼接成视场全覆盖的像方图像。
7.如权利要求6所述的大视场高分辨率多亿像素遥感成像方法,其特征在于,所述步骤2)具体包括:
步骤21),接收各所述子图像,并根据所述子图像离线标定各所述载板(23)之间的位置对准误差,并输出;
步骤22),接收所述步骤21)标定的各所述载板(23)之间的位置对准误差,并基于所述位置对准误差中的平移误差对各所述载板(23)进行离线位置调整;以及
步骤23),接收所述步骤21)标定的各所述载板(23)之间的位置对准误差,并判断调整后的各所述载板(23)之间的平移误差是否达标,在判定为未达标的情形下返回所述步骤21)。
8.如权利要求7所述的大视场高分辨率多亿像素遥感成像方法,其特征在于,所述步骤3)具体包括:
步骤31),接收各所述子图像和成像工作距离信息,并在当前的所述成像工作距离下根据所述子图像在线标定各所述载板(23)之间的位置对准误差,并输出;
步骤32),接收所述步骤31)标定的各所述载板(23)之间的位置对准误差,并基于所述位置对准误差中的平移误差对各所述载板(23)进行在线平移误差自动调整;以及
步骤33),接收所述步骤31)标定的各所述载板(23)之间的位置对准误差,并判断调整后的各所述载板(23)之间的平移误差是否达标,在判定为未达标的情形下返回所述步骤31)。
9.如权利要求8所述的大视场高分辨率多亿像素遥感成像方法,其特征在于,所述步骤2)具体还包括:
步骤24),标定各所述成像模组(22)的渐晕分布;
所述步骤4)具体还包括:
步骤41),接收所述步骤24)标定好的渐晕分布以及在所述步骤33)判定为达标的情形下接收所述子图像,并依据标定好的渐晕分布对各所述子图像进行渐晕校正;
步骤42),接收所述步骤21)和步骤31)标定的位置对准误差中的缩放误差和旋转误差以及经由所述步骤41)渐晕校正后的各所述子图像,并依据该标定的缩放误差和旋转误差对渐晕校正后的各所述子图像进行缩放校正;
步骤43),接收所述步骤42)缩放和旋转校正后的各所述子图像,并依据各所述子图像之间的边缘重叠关系,利用图像配准算法获得各所述子图像之间具有亚像素级匹配精度的第二平移位置对准误差;以及
步骤44),接收所述步骤43)获得的第二平移位置对准误差以及所述步骤42)缩放和旋转校正后的各所述子图像,并将各所述子图像之间的平移位置对准误差按照四舍五入近似为整数像素单位从而据此实施对各所述子图像的区域裁切以及重叠区域的图像融合,以形成所述视场全覆盖的像方图像。
CN201610773148.8A 2016-08-30 2016-08-30 一种大视场高分辨率多亿像素遥感相机 Active CN106254741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610773148.8A CN106254741B (zh) 2016-08-30 2016-08-30 一种大视场高分辨率多亿像素遥感相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610773148.8A CN106254741B (zh) 2016-08-30 2016-08-30 一种大视场高分辨率多亿像素遥感相机

Publications (2)

Publication Number Publication Date
CN106254741A true CN106254741A (zh) 2016-12-21
CN106254741B CN106254741B (zh) 2019-04-05

Family

ID=58080640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610773148.8A Active CN106254741B (zh) 2016-08-30 2016-08-30 一种大视场高分辨率多亿像素遥感相机

Country Status (1)

Country Link
CN (1) CN106254741B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110824454A (zh) * 2018-08-08 2020-02-21 宁波舜宇车载光学技术有限公司 镜头系统及其构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110282578A1 (en) * 2008-12-09 2011-11-17 Tomtom Polska Sp Z.O.O. Method of generating a Geodetic Reference Database Product
CN103281484A (zh) * 2013-06-17 2013-09-04 清华大学 十亿像素视频采集装置
CN105282492A (zh) * 2014-07-08 2016-01-27 山东省科学院海洋仪器仪表研究所 临近空间机载对地实时成像系统
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110282578A1 (en) * 2008-12-09 2011-11-17 Tomtom Polska Sp Z.O.O. Method of generating a Geodetic Reference Database Product
CN103281484A (zh) * 2013-06-17 2013-09-04 清华大学 十亿像素视频采集装置
CN105282492A (zh) * 2014-07-08 2016-01-27 山东省科学院海洋仪器仪表研究所 临近空间机载对地实时成像系统
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110824454A (zh) * 2018-08-08 2020-02-21 宁波舜宇车载光学技术有限公司 镜头系统及其构建方法
CN110824454B (zh) * 2018-08-08 2023-11-03 宁波舜宇车载光学技术有限公司 镜头系统及其构建方法

Also Published As

Publication number Publication date
CN106254741B (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
EP2791868B1 (en) System and method for processing multi-camera array images
JP4307934B2 (ja) 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
CN101101209B (zh) 测量装置
CN105352481A (zh) 高精度无人机影像无控制点测绘成图方法及系统
US20110234750A1 (en) Capturing Two or More Images to Form a Panoramic Image
KR101218220B1 (ko) 항공촬영 이미지와 수치정보를 합성 처리하는 영상도화 시스템
CN106123798A (zh) 一种数字摄影激光扫描装置
CN110022444A (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
CN101900552B (zh) 经纬摄像机摄像测量方法
JP2016042194A (ja) 撮像装置
CN103278180A (zh) 基于全站仪的视场内无控制点摄像测量系统标定方法
CN107770437A (zh) 无人机摄影摄像系统及其位移补偿机构
CN102098442B (zh) 变焦距摄像机光轴和视轴不重合度校准方法及其系统
CN109724540A (zh) 二维mems扫描反射镜转角标定系统及标定方法
CN107014293A (zh) 一种相机扫描成像的摄影测量方法
JP2012049999A (ja) 撮像装置および姿勢調整プログラム
US20080123903A1 (en) Surveying apparatus
CN108955642B (zh) 一种大幅面等效中心投影影像无缝拼接方法
Zhou et al. Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera
CN102082905B (zh) 一种检测摄像机光轴位置的方法
CN106254741B (zh) 一种大视场高分辨率多亿像素遥感相机
KR102108450B1 (ko) 항공촬영 영상의 지형대비 기준점 합성형 공간영상도화 시스템
JP2008076405A (ja) 3次元測量装置及び電子的記憶媒体
JP6799635B2 (ja) 空撮画像位置特定システムおよび空撮画像位置特定方法。
CN107505722A (zh) 一种多自由度视场合成装调方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant