CN111479040A - 天基复眼相机及其成像方法 - Google Patents

天基复眼相机及其成像方法 Download PDF

Info

Publication number
CN111479040A
CN111479040A CN202010206004.0A CN202010206004A CN111479040A CN 111479040 A CN111479040 A CN 111479040A CN 202010206004 A CN202010206004 A CN 202010206004A CN 111479040 A CN111479040 A CN 111479040A
Authority
CN
China
Prior art keywords
camera
aperture
image
space
compound eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010206004.0A
Other languages
English (en)
Inventor
陈小前
郭鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202010206004.0A priority Critical patent/CN111479040A/zh
Publication of CN111479040A publication Critical patent/CN111479040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种天基复眼相机及其成像方法，该天基复眼相机包括：一个或多个短焦孔径相机和多个长焦孔径相机；所述一个或多个短焦孔径相机设置在安装面的中部，所述多个长焦孔径相机沿周向间隔均匀分布在所述短焦孔径相机的周围；所述长焦孔径相机，用于获取重叠区域存在亚像素偏移的图像；所述短焦孔径相机，用于获取宽视场图像。本发明的天基复眼相机及其成像方法，通过采用多焦距分立孔径设计，可以兼顾大视场和高分辨率成像能力，实现中心向边缘分辨率逐渐降低的仿视网膜成像，具备高功能密度，适合面目标成像与点目标探测等多种应用。

Description

天基复眼相机及其成像方法
技术领域
本发明涉及航天光学遥感技术领域，尤其涉及一种天基复眼相机。
背景技术
由于微小卫星可搭载有效载荷的重量与体积有限，天基成像对光学载荷的体积与重量，功能与性能提出了更高的要求。研究人员受昆虫复眼启发，通过特定几何构型排列多个镜头，实现小型化、轻量化的复眼相机。或者，借助不同类型镜头组合，选择不同排列方式，可以得到单孔径成像系统无法得到的高性能。
部分复眼相机成像系统以扩展视场为目标，基本思路是通过曲面排布镜头阵列与探测器阵列，利用阵列之间的重叠视场，结合计算成像算法，拼接得到大幅宽图像。例如基于共用主镜、小透镜阵列、探测器阵列等成像结构，通过计算成像技术实现图像复原与拼接，从而增大相机视场；基于多孔径镜头配合滤光片，通过曲面相邻孔径视场重叠，实现优于120度视场的多光谱成像；通过曲面排布多个小视场相机实现180°全视场。部分复眼相机成像系统以提高分辨率为目标，基本思路是通过平面排布镜头与相机阵列，利用多通道独立信号采集，得到多幅有一定亚像素偏移的图像，结合混叠冗余信息实现超分辨率图像重建。例如基于微透镜阵列、光阑、图像传感器等成像结构，或者通过多个分立CCD/CMOS相机，得到多孔径阵列图像，利用图像重构算法合成高分辨率图像。
由上可知，已有的复眼相机成像系统，只单一地扩展视场或者通过超分辨提升分辨率，不能同时兼顾大视场和高分辨两项能力。
发明内容
为解决上述现有技术中存在的技术问题，本发明提供了一种天基复眼相机及其成像方法。具体技术方案如下：
第一方面，提供了一种天基复眼相机，包括：一个或多个短焦孔径相机和多个长焦孔径相机；
所述一个或多个短焦孔径相机设置在安装面的中部，所述多个长焦孔径相机沿周向间隔均匀分布在所述短焦孔径相机的周围；
所述长焦孔径相机，用于获取重叠区域存在亚像素偏移的图像；
所述短焦孔径相机，用于获取宽视场图像。
对于上述天基复眼相机，所述短焦孔径相机和/或所述长焦孔径相机的视轴与安装面之间的夹角可调。
对于上述天基复眼相机，所述长焦孔径相机的数量为4个。
第二方面，提供了一种如上述任一项所述的天基复眼相机的成像方法，所述方法包括：
长焦孔径相机获取重叠区域存在亚像素偏移的图像，基于图像处理算法，获得重叠视场的超分重建图像和未重叠视场的原始高分图像；
短焦孔径相机获取宽视场图像；
超分重建图像、原始高分图像和宽视场图像融合，形成具有由中心到周边分辨率递减变化的宽视场超分辨仿视网膜图像。
对于上述天基复眼相机的成像方法，长焦孔径相机的数量为4个时，超分重建图像包括对应4个长焦孔径相机重叠视场的四向超分重建图像和对应2个长焦孔径相机重叠视场的双向超分重建图像。
对于上述天基复眼相机的成像方法，长焦孔径相机获取重叠区域存在亚像素偏移的图像之前：
从短焦孔径相机和长焦孔径相机之间选择一个基准相机；
调整基准相机视轴与安装面之间的夹角；
调整其余相机视轴与基准相机视轴之间的夹角，使多个长焦孔径相机成像的重叠区域满足预设要求。
对于上述天基复眼相机的成像方法，选择长焦孔径相机作为基准相机。
本发明技术方案的主要优点如下：
本发明的天基复眼相机及其成像方法，与空间大孔径相机相比，具有扁平化，轻型化等特点，设计制造难度较低；并且由于选择小孔径组合配置，可有效减缓大气湍流影响。与现有技术中的复眼相机相比，通过采用多焦距分立孔径设计，可以兼顾大视场和高分辨率成像能力，实现中心向边缘分辨率逐渐降低的仿视网膜成像，具备高功能密度，适合面目标成像与点目标探测等多种应用。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一实施例提供的天基复眼相机的几何构型图；
图2为本发明一实施例提供的天基复眼相机成像区域示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明实施例提供的技术方案。
第一方面，本发明实施例提供了一种天基复眼相机，包括：一个或多个短焦孔径相机和多个长焦孔径相机；一个或多个短焦孔径相机设置在安装面的中部，多个长焦孔径相机沿周向间隔均匀分布在短焦孔径相机的周围；长焦孔径相机，用于获取重叠区域存在亚像素偏移的图像；短焦孔径相机，用于获取宽视场图像。
以下对本发明实施例提供的天基复眼相机的工作原理进行说明。
可以理解的是，长焦孔径相机的分辨率高、视场较窄，利用长焦孔径相机可以观测细节信息。短焦孔径相机的视场宽、分辨率较低，利用短焦孔径相机可以观测整个区域。结合长焦孔径相机和短焦孔径相机的成像特点，本发明实施例提供了一种如上所述的多焦距分立孔径的天基复眼相机。使用时，长焦孔径相机获取重叠区域存在亚像素偏移的图像，基于图像处理算法，获得重叠视场的超分重建图像和未重叠视场的原始高分图像。短焦孔径相机获取宽视场图像。超分重建图像、原始高分图像和宽视场图像融合，形成具有由中心到周边分辨率递减变化的宽视场超分辨仿视网膜图像。
本发明实施例提供的天基复眼相机，与空间大孔径相机相比，具有扁平化，轻型化等特点，设计制造难度较低；并且由于选择小孔径组合配置，可有效减缓大气湍流影响。与现有技术中的复眼相机相比，通过采用多焦距分立孔径设计，可以兼顾大视场和高分辨率成像能力，实现中心向边缘分辨率逐渐降低的仿视网膜成像，具备高功能密度，适合面目标成像与点目标探测等多种应用。
可选地，本发明实施例提供的天基复眼相机中，短焦孔径相机和/或长焦孔径相机的视轴与安装面之间的夹角可调。如此设置，一方面，便于调整长焦孔径相机之间的视轴夹角调整其重叠区域，以获取重叠区域存在亚像素偏移的图像。另一方面，在不同的场景下成像需求改变时，通过对视轴夹角的调整，可以获取满足使用需求的重叠区域，扩大适用范围。
本发明实施例中，短焦孔径相机被多个长焦孔径相机所包围，短焦孔径相机的数量可以为一个或多个，只需能满足获取宽视场图像的使用需求即可。当其为多个时，多个短焦孔径相机均设置在安装面的中部被长焦孔径相机包围的区域内。
长焦孔径相机的数量可以为4个、5个、6个等。长焦孔径相机的数量为4个时天基复眼相机的几何构型如附图1所示。长焦孔径相机沿矩形分布，假定各孔径采用相同光谱谱段相机，天基复眼相机成像区域如图2所示。通过长焦孔径相机获取的亚像素偏移图像，基于图像处理算法，四相机重叠视场得到四向超分重建图像(对应图2中的四向超分成像区，分辨率理论上为2.0倍长焦孔径相机分辨率)，两相机重叠视场得到双向超分重建图像(对应图2中的双向超分成像区，分辨率理论上为1.4倍长焦孔径相机分辨率)，未重叠视场得到原始高分图像(对应图2中的高分成像区)。再与短焦孔径相机获取的宽视场图像(对应图2中的宽幅成像区)融合，形成具有由中心到周边分辨率递减变化的宽视场超分辨仿视网膜图像。
第二方面，本发明实施例提供了一种如上述任一项的天基复眼相机的成像方法，方法包括：
长焦孔径相机获取重叠区域存在亚像素偏移的图像，基于图像处理算法，获得重叠视场的超分重建图像和未重叠视场的原始高分图像；
短焦孔径相机获取宽视场图像；
超分重建图像、原始高分图像和宽视场图像融合，形成具有由中心到周边分辨率递减变化的宽视场超分辨仿视网膜图像。
本发明实施例提供的天基复眼相机的成像方法，通过采用多焦距分立孔径设计，可以兼顾大视场和高分辨率成像能力，实现中心向边缘分辨率逐渐降低的仿视网膜成像，具备高功能密度，适合面目标成像与点目标探测等多种应用
进一步地，长焦孔径相机获取重叠区域存在亚像素偏移的图像之前：
从短焦孔径相机和长焦孔径相机之间选择一个基准相机；
调整基准相机视轴与安装面之间的夹角；
调整其余相机视轴与基准相机视轴之间的夹角，使多个长焦孔径相机成像的重叠区域满足预设要求。
优选地，视轴夹角的调整主要是精细调整长焦孔径相机之间的视轴夹角，基于此，为了便于对比，优选选择长焦孔径相机作为基准相机。例如，如附图1所示的几何构型中，可以选择长焦孔径相机1作为基准相机。
以下结合具体数据说明本发明实施例提供的天基复眼相机的有益效果进行说明：
Figure BDA0002421139010000051
由上表格可以看出，本发明实施例提供的天基复眼相机，与单孔径成像相比，在分辨率不降低的前提下，既缩小了孔径面积又扩大了视场角，整体性能较优越。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。
最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种天基复眼相机，其特征在于，包括：一个或多个短焦孔径相机和多个长焦孔径相机；
所述一个或多个短焦孔径相机设置在安装面的中部，所述多个长焦孔径相机沿周向间隔均匀分布在所述短焦孔径相机的周围；
所述长焦孔径相机，用于获取重叠区域存在亚像素偏移的图像；
所述短焦孔径相机，用于获取宽视场图像。
2.根据权利要求1所述的天基复眼相机，其特征在于，所述短焦孔径相机和/或所述长焦孔径相机的视轴与安装面之间的夹角可调。
3.根据权利要求1所述的天基复眼相机，其特征在于，所述长焦孔径相机的数量为4个。
4.一种如权利要求1-3任一项所述的天基复眼相机的成像方法，其特征在于，所述方法包括：
长焦孔径相机获取重叠区域存在亚像素偏移的图像，基于图像处理算法，获得重叠视场的超分重建图像和未重叠视场的原始高分图像；
短焦孔径相机获取宽视场图像；
超分重建图像、原始高分图像和宽视场图像融合，形成具有由中心到周边分辨率递减变化的宽视场超分辨仿视网膜图像。
5.根据权利要求5所述的天基复眼相机的成像方法，其特征在于，长焦孔径相机的数量为4个时，超分重建图像包括对应4个长焦孔径相机重叠视场的四向超分重建图像和对应2个长焦孔径相机重叠视场的双向超分重建图像。
6.根据权利要求4所述的天基复眼相机的成像方法，其特征在于，长焦孔径相机获取重叠区域存在亚像素偏移的图像之前：
从短焦孔径相机和长焦孔径相机之间选择一个基准相机；
调整基准相机视轴与安装面之间的夹角；
调整其余相机视轴与基准相机视轴之间的夹角，使多个长焦孔径相机成像的重叠区域满足预设要求。
7.根据权利要求5所述的天基复眼相机的成像方法，其特征在于，选择长焦孔径相机作为基准相机。
CN202010206004.0A 2020-03-23 2020-03-23 天基复眼相机及其成像方法 Pending CN111479040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010206004.0A CN111479040A (zh) 2020-03-23 2020-03-23 天基复眼相机及其成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206004.0A CN111479040A (zh) 2020-03-23 2020-03-23 天基复眼相机及其成像方法

Publications (1)

Publication Number Publication Date
CN111479040A true CN111479040A (zh) 2020-07-31

Family

ID=71750261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206004.0A Pending CN111479040A (zh) 2020-03-23 2020-03-23 天基复眼相机及其成像方法

Country Status (1)

Country Link
CN (1) CN111479040A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252303A (zh) * 2021-04-14 2021-08-13 中国人民解放军军事科学院国防科技创新研究院 天基复眼相机载荷在轨试验装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160037086A1 (en) * 2014-07-31 2016-02-04 Canon Kabushiki Kaisha Image pickup apparatus and control method for same
CN207802112U (zh) * 2017-10-24 2018-08-31 泰邦泰平科技（北京）有限公司 一种多焦距复眼成像镜头
CN110595625A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型五孔径视场部分重叠仿生热成像系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160037086A1 (en) * 2014-07-31 2016-02-04 Canon Kabushiki Kaisha Image pickup apparatus and control method for same
CN207802112U (zh) * 2017-10-24 2018-08-31 泰邦泰平科技（北京）有限公司 一种多焦距复眼成像镜头
CN110595625A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型五孔径视场部分重叠仿生热成像系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252303A (zh) * 2021-04-14 2021-08-13 中国人民解放军军事科学院国防科技创新研究院 天基复眼相机载荷在轨试验装置及方法
CN113252303B (zh) * 2021-04-14 2022-02-18 中国人民解放军军事科学院国防科技创新研究院 天基复眼相机载荷在轨试验装置及方法

Similar Documents

Publication Publication Date Title
CN105549305B (zh) 便携式电子设备，及其中的摄像结构与获取影像的方法
US7649690B2 (en) Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
JP4643773B2 (ja) 電子ズーム画像入力方式
KR100599423B1 (ko) 전방향성 이미징 장치
KR101514502B1 (ko) 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법
EP2891913A1 (en) Imaging system and imaging optical system background
US8908054B1 (en) Optics apparatus for hands-free focus
US11456326B2 (en) Plenoptic camera for mobile devices
JP2004536351A (ja) 長方形の画像センサによりパノラマ画像を撮像する方法
JP2008511020A (ja) 広範囲で広角の回転可能な複合ズーム
US9503638B1 (en) High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
EP3633969B1 (en) Image sensor and image sensing method
Hamilton et al. Generalized refraction using lenslet arrays
CN111479040A (zh) 天基复眼相机及其成像方法
KR101889275B1 (ko) 단안식 입체 카메라
WO2014156712A1 (ja) 複眼光学系及び撮像装置
Swain et al. Curved CCDs and their application with astronomical telescopes and stereo panoramic cameras
JP2006011103A (ja) 球面ミラー撮像装置
KR20200038835A (ko) 이미지 센서 및 이미지 센싱 방법
Swain et al. Curved CCD detector devices and arrays for multispectral astrophysical applications and terrestrial stereo panoramic cameras
KR101469361B1 (ko) 초광각 파노라마 영상 촬영 장치
JP2002535700A (ja) 解像力不変パノラマイメージング
JP2716041B2 (ja) 固体撮像素子用結像光学系
US20130278818A1 (en) Curved sensor system
RU223158U1 (ru) Устройство для широкоугольной видеосъемки с зеркальным объективом

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200731