CN108156383B - 基于相机阵列的高动态十亿像素视频采集方法及装置 - Google Patents

基于相机阵列的高动态十亿像素视频采集方法及装置 Download PDF

Info

Publication number
CN108156383B
CN108156383B CN201711481644.7A CN201711481644A CN108156383B CN 108156383 B CN108156383 B CN 108156383B CN 201711481644 A CN201711481644 A CN 201711481644A CN 108156383 B CN108156383 B CN 108156383B
Authority
CN
China
Prior art keywords
camera
image
block
dynamic
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711481644.7A
Other languages
English (en)
Other versions
CN108156383A (zh
Inventor
刘烨斌
袁肖赟
方璐
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711481644.7A priority Critical patent/CN108156383B/zh
Publication of CN108156383A publication Critical patent/CN108156383A/zh
Application granted granted Critical
Publication of CN108156383B publication Critical patent/CN108156383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种基于相机阵列的高动态十亿像素视频采集方法及装置，多尺度相机阵列具有参考相机和至少一个长焦相机，其中，方法包括以下步骤：通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样；通过匹配算法获取至少一个长焦相机在参考相机中的位置；将对参考相机中的位置的图像块进行上采样，得到参考块；将长焦相机图像与参考块对齐，以将长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果。该方法可以实现十亿像素的视频合成，大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，增加了CMOS传感器的利用率，且具有非常高的并行度。

Description

基于相机阵列的高动态十亿像素视频采集方法及装置
技术领域
本发明涉及计算机视觉和光学技术领域，特别涉及一种基于相机阵列的高动态十亿像素视频采集方法及装置。
背景技术
近年来出现的“十亿像素级视频”采集，突破了人眼视觉信息捕获的极限，可实现革命性的多尺度超高分辨率(比现有摄像机高两个数量级)视频捕获，宽空间捕获范围和高空间分辨率都将得到满足，能极大提高视觉计算的性能，推动计算机视觉及人工智能各领域如安防监控、无人机、无人车等的技术发展。
相机阵列的设计是计算机视觉和光学领域中一个非常重要的问题。相关技术中的单镜头相机受到光学系统的限制，无法同时兼顾图像的分辨率和图像质量。因此，在目前想要实现高质量的十亿像素视频的采集，相机阵列是最好的方法。
相关技术中的相机阵列通常都是将一定数量的相机组成阵列，固定方向，再利用相邻相机之间的重叠区域对相机进行标定，最后生成拼接完成的视频。然而，这样的做法主要存在以下几个问题：(1)灵活性差：相机位置和角度固定。在实际使用中，不能根据实际的需求在分配和调节每个相机，可能会造成部分相机资源的浪费；(2)相机的使用率低：相邻相机之间需要有足够大的重叠区域(20％左右)，大大降低了相机CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)芯片的使用率；(3)颜色校正困难：因为每个相机的传感器及其参数(曝光时间，白平衡，CMOS本身的感光度等)不同，所以即使相邻的相机拍摄到同一个物体，其颜色，亮度也会有所不同。此外，长焦镜头相机拍到的图像往往容易存在边缘变暗的现象。因此，为了使得拼接结果能够平滑过渡，需要进行颜色校正，且没有全局的参考，颜色校正只能依靠相邻相机之间的重叠区域，校正的结果产生偏差，有待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于相机阵列的高动态十亿像素视频采集方法，该方法大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，且具有非常高的并行度。
本发明的另一个目的在于提出一种基于相机阵列的高动态十亿像素视频采集装置。
为达到上述目的，本发明一方面实施例提出了一种基于相机阵列的高动态十亿像素视频采集方法，所述多尺度相机阵列具有参考相机和至少一个长焦相机，其中，所述方法包括以下步骤：通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样；通过匹配算法获取所述至少一个长焦相机在所述参考相机中的位置；将对所述参考相机中的位置的图像块进行上采样，得到参考块；将所述长焦相机图像与所述参考块对齐，以将所述长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果。
本发明实施例的基于相机阵列的高动态十亿像素视频采集方法，通过利用颜色校正的技术将低分辨率高动态参考相机视频的颜色转移映射到大焦距相机的图像中，从而实现十亿像素的视频合成，大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，增加了CMOS传感器的利用率，且具有非常高的并行度。
另外，根据本发明上述实施例的基于相机阵列的高动态十亿像素视频采集方法，还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述将所述长焦相机图像与所述参考块对齐，进一步包括：步骤a：在所述长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S；步骤b：对于每一个长焦相机上的强结构点，利用匹配先验H在所述参考块上确定大小为SxS的搜索范围，并用大小为K的图像块作为模版，在所述参考块的搜索范围上用ZNCC(Zero-based Normalized Cross Correlation，立体匹配)块匹配算法得到最佳匹配点；步骤c：RANSAC(Random Sample Consensus，随机抽样一致性算法)消去置信度低的匹配点，并更新匹配先验H；步骤d：重复所述步骤b和所述步骤c，直到获得质量满足预设条件的匹配点；步骤e：通过网格变形算法将所述长焦相机图像与所述参考块对齐。
进一步地，在本发明的一个实施例中，所述进行图像增强与颜色校正，进一步包括：将所述参考块和长焦距相机图像分为多个相互重叠的图像块对；获取所述多个相互重叠的图像块对的每个图像块对之间的颜色仿射变换，以得到稀疏的变换参数；通过基于图像边缘的插值算法将所述稀疏变换参数变成稠密的变换参数。
进一步地，在本发明的一个实施例中，所述进行图像增强与颜色校正，进一步包括：根据当前环境情况在所述相机阵列中增加多个曝光参数不同的所述参考相机，以将不同曝光的图像合成高动态的参考相机图像；当仍不能满足高动态范围要求时，通过视频增强算法对所述参考相机图像进行增强；在拼接阶段，通过颜色校正算法将所述高动态的参考相机图像的颜色映射到所述长焦距相机图像上，实现高动态十亿像素视频的合成。
进一步地，在本发明的一个实施例中，在采集过程中，每个参考相机以不同的曝光时间和帧率进行采集，其中，对于最快的相机，挑选采集时间最接近的不同相机上的图像进行高动态范围图像的合成。
为达到上述目的，本发明另一方面实施例提出了一种基于相机阵列的高动态十亿像素视频采集装置，所述多尺度相机阵列具有参考相机和至少一个长焦相机，其中，所述装置包括：采样模块，用于通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样；第一获取模块，用于通过匹配算法获取所述至少一个长焦相机在所述参考相机中的位置；第二获取模块，用于将对所述参考相机中的位置的图像块进行上采样，得到参考块；校正模块，用于将所述长焦相机图像与所述参考块对齐，以将所述长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果。
本发明实施例的基于相机阵列的高动态十亿像素视频采集装置，通过利用颜色校正的技术将低分辨率高动态参考相机视频的颜色转移映射到大焦距相机的图像中，从而实现十亿像素的视频合成，大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，增加了CMOS传感器的利用率，且具有非常高的并行度。
另外，根据本发明上述实施例的基于相机阵列的高动态十亿像素视频采集装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述将所述长焦相机图像与所述参考块对齐，进一步包括：步骤a：在所述长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S；步骤b：对于每一个长焦相机上的强结构点，利用匹配先验H在所述参考块上确定大小为SxS的搜索范围，并用大小为K的图像块作为模版，在所述参考块的搜索范围上用ZNCC块匹配算法得到最佳匹配点；步骤c：RANSAC消去置信度低的匹配点，并更新匹配先验H；步骤d：重复所述步骤b和所述步骤c，直到获得质量满足预设条件的匹配点；步骤e：通过网格变形算法将所述长焦相机图像与所述参考块对齐。
进一步地，在本发明的一个实施例中，所述进行图像增强与颜色校正，进一步包括：将所述参考块和长焦距相机图像分为多个相互重叠的图像块对；获取所述多个相互重叠的图像块对的每个图像块对之间的颜色仿射变换，以得到稀疏的变换参数；通过基于图像边缘的插值算法将所述稀疏变换参数变成稠密的变换参数。
进一步地，在本发明的一个实施例中，所述进行图像增强与颜色校正，进一步包括：根据当前环境情况在所述相机阵列中增加多个曝光参数不同的所述参考相机，以将不同曝光的图像合成高动态的参考相机图像；当仍不能满足高动态范围要求时，通过视频增强算法对所述参考相机图像进行增强；在拼接阶段，通过颜色校正算法将所述高动态的参考相机图像的颜色映射到所述长焦距相机图像上，实现高动态十亿像素视频的合成。
进一步地，在本发明的一个实施例中，在采集过程中，每个参考相机以不同的曝光时间和帧率进行采集，其中，对于最快的相机，挑选采集时间最接近的不同相机上的图像进行高动态范围图像的合成。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的多尺度相机阵列的示意图；
图2为根据本发明实施例的基于相机阵列的高动态十亿像素视频采集方法的流程图；
图3为根据本发明一个实施例的拼接算法流程和跨尺度特征匹配算法示意图；
图4为根据本发明一个实施例的颜色校正算法示意图；
图5为根据本发明一个实施例的多参考相机合成算法示意图；
图6为根据本发明一个实施例的基于相机阵列的高动态十亿像素视频采集装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在介绍本发明实施例的基于相机阵列的高动态十亿像素视频采集方法及装置之前，先简单介绍下本发明实施例的相机阵列。
如图1所示，本发明实施例的相机阵列与相关技术中的相机阵列最大的不同是：本发明实施例的相机阵列由一些列不同焦距镜头的相机搭建的。
其中，不同颜色的圆代表不同焦距的相机，红色的相机(如红色相机1)焦距最小，FOV(field of view，视角)最大，称为参考相机。绿色相机(如绿色相机2)次之，蓝色相机(如蓝色相机3)焦距最大，FOV最小。在搭建时，本相机阵列不要求相邻相机之间有足够大的重叠区域，只需要保证其他相机的FOV都在参考相机的FOV中即可。在本发明中，蓝色相机和绿色相机都称为长焦相机。
另外，本发明实施例还包含一套与多尺度相机配合的拼接算法，颜色校正算法和图像增强算法。不同于相关技术中的利用重叠区域的算法，本发明实施例提出的算法都是在一个长焦相机和参考相机之间进行，不同的长焦相机图像可以进行并行处理。颜色校正和图像增强可以提高拼接结果的整体质量。除此之外，本发明实施例还可以利用多个参考相机和颜色校正算法合成高动态的十亿相机视频。
相比于相关技术中的相机阵列设计，本发明实施例相机阵列的具有以下优点：(1)相机设计更加灵活，CMOS利用率高：除了参考相机之外，其他相机可以随意排列，只需要在参考相机的FOV中；(2)利用参考相机的全局颜色校正与图像增强：参考相机覆盖了整个FOV，可以为其他相机的颜色校正提供参考，防止颜色校正出现偏差。此外，借助颜色校正算法，高动态图像合成等图像增强技术可以非常方便地应用在本发明中，得到增强之后的十亿像素视频；(3)算法的并行程度高，复杂度随相机数量线性增长：传统算法利用相机重叠区域进行拼接，需要同时对全部相机的拼接参数进行优化。当相机数量过多时，复杂度会急剧增大。而本发明中的每一个相机只需要单独与参考相机进行匹配，计算参数。整体复杂度与相机数量呈线形关系。
下面参照附图描述根据本发明实施例提出的基于相机阵列的高动态十亿像素视频采集方法及装置，首先将参照附图描述根据本发明实施例提出的基于相机阵列的高动态十亿像素视频采集方法。
图2是本发明实施例的基于相机阵列的高动态十亿像素视频采集方法的流程图。
如图2所示，该基于相机阵列的高动态十亿像素视频采集方法包括以下步骤：
在步骤S201中，通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样。
在步骤S202中，通过匹配算法获取至少一个长焦相机在参考相机中的位置。
在步骤S203中，将对参考相机中的位置的图像块进行上采样，得到参考块。
可以理解的是，本发明实施例的主要目标是对长焦相机进行定位。首先利用镜头焦距差距对长焦相机图像进行降采样，然后用块匹配算法计算长焦相机在参考相机中的位置，最后将对参考相机中对应位置的图像块进行上采样得到参考块。参考块图像与长焦相机图像内容基本相同，但是在分辨率，图像质量和颜色上可能有比较大的差距。
在步骤S204中，将长焦相机图像与参考块对齐，以将长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果。
可以理解的是，本发明实施例通过上一步得到的长焦相机图像和参考块知识粗略对齐的，在这一步，需要将长焦相机图像与参考块进行精确对齐，才能将长焦相机图像无缝地嵌入参考相机图像中。
进一步地，在本发明的一个实施例中，将长焦相机图像与参考块对齐，进一步包括：步骤a：在长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S；步骤b：对于每一个长焦相机上的强结构点，利用匹配先验H在参考块上确定大小为SxS的搜索范围，并用大小为K的图像块作为模版，在参考块的搜索范围上用ZNCC块匹配算法得到最佳匹配点；步骤c：RANSAC消去置信度低的匹配点，并更新匹配先验H；步骤d：重复步骤b和步骤c，直到获得质量满足预设条件的匹配点；步骤e：通过网格变形算法将长焦相机图像与参考块对齐。
可以理解的是，如图3所示，由于本发明实施例的长焦相机和参考块之间存在非常大图像质量和分辨率差距，因此，本发明实施例设计了专门的算法，具体地：
(1)在长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S。
(2)对于每一个长焦相机上的强结构点，先利用匹配先验H在参考块上确定大小为SxS的搜索范围。然后用大小为K的图像块作为模版，在参考块的搜索范围上用ZNCC块匹配算法找到最佳匹配点。
(3)RANSAC消去置信度低的匹配点，并更新匹配先验H
(4)重复(2)、(3)直到获得足够好质量的匹配点
(5)利用网格变形算法将长焦相机图像与图像块精确对齐
进一步地，在本发明的一个实施例中，进行图像增强与颜色校正，进一步包括：将参考块和长焦距相机图像分为多个相互重叠的图像块对；获取多个相互重叠的图像块对的每个图像块对之间的颜色仿射变换，以得到稀疏的变换参数；通过基于图像边缘的插值算法将稀疏变换参数变成稠密的变换参数。
可以理解的是，每个相机的传感器及其参数(曝光时间，白平衡，CMOS本身的感光度等)不同，所以即使相邻的相机拍摄到同一个物体，其颜色，亮度也会有所不同。因此，需要利用参考相机将大相机图像的颜色调到一致，使得拼接结果能够在不同相机之间平滑过渡。
具体地，如图4所示，
(1)将参考块和大焦距相机图像分为一系列相互重叠的图像块对。
(2)计算每一个图像块对之间的颜色仿射变换，得到稀疏的变换参数(如图4中的T1和T2)。
(3)利用基于图像边缘的插值算法将第二步中的稀疏变换参数变成稠密的变换参数。
进一步地，在本发明的一个实施例中，进行图像增强与颜色校正，进一步包括：根据当前环境情况在相机阵列中增加多个曝光参数不同的参考相机，以将不同曝光的图像合成高动态的参考相机图像；当仍不能满足高动态范围要求时，通过视频增强算法对参考相机图像进行增强；在拼接阶段，通过颜色校正算法将高动态的参考相机图像的颜色映射到长焦距相机图像上，实现高动态十亿像素视频的合成。
进一步地，在本发明的一个实施例中，在采集过程中，每个参考相机以不同的曝光时间和帧率进行采集，其中，对于最快的相机，挑选采集时间最接近的不同相机上的图像进行高动态范围图像的合成。
可以理解的是，当拍摄环境不佳时，参考相机拍摄到的图像质量可能不高。比如当动态范围过大时，容易出现过曝和过暗的情况。针对这个问题，本发明实施例根据实际环境条件，采用多相机合成的方式来采集高动态十亿像素视频：
(1)硬件增强：根据实际环境情况，在相机阵列中增加多个曝光参数不同的参考相机，用这些不同曝光的图像合成一个高动态的参考相机图像，如图5所示。在实际采集过程中，每个参考相机以不同的曝光时间和帧率(帧率受到曝光时间的限制)进行采集。对于最快的相机，如图中的参考相机1，挑选采集时间最接近的不同相机上的图像进行高动态范围图像的合成。
(2)软件增强：当硬件增强仍不能满足高动态范围的要求时，还可以利用视频增强算法或是Photoshop等商业软件对参考相机图像进行增强。
(3)结果映射：大焦距相机不需要固定曝光参数，而是调节为自适应的模式，尽量采集更多的细节。在拼接阶段，利用颜色校正算法将高动态参考相机图像的颜色映射到大焦距相机的图像上实现高动态十亿像素视频的合成。
根据本发明实施例提出的基于相机阵列的高动态十亿像素视频采集方法，通过利用颜色校正的技术将低分辨率高动态参考相机视频的颜色转移映射到大焦距相机的图像中，从而实现十亿像素的视频合成，大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，增加了CMOS传感器的利用率，且具有非常高的并行度。
其次参照附图描述根据本发明实施例提出的基于相机阵列的高动态十亿像素视频采集装置。
图6是本发明实施例的基于相机阵列的高动态十亿像素视频采集装置。
如图6所示，该基于相机阵列的高动态十亿像素视频采集装置10包括：采样模块100、第一获取模块200、第二获取模块300和校正模块400。
其中，采样模块100用于通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样。第一获取模块200用于通过匹配算法获取至少一个长焦相机在参考相机中的位置。第二获取模块300用于将对参考相机中的位置的图像块进行上采样，得到参考块。校正模块400用于将长焦相机图像与参考块对齐，以将长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果。本发明实施例的装置10可以实现十亿像素的视频合成，大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，增加了CMOS传感器的利用率，且具有非常高的并行度。
进一步地，在本发明的一个实施例中，将长焦相机图像与参考块对齐，进一步包括：步骤a：在长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S；步骤b：对于每一个长焦相机上的强结构点，利用匹配先验H在参考块上确定大小为SxS的搜索范围，并用大小为K的图像块作为模版，在参考块的搜索范围上用ZNCC块匹配算法得到最佳匹配点；步骤c：RANSAC消去置信度低的匹配点，并更新匹配先验H；步骤d：重复步骤b和步骤c，直到获得质量满足预设条件的匹配点；步骤e：通过网格变形算法将长焦相机图像与参考块对齐。
进一步地，在本发明的一个实施例中，进行图像增强与颜色校正，进一步包括：将参考块和长焦距相机图像分为多个相互重叠的图像块对；获取多个相互重叠的图像块对的每个图像块对之间的颜色仿射变换，以得到稀疏的变换参数；通过基于图像边缘的插值算法将稀疏变换参数变成稠密的变换参数。
进一步地，在本发明的一个实施例中，进行图像增强与颜色校正，进一步包括：根据当前环境情况在相机阵列中增加多个曝光参数不同的参考相机，以将不同曝光的图像合成高动态的参考相机图像；当仍不能满足高动态范围要求时，通过视频增强算法对参考相机图像进行增强；在拼接阶段，通过颜色校正算法将高动态的参考相机图像的颜色映射到长焦距相机图像上，实现高动态十亿像素视频的合成。
进一步地，在本发明的一个实施例中，在采集过程中，每个参考相机以不同的曝光时间和帧率进行采集，其中，对于最快的相机，挑选采集时间最接近的不同相机上的图像进行高动态范围图像的合成。
需要说明的是，前述对基于相机阵列的高动态十亿像素视频采集方法实施例的解释说明也适用于该实施例的基于相机阵列的高动态十亿像素视频采集装置，此处不再赘述。
根据本发明实施例提出的基于相机阵列的高动态十亿像素视频采集装置，通过利用颜色校正的技术将低分辨率高动态参考相机视频的颜色转移映射到大焦距相机的图像中，从而实现十亿像素的视频合成，大大提高了相机阵列的灵活性，使得相机可以自由分配到有需要的区域，增加了CMOS传感器的利用率，且具有非常高的并行度。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于相机阵列的高动态十亿像素视频采集方法，其特征在于，多尺度相机阵列具有参考相机和至少一个长焦相机，其中，所述方法包括以下步骤：
通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样；
通过匹配算法获取所述至少一个长焦相机在所述参考相机中的位置；
将对所述参考相机中的位置的图像块进行上采样，得到参考块；以及
将所述长焦相机图像与所述参考块对齐，以将所述长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果；
其中，所述进行图像增强与颜色校正，进一步包括：将所述参考块和长焦距相机图像分为多个相互重叠的图像块对；获取所述多个相互重叠的图像块对的每个图像块对之间的颜色仿射变换，以得到稀疏的变换参数；通过基于图像边缘的插值算法将所述稀疏变换参数变成稠密的变换参数；
其中，所述进行图像增强与颜色校正，进一步包括：根据当前环境情况在所述相机阵列中增加多个曝光参数不同的所述参考相机，以将不同曝光的图像合成高动态的参考相机图像；当仍不能满足高动态范围要求时，通过视频增强算法对所述参考相机图像进行增强；在拼接阶段，通过颜色校正算法将所述高动态的参考相机图像的颜色映射到所述长焦距相机图像上，实现高动态十亿像素视频的合成；在采集过程中，每个参考相机以不同的曝光时间和帧率进行采集，其中，以曝光时间和帧率最小的相机为基准，选择与所述曝光时间和帧率最小的相机的采集时间差值最小的不同相机上的图像进行高动态范围图像的合成。
2.根据权利要求1所述的基于相机阵列的高动态十亿像素视频采集方法，其特征在于，所述将所述长焦相机图像与所述参考块对齐，进一步包括：
步骤a：在所述长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S；
步骤b：对于每一个长焦相机上的强结构点，利用匹配先验H在所述参考块上确定大小为SxS的搜索范围，并用大小为K的图像块作为模版，在所述参考块的搜索范围上用ZNCC块匹配算法得到最佳匹配点；
步骤c：RANSAC消去置信度低的匹配点，并更新匹配先验H；
步骤d：重复所述步骤b和所述步骤c，直到获得质量满足预设条件的匹配点；
步骤e：通过网格变形算法将所述长焦相机图像与所述参考块对齐。
3.一种基于相机阵列的高动态十亿像素视频采集装置，其特征在于，多尺度相机阵列具有参考相机和至少一个长焦相机，其中，所述装置包括：
采样模块，用于通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样；
第一获取模块，用于通过匹配算法获取所述至少一个长焦相机在所述参考相机中的位置；
第二获取模块，用于将对所述参考相机中的位置的图像块进行上采样，得到参考块；以及
校正模块，用于将所述长焦相机图像与所述参考块对齐，以将所述长焦相机图像嵌入参考相机图像中，并进行图像增强与颜色校正，得到视频采集结果；
其中，所述进行图像增强与颜色校正，进一步包括：将所述参考块和长焦距相机图像分为多个相互重叠的图像块对；获取所述多个相互重叠的图像块对的每个图像块对之间的颜色仿射变换，以得到稀疏的变换参数；通过基于图像边缘的插值算法将所述稀疏变换参数变成稠密的变换参数；
其中，所述进行图像增强与颜色校正，进一步包括：根据当前环境情况在所述相机阵列中增加多个曝光参数不同的所述参考相机，以将不同曝光的图像合成高动态的参考相机图像；当仍不能满足高动态范围要求时，通过视频增强算法对所述参考相机图像进行增强；在拼接阶段，通过颜色校正算法将所述高动态的参考相机图像的颜色映射到所述长焦距相机图像上，实现高动态十亿像素视频的合成；在采集过程中，每个参考相机以不同的曝光时间和帧率进行采集，其中，以曝光时间和帧率最小的相机为基准，选择与所述曝光时间和帧率最小的相机的采集时间差值最小的不同相机上的图像进行高动态范围图像的合成。
4.根据权利要求3所述的基于相机阵列的高动态十亿像素视频采集装置，其特征在于，所述将所述长焦相机图像与所述参考块对齐，进一步包括：
步骤a：在所述长焦相机图像上检测强结构点，初始化匹配先验H为3x3的单位阵，块尺寸K，搜索范围S；
步骤b：对于每一个长焦相机上的强结构点，利用匹配先验H在所述参考块上确定大小为SxS的搜索范围，并用大小为K的图像块作为模版，在所述参考块的搜索范围上用ZNCC块匹配算法得到最佳匹配点；
步骤c：RANSAC消去置信度低的匹配点，并更新匹配先验H；
步骤d：重复所述步骤b和所述步骤c，直到获得质量满足预设条件的匹配点；
步骤e：通过网格变形算法将所述长焦相机图像与所述参考块对齐。
CN201711481644.7A 2017-12-29 2017-12-29 基于相机阵列的高动态十亿像素视频采集方法及装置 Active CN108156383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711481644.7A CN108156383B (zh) 2017-12-29 2017-12-29 基于相机阵列的高动态十亿像素视频采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711481644.7A CN108156383B (zh) 2017-12-29 2017-12-29 基于相机阵列的高动态十亿像素视频采集方法及装置

Publications (2)

Publication Number Publication Date
CN108156383A CN108156383A (zh) 2018-06-12
CN108156383B true CN108156383B (zh) 2020-08-28

Family

ID=62460263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711481644.7A Active CN108156383B (zh) 2017-12-29 2017-12-29 基于相机阵列的高动态十亿像素视频采集方法及装置

Country Status (1)

Country Link
CN (1) CN108156383B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285136B (zh) * 2018-08-31 2021-06-08 清华-伯克利深圳学院筹备办公室 一种图像的多尺度融合方法、装置、存储介质及终端
CN111935417B (zh) * 2020-07-02 2021-12-14 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN114697483B (zh) * 2020-12-31 2023-10-10 复旦大学 基于压缩感知白平衡算法的屏下摄像装置及方法
CN112884849A (zh) * 2021-02-03 2021-06-01 无锡安科迪智能技术有限公司 一种全景图像拼接调色的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700099A (zh) * 2013-12-18 2014-04-02 同济大学 一种旋转和尺度不变的宽基线立体匹配方法
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN106462944A (zh) * 2016-05-30 2017-02-22 香港应用科技研究院有限公司 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700099A (zh) * 2013-12-18 2014-04-02 同济大学 一种旋转和尺度不变的宽基线立体匹配方法
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN106462944A (zh) * 2016-05-30 2017-02-22 香港应用科技研究院有限公司 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图

Also Published As

Publication number Publication date
CN108156383A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
US9686479B2 (en) Method for combining multiple image fields
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US10489885B2 (en) System and method for stitching images
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US8908054B1 (en) Optics apparatus for hands-free focus
EP3633969B1 (en) Image sensor and image sensing method
KR20160051473A (ko) 영상 정합 알고리즘을 설정하는 방법
JP2020174331A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
KR20130077414A (ko) 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
CN108513057B (zh) 图像处理方法及装置
CN113436130B (zh) 一种非结构光场智能感知系统与装置
JP2017220885A (ja) 画像処理装置、その制御方法、および制御プログラム
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
US10783646B2 (en) Method for detecting motion in a video sequence
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
JP2010134617A (ja) パノラマ撮像装置
JP2014215436A (ja) 撮像装置、その制御方法、および制御プログラム
CN112866547B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866546B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112862880A (zh) 深度信息获取方法、装置、电子设备和存储介质
CN112866550B (zh) 相位差获取方法和装置、电子设备、计算机可读存储介质
JP2011182084A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant