CN113747052B - 对焦跟踪系统与方法 - Google Patents

对焦跟踪系统与方法 Download PDF

Info

Publication number
CN113747052B
CN113747052B CN202110501322.4A CN202110501322A CN113747052B CN 113747052 B CN113747052 B CN 113747052B CN 202110501322 A CN202110501322 A CN 202110501322A CN 113747052 B CN113747052 B CN 113747052B
Authority
CN
China
Prior art keywords
focus
camera
frame
image
adjustable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110501322.4A
Other languages
English (en)
Other versions
CN113747052A (zh
Inventor
韩宇星
温江涛
李吉生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Tsinghua University
Original Assignee
Shenzhen Research Institute Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Tsinghua University filed Critical Shenzhen Research Institute Tsinghua University
Publication of CN113747052A publication Critical patent/CN113747052A/zh
Application granted granted Critical
Publication of CN113747052B publication Critical patent/CN113747052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种对焦跟踪系统与方法，属于摄像领域，能够使最终拍摄的图像清晰。一种对焦跟踪系统，包括主相机、辅相机、同步系统和对焦控制系统，主相机包括第一可调焦镜头和驱动第一可调焦镜头进行对焦的第一对焦伺服马达；辅相机包括第二可调焦镜头和驱动第二可调焦镜头进行对焦的第二对焦伺服马达，第二可调焦镜头内部安装有编码光圈，辅相机的光学参数与主相机相当；同步系统，用于使主辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；对焦控制系统，用于利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移向第一和第二对焦伺服马达发送对焦信号。

Description

对焦跟踪系统与方法
技术领域
本公开涉及摄像领域，具体地，涉及一种对焦跟踪系统与方法。
背景技术
超高清相机的景深较窄，使得任何轻微的离焦对于人眼而言都是非常明显的。因此，需要精确的对焦跟踪系统，以使得最终拍摄的图像清晰。
发明内容
本公开的目的是提供一种对焦跟踪系统与方法，能够使最终拍摄的图像清晰。
根据本公开的第一实施例，提供一种对焦跟踪系统，包括主相机、辅相机、同步系统和对焦控制系统，其中：所述主相机包括第一可调焦镜头和第一对焦伺服马达，所述第一对焦伺服马达用于驱动所述第一可调焦镜头进行对焦；所述辅相机包括第二可调焦镜头和第二对焦伺服马达，所述第二对焦伺服马达用于驱动所述第二可调焦镜头进行对焦，所述第二可调焦镜头内部安装有编码光圈，而且所述辅相机具有与所述主相机相当的光学参数；所述同步系统，用于使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及所述对焦控制系统，用于利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于所述离焦偏移，向所述第一对焦伺服马达和所述第二对焦伺服马达发送对焦信号。
根据本公开的第二实施例，提供一种对焦跟踪方法，应用于对焦跟踪系统，所述对焦跟踪系统包括主相机、辅相机、同步系统和对焦控制系统，所述主相机包括第一可调焦镜头和第一对焦伺服马达，所述第一对焦伺服马达用于驱动所述第一可调焦镜头进行对焦，所述辅相机包括第二可调焦镜头和第二对焦伺服马达，所述第二对焦伺服马达用于驱动所述第二可调焦镜头进行对焦，所述第二可调焦镜头内部安装有编码光圈，而且所述辅相机具有与所述主相机相当的光学参数；所述方法包括：使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像，计算离焦偏移；基于所述离焦偏移，执行所述第一可调焦镜头和所述第二可调焦镜头的对焦。
通过采用上述技术方案，由于同步系统能够使主辅相机拍摄的图像进行帧级同步，对焦控制系统能够利用第二可调焦镜头内部安装的编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，向第一对焦伺服马达和第二对焦伺服马达发送对焦信号，因此能够实现精确的变焦和对焦，使得最终拍摄的图像清晰。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一种实施例的对焦跟踪系统的示意框图。
图2是根据本公开一种实施例的对焦跟踪系统的又一示意框图。
图3是根据本公开一种实施例的对焦跟踪方法的流程图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一种实施例的对焦跟踪系统的示意框图。如图1所示，该对焦跟踪系统包括主相机1、辅相机2、同步系统3和对焦控制系统4。
主相机1是对焦跟踪系统的主要视频源，其可以是超高清相机或者其他类型的相机。超高清相机的景深较窄。例如，8K超高清相机的像素数量是高清相机的16倍，因此超高清相机的像素大小也要小得多，则，受物理定律的限制，使用光学系统时，超高清相机的景深会缩小几倍。
主相机1包括第一可调焦镜头11和第一对焦伺服马达12，第一对焦伺服马达12用于驱动第一可调焦镜头11进行对焦。第一可调焦镜头11可以安装在主相机1的相机头上。第一可调焦镜头11的对焦可以有两种模式，一种是手动模式，一种是自动对焦跟踪模式。在手动模式下，相机对焦可以由操作员执行，也可以进行远程控制。当有人调整对焦时，第一可调焦镜头11将以手动模式进行对焦。在自动对焦跟踪模式下，第一对焦伺服马达12将从对焦控制系统4接收对焦信号，并基于对焦信号驱动第一可调焦镜头11进行对焦。
主相机1通常使用串行数字接口(serial digital interface，SDI)或高清多媒体接口(High-Definition Multimedia Interface，HDMI)输出其所拍摄的视频和音频信号。
辅相机2通常使用SDI或HDMI接口输出视频和音频信号。辅相机2的视频分辨率可以与主相机1相同或更低。
辅相机2包括第二可调焦镜头21和第二对焦伺服马达22，第二对焦伺服马达22用于驱动第二可调焦镜头21进行对焦。第二可调焦镜头21的对焦可以有两种模式，一种是跟随模式，一种是自动对焦跟踪模式，以确保第二可调焦镜头21始终具有与第一可调焦镜头11相同的对焦。当第一可调焦镜头11通过手动模式进行对焦时，第二可调焦镜头21以跟随模式进行对焦，也即，对焦控制系统4会从第一可调焦镜头11获取其对焦距离，然后将该对焦距离发送给第二对焦伺服马达22，由第二对焦伺服马达22驱动第二可调焦镜头21将其对焦距离调整为与第一可调焦镜头11的对焦距离相同的值。在第一可调焦镜头11处于自动对焦跟踪模式的情况下，第二可调焦镜头21将以自动对焦跟踪模式进行对焦，也即第二对焦伺服马达22将从对焦控制系统4接收对焦信号，并基于该对焦信号驱动第二可调焦镜头21进行对焦。
辅相机2需要具备与主相机1相当的光学参数范围，也即处于同一水平或者相同的光学参数，这是因为辅相机2被用于估计主相机1的视野覆盖范围、曝光度、虚焦程度等因素，因此通过具有与主相机1相当的光学参数，能够在主相机1的参数发生调整时，辅相机2可以调整到同样的参数。例如，辅相机2的动态范围应与主相机1处于同一水平或相当；第二可调焦镜头21与第一可调焦镜头11共享相同的对焦范围/光圈范围参数，但不一定具有相同的质量；辅相机2具有与主相机1相同的曝光水平，为了实现相同的曝光水平，辅相机2可以使用ND/eND滤镜以降低光强度；第二可调焦镜头21具有与第一可调焦镜头11相同的焦距范围；辅相机2的快门速度将跟随主相机1的快门速度而变化。
第二可调焦镜头21内部安装有编码光圈，也即在第二可调焦镜头21的光圈位置具有存在着有编码图案的遮罩。由于编码光圈是安装在第二可调焦镜头21的光圈上，缩小光圈或者半开光圈将会改变编码光圈的成像，因此，编码光圈固定为全开。
另外，辅相机2安装在主相机1上或者与主相机1相邻，而且辅相机2的光轴与主相机1的光轴平行，辅相机2的焦平面尽可能地靠近主相机1的焦平面。如果两个焦平面不在同一平面上，则需要校准聚焦偏移。
同步系统3，用于使主相机1拍摄的图像和辅相机2拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像。帧级同步指的是多个相机在拍摄视频的时候，每一帧的开始曝光和结束曝光的时间同步。通过采用帧级同步，可以认为多个相机所拍摄到的画面是同一时刻的影像，也即实现了主辅相机拍摄的图像的帧同步对齐。
同步系统3可以采用各种各样的方式来实现上述的帧级同步。
例如，同步系统3可以使用同步锁相机制、主从控制机制等来实现上述的帧级同步。同步锁相机制、主从控制机制等可以被内置在主相机1和辅相机2内部，这样，在主相机1和辅相机2进行拍摄的时候就能够实现主相机1拍摄图像与辅相机2拍摄图像的帧级同步。
再例如，同步系统3还可以使用时间戳、音频同步机制等来实现上述的帧级同步。也即，同步系统3从主相机1和辅相机2分别接收其所拍摄的图像，然后通过检测时间戳的方式、音频同步的方式等来实现主辅相机拍摄图像的帧级同步。
对焦控制系统4，用于利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，向第一对焦伺服马达12和第二对焦伺服马达22发送对焦信号。
在一些实施例中，对焦控制系统4可以利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像进行反卷积计算得到离焦偏移。也即，由于编码光圈是安装在第二可调焦镜头21内部的，所以将在辅相机2拍摄到的图像的模糊区域上出现编码图案。当将第二可调焦镜头21安装在辅相机2上时，对该编码图案进行校准，并利用此信息并使用反卷积算法来计算模糊区域的离焦偏移。
通过采用上述技术方案，由于同步系统能够使主辅相机拍摄的图像进行帧级同步，对焦控制系统能够利用第二可调焦镜头内部安装的编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，向第一对焦伺服马达和第二对焦伺服马达发送对焦信号，因此能够实现精确的变焦和对焦，使得最终拍摄的图像清晰。
图2是根据本公开一种实施例的对焦跟踪系统的又一示意框图。如图2所示，对焦跟踪系统还包括动态范围增强系统5，用于：首先，将帧级同步辅相机图像映射到帧级同步主相机图像上，也即，来自辅相机的视频信号可能比主相机的分辨率低，但是由于它们共享相同的快门速度并且光轴平行，因此可以使用光学算法将来自辅相机的图像映射到主相机图像上；然后，基于映射结果，计算帧级同步辅相机图像和帧级同步主相机图像的色差，从而得到色彩校正参数；然后，基于色差对帧级同步辅相机图像进行色彩校正，得到与主相机1色彩响应一致的色彩校正后帧级同步辅相机图像，之所以进行色彩校正，是因为在本公开中是使用辅相机2对主相机1的信号进行增强、但是两个相机之间的色彩响应有可能存在着差异，因此在进行动态范围增强之前，需要先将辅相机2的彩色信号通过色彩校正、形成与主相机1响应一致的彩色信号；然后，利用色彩校正后帧级同步辅相机图像中的光强信号，对帧级同步主相机图像进行动态范围增强。
由于在设置大光圈值的情况下，相机的进光量减少，画面变暗，动态范围降低，因此通过上述的动态范围增强方案，就能够将由光圈值增大所导致的动态范围降低补偿回来，使得在利用大光圈值提升景深距离的情况下，通过动态范围增强来补偿调整光圈而损失的质量。
继续参考图2，根据本公开实施例的对焦跟踪系统还可以包括离焦检测与信号视觉增强系统6，用于：检测动态范围增强后的帧级同步主相机图像的离焦区域，并生成对应的掩膜，其中可以使用深度学习算法进行检测；基于掩膜将动态范围增强后的帧级同步主相机图像分成多个区域，例如，基于掩膜将动态范围增强后的帧级同步主相机图像按照离焦与否分成多个区域；利用信号视觉增强算法，例如生成式对抗网络(GenerativeAdversarial Networks，GAN)，来增强多个区域(主要是离焦区域)的视觉体验；将视觉增强后的多个区域重新组装成与动态范围增强后的帧级同步主相机图像的规格相同的输出信号。
通过采用上述技术方案，就能够通过信号视觉增强来提升离焦部分的图像质量，使得整体图像变得清晰。
图3是根据本公开一种实施例的对焦跟踪方法的流程图。该对焦跟踪方法应用于对焦跟踪系统，该对焦跟踪系统包括主相机1、辅相机2、同步系统3和对焦控制系统4，其中主相机1包括第一可调焦镜头11和第一对焦伺服马达12，第一对焦伺服马达12用于控制第一可调焦镜头11进行对焦，辅相机2包括第二可调焦镜头21和第二对焦伺服马达22，第二对焦伺服马达22用于控制第二可调焦镜头21进行对焦，第二可调焦镜头21内部安装有编码光圈，而且辅相机2具有与主相机1相当的光学参数。该对焦跟踪方法包括：
在步骤S31中，使主相机1拍摄的图像和辅相机2拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及
在步骤S32中，利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移；
在步骤S33中，基于离焦偏移，执行第一可调焦镜头11和第二可调焦镜头21的对焦。
通过采用上述技术方案，由于能够使主辅相机拍摄的图像进行帧级同步，利用第二可调焦镜头内部安装的编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，执行第一可调焦镜头和第二可调焦镜头的对焦，因此能够实现精确的变焦和对焦，使得最终拍摄的图像清晰。
可选地，所述光学参数包括动态范围、对焦范围、光圈范围、曝光水平、焦距范围和快门速度。
可选地，所述使主相机拍摄的图像和辅相机拍摄的图像进行帧级同步，包括：利用同步锁相机制、主从控制机制、时间戳机制和音频同步机制中的至少一者来使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步。
可选地，所述利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，包括：利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像进行反卷积计算得到所述离焦偏移。
可选地，所述对焦跟踪方法还包括：将所述帧级同步辅相机图像映射到所述帧级同步主相机图像上；基于映射结果，计算所述帧级同步辅相机图像和所述帧级同步主相机图像的色差；基于所述色差对所述帧级同步辅相机图像进行色彩校正，得到与所述主相机色彩响应一致的色彩校正后帧级同步辅相机图像；利用所述色彩校正后帧级同步辅相机图像中的光强信号，对所述帧级同步主相机图像进行动态范围增强。
可选地，所述对焦跟踪方法还包括：检测动态范围增强后的帧级同步主相机图像的离焦区域，并生成对应的掩膜；基于所述掩膜将所述动态范围增强后的帧级同步主相机图像分成多个区域；利用信号视觉增强算法增强所述多个区域的视觉体验；将视觉增强后的所述多个区域重新组装成与所述动态范围增强后的帧级同步主相机图像的规格相同的输出信号。
可选地，所述信号视觉增强算法为生成式对抗网络。
根据本公开实施例的对焦跟踪方法中各个步骤所执行操作的具体实施方式已经在相关对焦跟踪系统中进行了详细描述，此处不再赘述。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种对焦跟踪系统，其特征在于，包括主相机、辅相机、同步系统和对焦控制系统，其中：
所述主相机包括第一可调焦镜头和第一对焦伺服马达，所述第一对焦伺服马达用于驱动所述第一可调焦镜头进行对焦；
所述辅相机包括第二可调焦镜头和第二对焦伺服马达，所述第二对焦伺服马达用于驱动所述第二可调焦镜头进行对焦，所述第二可调焦镜头内部安装有编码光圈，而且所述辅相机具有与所述主相机相当的光学参数；
所述同步系统，用于使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及
所述对焦控制系统，用于利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于所述离焦偏移，向所述第一对焦伺服马达和所述第二对焦伺服马达发送对焦信号。
2.根据权利要求1所述的对焦跟踪系统，其特征在于，所述光学参数包括动态范围、对焦范围、光圈范围、曝光水平、焦距范围和快门速度。
3.根据权利要求1所述的对焦跟踪系统，其特征在于，所述辅相机安装在所述主相机上或者与所述主相机相邻，而且所述辅相机的光轴与所述主相机的光轴平行，所述辅相机的焦平面最大程度地靠近所述主相机的焦平面。
4.根据权利要求1所述的对焦跟踪系统，其特征在于，所述同步系统利用同步锁相机制、主从控制机制、时间戳机制和音频同步机制中的至少一者来使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步。
5.根据权利要求1所述的对焦跟踪系统，其特征在于，所述对焦控制系统利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像进行反卷积计算得到所述离焦偏移。
6.根据权利要求1所述的对焦跟踪系统，其特征在于，所述对焦跟踪系统还包括动态范围增强系统，用于：
将所述帧级同步辅相机图像映射到所述帧级同步主相机图像上；
基于映射结果，计算所述帧级同步辅相机图像和所述帧级同步主相机图像的色差；
基于所述色差对所述帧级同步辅相机图像进行色彩校正，得到与所述主相机色彩响应一致的色彩校正后帧级同步辅相机图像；
利用所述色彩校正后帧级同步辅相机图像中的光强信号，对所述帧级同步主相机图像进行动态范围增强。
7.根据权利要求6所述的对焦跟踪系统，其特征在于，所述对焦跟踪系统还包括离焦检测与信号视觉增强系统，用于：
检测动态范围增强后的帧级同步主相机图像的离焦区域，并生成对应的掩膜；
基于所述掩膜将所述动态范围增强后的帧级同步主相机图像分成多个区域；
利用信号视觉增强算法增强所述多个区域的视觉体验；
将视觉增强后的所述多个区域重新组装成与所述动态范围增强后的帧级同步主相机图像的规格相同的输出信号。
8.根据权利要求7所述的对焦跟踪系统，其特征在于，所述信号视觉增强算法为生成式对抗网络。
9.根据权利要求1至8中任一权利要求所述的对焦跟踪系统，其特征在于，所述对焦控制系统还用于，在所述第一可调焦镜头被手动对焦的情况下，获取所述第一可调焦镜头的对焦距离，并向所述第二对焦伺服马达发送所述第一可调焦镜头的对焦距离。
10.一种对焦跟踪方法，应用于对焦跟踪系统，其特征在于，所述对焦跟踪系统包括主相机、辅相机、同步系统和对焦控制系统，所述主相机包括第一可调焦镜头和第一对焦伺服马达，所述第一对焦伺服马达用于驱动所述第一可调焦镜头进行对焦，所述辅相机包括第二可调焦镜头和第二对焦伺服马达，所述第二对焦伺服马达用于驱动所述第二可调焦镜头进行对焦，所述第二可调焦镜头内部安装有编码光圈，而且所述辅相机具有与所述主相机相当的光学参数；所述方法包括：
使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及
利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像，计算离焦偏移；
基于所述离焦偏移，执行所述第一可调焦镜头和所述第二可调焦镜头的对焦。
CN202110501322.4A 2020-05-27 2021-05-08 对焦跟踪系统与方法 Active CN113747052B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063030603P 2020-05-27 2020-05-27
US63/030,603 2020-05-27

Publications (2)

Publication Number Publication Date
CN113747052A CN113747052A (zh) 2021-12-03
CN113747052B true CN113747052B (zh) 2023-05-12

Family

ID=78704425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110501322.4A Active CN113747052B (zh) 2020-05-27 2021-05-08 对焦跟踪系统与方法

Country Status (2)

Country Link
US (1) US11265486B2 (zh)
CN (1) CN113747052B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205920270U (zh) * 2016-07-12 2017-02-01 上海交通大学 用于高速显微扫描的动态对焦装置
CN109491079A (zh) * 2018-12-12 2019-03-19 天津津航技术物理研究所 基于旋转编码光圈的全聚焦成像系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4732748B2 (ja) * 2004-07-02 2011-07-27 ソニー株式会社 電子式カメラ及び自動フォーカス方法
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
KR102672599B1 (ko) * 2016-12-30 2024-06-07 삼성전자주식회사 Af 방법 및 이를 수행하는 전자 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205920270U (zh) * 2016-07-12 2017-02-01 上海交通大学 用于高速显微扫描的动态对焦装置
CN109491079A (zh) * 2018-12-12 2019-03-19 天津津航技术物理研究所 基于旋转编码光圈的全聚焦成像系统

Also Published As

Publication number Publication date
US20210377456A1 (en) 2021-12-02
CN113747052A (zh) 2021-12-03
US11265486B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
CN108989647B (zh) 双孔径变焦数字摄影机
US8502863B2 (en) Stereoscopic imaging apparatus
TWI432870B (zh) 影像處理系統及自動對焦方法
US8634711B2 (en) Image capture apparatus and method
CN103098457B (zh) 立体成像装置和立体成像方法
US8447179B2 (en) Method and apparatus for applying multi-autofocusing (AF) using contrast AF
TW201320734A (zh) 產生背景模糊的影像處理方法及其影像擷取裝置
JP2012124622A (ja) 撮像装置
CN106506939B (zh) 一种图像采集装置及采集方法
JP2010213083A (ja) 撮像装置および方法
KR101327228B1 (ko) 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치
JP2013160832A (ja) 光学機器
US20130107014A1 (en) Image processing device, method, and recording medium thereof
JP2008288706A (ja) 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP2010154310A (ja) 複眼カメラ及び撮影方法
EP2611170A1 (en) Stereography device and stereography method
US20210144291A1 (en) Lowpass filter control apparatus, lowpass filter control method, and imaging apparatus
JP2015175982A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014036362A (ja) 撮像装置、その制御方法、および制御プログラム
JP2010135984A (ja) 複眼撮像装置及び撮像方法
CN113747052B (zh) 对焦跟踪系统与方法
CN103098458B (zh) 立体成像装置和立体成像方法
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
CN111861911B (zh) 基于引导相机的立体全景图像增强方法和系统
WO2014136703A1 (ja) 撮像装置及び画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant