CN114650410B - 用于多波段多通的摄像模组的主动校准方法及系统 - Google Patents

用于多波段多通的摄像模组的主动校准方法及系统 Download PDF

Info

Publication number
CN114650410B
CN114650410B CN202011499687.XA CN202011499687A CN114650410B CN 114650410 B CN114650410 B CN 114650410B CN 202011499687 A CN202011499687 A CN 202011499687A CN 114650410 B CN114650410 B CN 114650410B
Authority
CN
China
Prior art keywords
light
camera module
images
band
wave band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011499687.XA
Other languages
English (en)
Other versions
CN114650410A (zh
Inventor
单施洁
徐杰伟
陆旭凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuyao Sunny Optical Intelligence Technology Co Ltd
Original Assignee
Yuyao Sunny Optical Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuyao Sunny Optical Intelligence Technology Co Ltd filed Critical Yuyao Sunny Optical Intelligence Technology Co Ltd
Priority to CN202011499687.XA priority Critical patent/CN114650410B/zh
Publication of CN114650410A publication Critical patent/CN114650410A/zh
Application granted granted Critical
Publication of CN114650410B publication Critical patent/CN114650410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种用于多波段多通的摄像模组的主动校准方法及系统。所述方法,包括:投射一第一波段的光至该摄像模组;接收由该感光芯片在所述第一波段的光下采集的多张第一图像;投射一第二波段的光至该摄像模组;接收由该感光芯片在所述第二波段的光下采集的多张第二图像;确定第一离焦曲线和第二离焦曲线;确定第一最佳光学后焦值和第二最佳光学后焦值;以预设权重计算所述第一最佳光学后焦值和所述第二最佳光学后焦值的加权和,以获得最终的光学后焦值;以及调整该光学镜头与该感光芯片之间的距离。这样,综合地考虑了所述摄像模组在不同波段下的最佳光学后焦值,以使得最终确定的光学后焦值能够兼顾摄像模组在不同波段下的成像质量。

Description

用于多波段多通的摄像模组的主动校准方法及系统
技术领域
本申请涉及摄像模组领域,且更为具体地,涉及一种用于多波段多通的摄像模组的主动校准方法及系统。
背景技术
近年来,摄像模组在诸如医疗、安防、工业生产、生活等诸多的领域中的得到了广泛的应用。摄像模组包括线路板、感光芯片、镜座、滤光片和光学镜头等部件,其中,感光芯片用于接收成像光线并发生成像反应以对被摄目标进行成像。
摄像模组可利用不同波段的光进行成像。在可见光充足的应用场景中(例如,在白天场景中),摄像模组可利用可见光进行成像;在可见光不足的场景中(例如,在夜晚场景中),摄像模组则可以利用可见光以外的光进行成像,例如,利用红外光进行成像。
为了使得摄像模组能够在不同应用场景中皆能够得以应用,市场上出现了一种多波段多通摄像模组,例如,应用于车载摄像头的双波段双通摄像模组,其能够在可见光充足的条件下利用可加光进行成像,在可加光不足的条件下利用红外光进行成像。
具体地,具有多波段多通功能的摄像模组在其内部设有一组滤光片,其能够基于外界光线条件切换适配的滤光片来进行成像。例如,应用于车载摄像头的双波段双通摄像模组,其包括两片滤光片:红外滤光片和可见滤光片。在白天等可见光充足的应用场景中,红外滤光片处于工作状态(可见滤光片处于备用状态),以用于过滤成像光线中的红外光,以防止红外光对成像质量造成干扰。在晚上等可见光不足的应用场景中,可见滤光片被切换至工作状态(红外滤光片处于备用状态),可见滤光片允许红外光透过,以藉由红外光形成红外图像。
然而,在多波段多通摄像模组的实际应用过程中却发现一个问题:多波段多通摄像模组在不同成像条件下所获得的图像无法都具有令人满意的成像质量。
究其原因发现:在现有的摄像模组的组装过程中,其以摄像模组常用的工作波段为基准来确定所需要的光学后焦值,也就是,摄像模组在组装完成后具有一固定的光学后焦。然而,不同波段对应不同的光学后焦最佳值(这里,光学后焦最佳值表示在特定波段下具有最佳成像质量对应的光学后焦值)。因此,在摄像模组实际的成像过程中,其出现了在一种波段下成像质量满足要求,却在另一波段下成像质量较低的问题。
因此,期待一种优化的摄像模组的设计方案,以使得其能够兼顾各个波段下采集的图像的成像质量。
发明内容
本发明的一个优势在于提供一用于多波段多通的摄像模组的主动校准方法及系统,其中,所述校准方法在确定所述摄像模组的光学后焦的过程中,综合地考虑了所述摄像模组在不同波段下的最佳光学后焦值,以使得最终确定的光学后焦值能够兼顾摄像模组在不同波段下采集的图像的成像质量。
本发明的另一优势在于提供了一用于多波段多通的摄像模组的主动校准方法及系统,其中,所述校准方法能够主动地校准所述摄像模组的光学后焦值,使得所述摄像模组在不同波段下所采集的图像皆具有相对较高的成像质量。
本发明的又一优势在于提供了一用于多波段多通的摄像模组的主动校准方法及系统,所述校准方法通过计算所述摄像模组在不同波段下的最佳光学后焦值的加权和以确定最终的光学后焦值,通过这样的方式,使得该最终确定的光学后焦值能够综合地考虑所述摄像模组在不同波段下的最佳光学后焦值,从而确保所述摄像模组在不同波段下采集的图像皆具有相对较高的成像质量。
为了实现上述至少一优势或其他优势和目的,根据本申请的一个方面,提供了一种主动校准方法,用于校准多波段多通的摄像模组的光学后焦,该摄像模组包括一感光芯片和保持于该感光芯片的感光路径上的一光学镜头,该光学镜头的光学表面顶点至该感光芯片的距离被设定为光学后焦,其中,所述主动校准方法,包括:
通过一光源投射一第一波段的光至待组装的该摄像模组;
接收由该感光芯片在所述第一波段的光下采集的多张第一图像,在该感光芯片采集所述多张第一图像的过程中,该摄像模组的光学后焦被调整;
通过所述光源投射一第二波段的光至待组装的该摄像模组;
接收由该感光芯片在所述第二波段的光下采集的多张第二图像,在该感光芯片采集所述多张第二图像的过程中,该摄像模组的光学后焦被调整;
基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线,所述第一离焦曲线和所述第二离焦曲线的横坐标为光学后焦值,纵坐标为成像质量;
基于所述第一离焦曲线和所述第二离焦曲线,确定该摄像模组在所述第一波段的光下的第一最佳光学后焦值和该摄像模组在第二波段的光下的第二最佳光学后焦值;
以预设权重计算所述第一最佳光学后焦值和所述第二最佳光学后焦值的加权和,以获得最终的光学后焦值;以及
基于所述最终的光学后焦值,调整该光学镜头与该感光芯片之间的距离。
在根据本申请的主动校准方法中,接收由该感光芯片在所述第一波段的光下采集的多张第一图像,包括:接收由该感光芯片在所述第一波段的光下采集的第一预设数量的第一图像;以及,以预设帧数间隔从所述第一预设数量的第一图像中筛选出所述多张第一图像。
在根据本申请的主动校准方法中,接收由该感光芯片在所述第二波段的光下采集的多张第二图像,包括:接收由该感光芯片在所述第二波段的光下采集的第二预设数量的第二图像;以及,以所述预设帧数间隔从所述第二预设数量的第二图像中筛选出所述多张第二图像。
在根据本申请的主动校准方法中,所述预设帧数间隔为大于等于2帧。
在根据本申请的主动校准方法中,所述多张第一图像的数量大于等于15张,所述多张第二图像的数量大于等于15张。
在根据本申请的主动校准方法中,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在第二波段的光下的第二离焦曲线,包括:获取所述多张第一图像中各张第一图像的光学后焦值及其对应的成像质量;获取所述多张第二图像中各张第二图像的光学后焦值及其对应的成像质量;基于所述多张第一图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在所述第一波段的光下的第一离焦曲线;以及,基于所述多张第二图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第二波段的光下的第二离焦曲线。
在根据本申请的主动校准方法中,基于所述多张第一图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在所述第一波段的光下的第一离焦曲线,包括:通过高斯拟合出该摄像模组在所述第一波段的光下的第一离焦曲线;其中,基于所述多张第二图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第二波段的光下的第二离焦曲线,包括:通过高斯拟合出该摄像模组在第二波段的光下的第二离焦曲线。
在根据本申请的主动校准方法中,所述预设权重被设定为:所述第一最佳光学后焦值的权重值为0.5和所述第二最佳光学后焦值的权重值为0.5。
在根据本申请的主动校准方法中,所述第一波段的光为可见光,所述第二波段的光为红外光。
在根据本申请的主动校准方法中,所述光源以预设频率投射所述第一波段的光和所述第二波段的光,所述预设频率小于等于该感光芯片的工作频率的1/2。
在根据本申请的主动校准方法中,通过该光源投射一第二波段的光至待组装的该摄像模组,包括:通过该光源投射所述第二波段中第一波长的光至待组装的该摄像模组;通过该光源投射所述第二波段中第二波长的光至待组装的该摄像模组;通过该光源投射所述第二波段中第三波长的光至待组装的该摄像模组;其中,接收由该感光芯片在所述第二波段的光下采集的多张第二图像,包括:接收由该感光芯片在所述第二波段的第一波长的光下采集的多张第三图像;接收由该感光芯片在所述第二波段的第二波长的光下采集的多张四个图像;以及,接收由该感光芯片在所述第二波段的第三波长的光下采集的多张五图像。
在根据本申请的主动校准方法中,基于所述多张第二图像,确定该摄像模组在第二波段的光下的第二离焦曲线,包括:基于所述多张第三图像,确定该摄像模组在所述第二波段的第一波长光下的第三离焦曲线;基于所述多张第四图像,确定该摄像模组在所述第二波段的第二波长光下的第四离焦曲线;基于所述多张第五图像,确定该摄像模组在所述第二波段的第三波长光下的第五离焦曲线;以及,以平均权重计算所述第三离焦曲线、所述第四离焦曲线和所述第五离焦曲线的加权和,以获得该摄像模组在第二波段的光下的第二离焦曲线。
在根据本申请的主动校准方法中,所述第二波段的第一波长、第二波长和第三波长分别为760nm、850nm和940nm。
根据本申请的另一方面,提供了一种主动校准系统,用于对多波段多通的摄像模组进行主动校准,其中,所述主动校准系统,包括:
一主体,所述主体包括用于安装该摄像模组的安装台;
用于向该摄像模组投射光的一光源;以及
可通信地连接于该摄像模组和所述光源的一计算设备,所述计算设备,用于执行如上述所述的主动校准方法。
通过对随后的描述和附图的理解,本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势,通过下述的详细说明,附图和权利要求得以充分体现。
附图说明
图1示出了根据本申请实施例的用于多波段多通的摄像模组的主动校准方法的流程图。
图2图示了根据本申请实施例的双波段双通摄像模组的结构示意图。
图3图示了根据本申请实施例的用于多波段多通的摄像模组的主动校准方法中,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线的流程图。
图4图示了根据本申请实施例的用于多波段多通的摄像模组的主动校准方法中,基于所述多张第二图像确定该摄像模组在所述第二波段的光下的第二离焦曲线的流程图。
图5示出了根据本申请实施例的主动校准方法确定的所述摄像模组的第一离焦曲线和第二离焦曲线的示意图。
图6示出了根据本申请实施例的用于多波段多通的摄像模组的主动校准系统框图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
示例性方法
如上所述,现有的多波段多通摄像模组在不同的成像条件下所获得的图像无法都具有令人满意的成像质量。究其原因发现:在现有的摄像模组的组装过程中,其以摄像模组常用的工作波段为基准来确定所需要的光学后焦值。也就是,摄像模组在组装完成后具有一固定的光学后焦,然而,不同波段却对应不同的光学后焦最佳值(这里,光学后焦最佳值表示在特定波段下具有最佳成像质量对应的光学后焦值)。因此,在摄像模组实际的成像过程中,其出现了在常用波段下成像质量满足要求,却在另一波段下成像质量较低的问题。
为了解决上述技术问题,本申请提出了一种主动校准方法,用于校准多波段多通的摄像模组的光学后焦。特别地,所述校准方法在确定所述摄像模组的光学后焦的过程中,综合地考虑了所述摄像模组在不同波段下的最佳光学后焦值,以使得最终确定的光学后焦值能够兼顾摄像模组在不同波段下采集的图像的成像质量。
为了便于说明和理解,以下以多波段多通摄像模组被实施为双波段双通摄像模组为示例来说明根据本申请实施例的主动校准方法。更具体地,所述双波段双通摄像模组的双通波段为:可见光波段和外光波段,也就是,所述双波段双通摄像模组不仅能够利用可见光波段形成彩色图像,而且能够利用红外波段形成红外图像。在结构上,所述双波段双通摄像模组通过可见滤色片和红外滤色片之间的切换来实现上述功能。
图1示出了根据本申请实施例的用于多波段多通的摄像模组的主动校准方法的流程图。如图1所示,根据本申请实施例的主动校准方法,包括:S110,通过一光源投射一第一波段的光至待组装的该摄像模组;S120,接收由该感光芯片在所述第一波段的光下采集的多张第一图像;S130,通过所述光源投射一第二波段的光至待组装的该摄像模组;S140,接收由该感光芯片在所述第二波段的光下采集的多张第二图像;S150,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线,所述第一离焦曲线和所述第二离焦曲线的横坐标为光学后焦值,纵坐标为成像质量;S160,基于所述第一离焦曲线和所述第二离焦曲线,确定该摄像模组在第一波段的光下的第一最佳光学后焦值和该摄像模组在所述第二波段的光下的第二最佳光学后焦值;S170,以预设权重计算所述第一最佳光学后焦值和所述第二最佳光学后焦值的加权和,以获得最终的光学后焦值;以及,S180,基于所述最终的光学后焦值,调整该光学镜头50与该感光芯片20之间的距离。
在步骤S110中,通过一光源投射一第一波段的光至待组装的该摄像模组。相应地,在步骤S110中,所述双波段双通摄像模组被切换至在第一光通波段下进行工作,以接收所述光源投射的所述第一波段的光并进行成像。更明确地,所述第一波段的光为可见光,例如,白光。
具体地,如图2所示,在本申请实施例中,所述双波段双通摄像模组,自下而上包括:线路板10、电连接于线路板10的感光芯片20、被设置于所述线路板10上的镜座30、被设置于镜座30上的滤色片40,以及,被支持于所述镜座30上的光学镜头50。相应地,所述光源所投射的所述第一波段的光在被所述光学镜头50所采集后在所述光学镜头50处发生折射,接着沿着其传播路径通过所述滤色片40并最终抵达所述感光芯片20,其中,所述感光芯片20在接收到所述第一波段的光后发生光电反应以生成图像。
为了测得所述双波段双通摄像模组对应于第一波段的光的最佳光学后焦值,在所述光源投射所述第一波段的光至所述摄像模组的过程中,所述摄像模组的光学后焦值被调整。也就是,在所述光源投射所述第一波段的光至所述摄像模组的过程中,所述摄像模组的所述光学镜头50相对于所述感光芯片20之间的距离被调整。应可以理解,在调整所述摄像模组的光学后焦值的过程中,所述摄像模组所采集的图像的成像质量将发生改变,因此,可基于光学后焦值与所采集的图像的成像质量的关系,确定所述摄像模组在第一波段的光的最佳光学后焦值。
值得一提的是,在本申请实施例中,为了确保所述摄像模组能够采集到相对清晰的图像而不会发生动态模糊,优选地,所述感光芯片20的工作频率大于等于所述光源投射光的频率。也就是,在本申请实施例中,所述光源以预设频率投射所述第一波段的光,所述预设频率小于等于该感光芯片20的工作频率的1/2。
在步骤S120中,接收由该感光芯片20在所述第一波段的光下采集的多张第一图像。也就是,接收来自所述摄像模组所采集的在所述第一波段的光下的多张第一图像。
具体地,在本申请一个具体的示例中,接收由该感光芯片20在所述第一波段的光下采集的多张第一图像的过程,包括:首先,从所述摄像模组接收其在所述第一波段的光下采集的第一预设数量的第一图像。然后,以预设帧数间隔从所述第一预设数量的第一图像中筛选出所述多张第一图像。这里,以预设帧数间隔从所述摄像模组所采集的图像中筛选出所述多张第一图像的原因为:所述摄像模组在采集图像的过程中所述摄像模组的光学后焦值在逐渐地被改变,因此,如果时间间隔较短,所述摄像模组所采集的图像的成像质量之间的差异较小,不利于分析与计算。优选地,在本申请实施例中,所述预设帧数间隔为大于等于2帧,所述多张第一图像的数量大于等于15张。
当然,在本申请其他示例中,所述预设帧数间隔也可被设置为其他值,例如,每隔1帧,对此,并不为本申请所局限。也当然,在本申请其他示例中,所述多张第一图像的数量也可以小于15张,例如,12张,对此,同样并不为本申请所局限。
在步骤S130中,通过所述光源投射一第二波段的光至待组装的该摄像模组。相应地,在步骤S130中,所述双波段双通摄像模组被切换至在第二光通波段下进行工作,以接收所述光源投射的所述第二波段的光并进行成像。更明确地,所述波段波段的光为红外光。相应地,所述光源所投射的所述第二波段的光在被所述光学镜头50所采集后在所述光学镜头50处发生折射,接着沿着其传播路径通过所述滤色片40并最终抵达所述感光芯片20,其中,所述感光芯片20在接收到所述第二波段的光后通过光电反应生成图像。
应可以理解,所述摄像模组的所述光学镜头50对不同波段的光具有不同的折射能力,因此,在不同波段下,所述摄像模组具有不同的最佳光学后焦值。
同样地,为了测得所述双波段双通摄像模组对应于第二波段的光的最佳光学后焦值,在所述光源投射所述第二波段的光至所述摄像模组的过程中,所述摄像模组的光学后焦值被调整。也就是,在所述光源投射所述第二波段的光至所述摄像模组的过程中,所述摄像模组的所述光学镜头50相对于所述感光芯片20之间的距离被调整。应可以理解,在调整所述摄像模组的光学后焦值的过程中,所述摄像模组所采集的图像的成像质量将发生改变,因此,可基于光学后焦值与所采集的图像的成像质量的关系,确定所述摄像模组在第二波段的光的最佳光学后焦值。
同样地,为了确保所述摄像模组能够采集到清晰的图像而不会发生动态模糊,优选地,所述感光芯片20的工作频率大于等于所述光源投射光的频率,也就是,在本申请实施例中,所述光源以预设频率投射所述第二波段的光,所述预设频率小于等于该感光芯片20的工作频率的1/2。
在步骤S140中,接收由该感光芯片20在所述第二波段的光下采集的多张第二图像。也就是,接收来自所述摄像模组所采集的在所述第二波段的光下的多张第二图像。
具体地,在本申请一个具体的示例中,接收由该感光芯片20在所述第二波段的光下采集的多张第二图像的过程,包括:首先,从所述摄像模组接收其在所述第二波段的光下采集的第二预设数量的第二图像;然后,以预设帧数间隔从所述第二预设数量的第二图像中筛选出所述多张第二图像。这里,以预设帧数间隔从所述摄像模组所采集的图像中筛选出所述多张第二图像的原因为:所述摄像模组在采集图像的过程中所述摄像模组的光学后焦值在逐渐地被改变,因此,如果时间间隔较短,所述摄像模组所采集的图像的成像质量之间的差异较小,不利于分析与计算。
与步骤S120相一致,在本申请实施例中,所述预设帧数间隔同样为大于等于2帧,所述多张第二图像的数量大于等于15张。并且,在本申请实施例中,所述多张第一图像和所述多张第二图像之间的数量可相等,也可以不相等,对此,同样并不为本申请所局限。
当然,在本申请其他示例中,所述预设帧数间隔也可被设置为其他值,例如,每隔1帧,对此,并不为本申请所局限。也当然,在本申请其他示例中,所述多张第二图像的数量也可以小于15张,例如,12张,对此,同样并不为本申请所局限。
值得一提的是,在步骤S110和步骤S130中,即,在通过所述光源投射所述第一波段的光和投射所述第二波段的光至待组装的该摄像模组的过程中,可投射所述第一波段的光和/或所述第二波段的光中的一种波长的光,也可依次投射所述第一波段的光和/或所述第二波段的光中两种及两种以上不同波长的光。应可以理解,当投射所述第一波段的光和/或所述第二波段的光中两种及两种以上不同波长的光时,测量精度会提高。
具体地,以投射所述第二波段的光为例,在本申请实施例中,通过所述光源投射所述第二波段的光至待组装的所述摄像模组的过程,可包括通过所述光源依次投射所述第二波段中多种不同波长的光至所述摄像模组。例如,首先通过所述光源投射所述第二波段中第一波长的光至待组装的该摄像模组;接着,通过所述光源投射所述第二波段中第二波长的光至待组装的该摄像模组;然后,通过所述光源投射所述第二波段中第三波长的光至待组装的该摄像模组。这里,在一个示例中,所述第二波段中第一波长,第二波长,第三波长分别为760nm、850nm和940nm。
相应地,所述摄像模组可在所述第二波段的第一波长的光下采集的多张第三图像,可在所述第二波段的第二波长的光下采集的多张第四个图像,以及,在在所述第二波段的第三波长的光下采集的多张第五图像。应可以理解,通过所述多张第三图像、所述多张第四图像和所述多张第五图像,可进一步确定该摄像模组在同一波段中不同波长下的成像特性。
在步骤S150中,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线,所述第一离焦曲线和所述第二离焦曲线的横坐标为光学后焦值,纵坐标为成像质量。
具体地,在本申请实施例中,基于所述多张第一图像确定该摄像模组在所述第一波段的光下的第一离焦曲线的过程,包括:首先,获取所述多张第一图像中各张第一图像的光学后焦值及其对应的成像质量,例如,通过MTF(Modulation Transfer Function,调制传递函数)来对分析所述第一图像的成像质量。接着,基于所述多张第一图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第一波段的光下的第一离焦曲线。这里,摄像模组的光学后焦值与成像质量在概率分布上符合正态分布,因此,在本申请实施例中,优选地,以高斯分布拟合出该摄像模组在第一波段的光下的第一离焦曲线。进而,通过所述第一离焦曲线,便可以确定所述摄像模组在所述第一波段下对应的第一最佳光学后焦值。
具体地,在本申请实施例中,基于所述多张第二图像确定该摄像模组在所述第二波段的光下的第二离焦曲线的过程,包括:首先,获取所述多张第二图像中各张第二图像的光学后焦值及其对应的成像质量,例如,通过MTF(Modulation Transfer Function,调制传递函数)来对分析所述第二图像的成像质量。然后,基于所述多张第二图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第二波段的光下的第二离焦曲线。同样地,优选地,以高斯分布拟合出该摄像模组在第二波段的光下的第二离焦曲线。进而,通过所述第一离焦曲线,便可以确定所述摄像模组在所述第二波段下对应的第二最佳光学后焦值。
图3图示了根据本申请实施例的用于多波段多通的摄像模组的主动校准方法中,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线的流程图。如图3所示,在本申请实施例中,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线,包括:S210,获取所述多张第一图像中各张第一图像的光学后焦值及其对应的成像质量;S220,获取所述多张第二图像中各张第二图像的光学后焦值及其对应的成像质量;S230,基于所述多张第一图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第一波段的光下的第一离焦曲线;以及,S240,基于所述多张第二图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第二波段的光下的第二离焦曲线。
如前所述,在本申请实施例中,在步骤S110和步骤S130中,所述光源可投射所述第一波段的光和/或所述第二波段的光中两种及两种以上不同波长的光至该摄像模组。同样,以投射所述第二波段中第一波长、第二波长和第三波长的光以获得多张第三图像、多张第四图像和多张第五图像为例,在本申请实施例中,基于所述多张第二图像确定该摄像模组在所述第二波段的光下的第二离焦曲线的过程,包括:首先基于所述多张第三图像,确定该摄像模组在所述第二波段的第一波长光下的第三离焦曲线,也就是,基于所述多张第三图像中各张第三图像的光学后焦值及其对应的成像质量,并通过高斯拟合生成所述第三离焦曲线。
接着,基于所述多张第四图像,确定该摄像模组在所述第二波段的第二波长光下的第四离焦曲线,也就是,基于所述多张第四图像中各张第四图像的光学后焦值及其对应的成像质量,并通过高斯拟合生成所述第四离焦曲线。
然后,基于所述多张第五图像,确定该摄像模组在所述第二波段的第三波长光下的第五离焦曲线,也就是,基于所述多张第五图像中各张第五图像的光学后焦值及其对应的成像质量,并通过高斯拟合生成所述第五离焦曲线。
进而,在获得所述第三离焦曲线、所述第四离焦曲线和所述第五离焦曲线后,可以平均权重计算所述第三离焦曲线、所述第四离焦曲线和所述第五离焦曲线的加权和,以获得该摄像模组在第二波段的光下的第二离焦曲线。
图4图示了根据本申请实施例的用于多波段多通的摄像模组的主动校准方法中,基于所述多张第二图像确定该摄像模组在所述第二波段的光下的第二离焦曲线的流程图。如图4所示,在本申请实施例中,基于所述多张第二图像确定该摄像模组在所述第二波段的光下的第二离焦曲线,包括:S310,基于所述多张第三图像,确定该摄像模组在所述第二波段的第一波长光下的第三离焦曲线;S320,基于所述多张第四图像,确定该摄像模组在所述第二波段的第二波长光下的第四离焦曲线;S330,基于所述多张第五图像,确定该摄像模组在所述第二波段的第三波长光下的第四离焦曲线;以及,S340,以平均权重计算所述第三离焦曲线、所述第四离焦曲线和所述第五离焦曲线的加权和,以获得该摄像模组在第二波段的光下的第二离焦曲线。
当然,在本申请其他示例中,还可以通过其他方式对所述多张第三图像、所述多张第四图像和所述多张第五图像进行处理,以获得该摄像模组在第二波段的光下的第二离焦曲线,对此,并不为本申请所局限。
在步骤S160中,基于所述第一离焦曲线和所述第二离焦曲线,确定该摄像模组在第一波段的光下的第一最佳光学后焦值和该摄像模组在第二波段的光下的第二最佳光学后焦值。这里,所述第一最佳光学后焦值对应于所述摄像模组在所述第一波段的光下采集图像的成像质量最佳的位置,所述第二最佳光学后焦值对应于所述摄像模组在所述第二波段的光下采集图像的成像质量最佳的位置。
以可见光和波长为850nm的红外光为例,图5示出了根据本申请实施例的主动校准方法确定的所述摄像模组的第一离焦曲线和第二离焦曲线的示意图。如图5所示,离焦曲线1和离焦曲线2分别对应于可见光和波长为850nm的红外光的离焦曲线,所述离焦曲线的横坐标为光学后焦值,纵坐标为成像质量。如图5所示,当光学后焦值为所述第一最佳光学后焦值时,离焦曲线1的纵坐标达到最高值,即该摄像模组在可见光下采集的图像的成像质量最佳,当光学后焦值为所述第二最佳光学后焦值时,离焦曲线2的纵坐标达到最高值,即该摄像模组在波长为850nm的红外光下采集的图像的成像质量最佳。
在步骤S170中,以预设权重计算所述第一最佳光学后焦值和所述第二最佳光学后焦值的加权和,以获得最终的光学后焦值。如前所述,在现有的摄像模组的组装过程中,其以摄像模组常用的工作波段为基准来确定所需要的光学后焦值。也就是,摄像模组在组装完成后具有一固定的光学后焦,然而,不同波段却对应不同的光学后焦最佳值。因此,在摄像模组实际的成像过程中,其出现了在常用波段下成像质量满足要求,却在另一波段下成像质量较低的问题。
对应到本申请实施例中,当所述摄像模组的光学后焦值被设定为所述第一最佳光学后焦值时,所述摄像模组在第一波段的光下具有最佳的成像质量,该摄像模组在所述第二波段的光下采集的图像的成像质量可能较差,图像较模糊。相应地,当该摄像模组的光学后焦值为所述第二最佳光学后焦值时,该摄像模组在所述第二波段的光下采集的图像的成像质量最佳,然而,在所述第一波段的光下采集的图像的成像质量可能较差,图像比较模糊。这是由于所述第一波段的光和所述第二波段的光对应的最佳光学后焦值存在差异造成的。
为了解决上述问题,在本申请的技术方案中,综合地考虑了所述摄像模组在不同波段下的最佳光学后焦值,以使得最终确定的光学后焦值能够兼顾摄像模组在不同波段下采集的图像的成像质量。
具体地,以预设权重计算所述第一最佳光学后焦值和所述第二最佳光学后焦值的加权和,以获得最终的光学后焦值。也就是,最终确定的所述光学后焦值在所述第一最佳光学后焦值和所述第二最佳光学后焦值之间,以使得所述摄像模组能够兼顾两种不同波段的光的成像质量。
在本申请一个具体的示例中,所述预设权重为:所述第一最佳光学后焦值的权重值为0.5,所述第二最佳光学后焦值的权重值为0.5。也就是,在该具体示例中,平均地看待所述摄像模组在两个不同波段下采集的图像的成像质量的重要性。当然,在申请其他示例中,所述预设权重可以被设置为其他值,例如,在实际应用中,如果在所述第一波段的光下采集的图像的成像质量比较重要,则相应地可增加所述第一最佳光学后焦值的权重值,相应地,如果在所述第一波段的光下采集的图像的成像质量的重要程度较低,则相应地可减少所述第一最佳光学后焦值的权重值。
在步骤S180中,基于所述最终的光学后焦值,调整该光学镜头50与该感光芯片20之间的距离。也就是,以所述最终的光学后焦值作为所述摄像模组的光学后焦值,并做出调整。
综上,根据本申请实施例的用于多波段多通的摄像模组的主动校准方法被阐明,其在确定所述摄像模组的光学后焦的过程中,综合地考虑了所述摄像模组在不同波段下的最佳光学后焦值,以使得最终确定的光学后焦值能够兼顾摄像模组在不同波段下采集的图像的成像质量。
虽然,以上所述多波段多通摄像模组以双波段双通摄像模组为示例,本领域普通技术人员应可以理解,根据本申请的所述主动校准方法还能够被应用于其他多波段多通摄像模组,例如,三波段三通摄像模组,对此,并不为本申请所局限。
示例性系统
图6示出了根据本申请实施例的用于多波段多通的摄像模组的主动校准系统框图。
根据本申请实施例的主动校准系统800,包括:一主体810,所述主体包括用于安装该摄像模组的安装台811;用于向该摄像模组投射光的一光源820;以及,可通信地连接于该摄像模组和所述光源的一计算设备830,所述计算设备用于执行如上所述的主动校准方法。
在一个示例中,在根据本申请的所述主动校准系统中,所述光源820可以预设频率投射不同波段的光,比如:可见光和红外光。且所述预设频率小于等于该摄像模组的感光芯片的工作频率的1/2,以避免因所述光源的预设频率过高而导致该摄像模组的该感光芯片采集到的图像不清晰。此外,所述光源820可投射不同波段的光至待组装的该摄像模组,以使得该摄像模组可在不同波段的光下采集图像。
在一个示例中,在根据本申请的所述主动校准系统中,所述计算设备830可接收由该摄像模组的该感光芯片在不同波段的光下采集的图像,且获得接收到的图像的光学后焦值及其对应的成像质量,拟合得到该摄像模组在不同波段的光下的离焦曲线,所述离焦曲线的横坐标为光学后焦值,纵坐标为成像质量,其中,拟合得到该摄像模组在不同波段的光下的离焦曲线的方式可以为高斯拟合。不同波段的光对应的最佳光学后焦值不同,所述计算设备830可以预设权重计算不同波段的光对应的最佳光学后焦值的加权和,以获得最终的光学后焦值。进而兼顾该摄像模组在不同光照条件下的成像质量,使得该摄像模组在不同光照条件下均可获得比较清晰的图像。
在一个示例中,在根据本申请的所述主动校准系统中,所述计算设备830可对接收到的由该感光芯片在不同波段的光下采集的图像以预设帧数间隔进行筛选,其中,以预设帧数间隔进行筛选的过程中,所述预设帧数间隔为大于等于2帧。接收到的由该感光芯片采集的图像中可能出现画面模糊的图像,可以通过筛选的方式得到特定数量的利于数据分析的图像。进一步地,通过筛选得到的该感光芯片在各波段的光下采集的图像的数量大于等于15张。

Claims (13)

1.一种主动校准方法,用于校准多波段多通的摄像模组的光学后焦,该摄像模组包括一感光芯片和保持于该感光芯片的感光路径上的一光学镜头,该光学镜头的光学表面顶点至该感光芯片的距离被设定为光学后焦,其特征在于,包括:
通过一光源投射一第一波段的光至待组装的该摄像模组;
接收由该感光芯片在所述第一波段的光下采集的多张第一图像,其中,在该感光芯片采集所述多张第一图像的过程中,该摄像模组的光学后焦被调整;
通过所述光源投射一第二波段的光至待组装的该摄像模组;
接收由该感光芯片在所述第二波段的光下采集的多张第二图像,其中,在该感光芯片采集所述多张第二图像的过程中,该摄像模组的光学后焦被调整;
基于所述多张第一图像和所述多张第二图像,确定该摄像模组在所述第一波段的光下的第一离焦曲线和该摄像模组在所述第二波段的光下的第二离焦曲线,所述第一离焦曲线和所述第二离焦曲线的横坐标为光学后焦值,纵坐标为成像质量;
基于所述第一离焦曲线和所述第二离焦曲线,确定该摄像模组在第一波段的光下的第一最佳光学后焦值和该摄像模组在第二波段的光下的第二最佳光学后焦值;
以预设权重计算所述第一最佳光学后焦值和所述第二最佳光学后焦值的加权和,以获得最终的光学后焦值;及
基于所述最终的光学后焦值,调整该光学镜头与该感光芯片之间的距离。
2.根据权利要求1所述的主动校准方法,其中,接收由该感光芯片在所述第一波段的光下采集的多张第一图像,包括:
接收由该感光芯片在所述第一波段的光下采集的第一预设数量的第一图像;以及
以预设帧数间隔从所述第一预设数量的第一图像中筛选出所述多张第一图像;
其中,接收由该感光芯片在所述第二波段的光下采集的多张第二图像,包括:
接收由该感光芯片在所述第二波段的光下采集的第二预设数量的第二图像;以及
以所述预设帧数间隔从所述第二预设数量的第二图像中筛选出所述多张第二图像。
3.根据权利要求2所述的主动校准方法,其中,所述预设帧数间隔为大于等于2帧。
4.根据权利要求3所述的主动校准方法,其中,所述多张第一图像的数量大于等于15张,所述多张第二图像的数量大于等于15张。
5.根据权利要求1所述的主动校准方法,其中,基于所述多张第一图像和所述多张第二图像,确定该摄像模组在第一波段的光下的第一离焦曲线和该摄像模组在第二波段的光下的第二离焦曲线,包括:
获取所述多张第一图像中各张第一图像的光学后焦值及其对应的成像质量;
获取所述多张第二图像中各张第二图像的光学后焦值及其对应的成像质量;
基于所述多张第一图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第一波段的光下的第一离焦曲线;以及
基于所述多张第二图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第二波段的光下的第二离焦曲线。
6.根据权利要求5所述的主动校准方法,其中,基于所述多张第一图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第一波段的光下的第一离焦曲线,包括:通过高斯拟合出该摄像模组在第一波段的光下的第一离焦曲线;
其中,基于所述多张第二图像中各张图像的光学后焦值和成像质量,拟合出该摄像模组在第二波段的光下的第二离焦曲线,包括:通过高斯拟合出该摄像模组在第二波段的光下的第二离焦曲线。
7.根据权利要求1所述的主动校准方法,其中,所述预设权重被设定为:所述第一最佳光学后焦值的权重值为0.5,所述第二最佳光学后焦值的权重值为0.5。
8.根据权利要求1所述的主动校准方法,其中,所述第一波段的光为可见光,所述第二波段的光为红外光。
9.根据权利要求1所述的主动校准方法,其中,所述光源以预设频率投射所述第一波段的光和所述第二波段的光,所述预设频率小于等于该感光芯片的工作频率的1/2。
10.根据权利要求1所述的主动校准方法,其中,通过所述光源投射一第二波段的光至待组装的该摄像模组,包括:
通过所述光源投射所述第二波段中第一波长的光至待组装的该摄像模组;
通过所述光源投射所述第二波段中第二波长的光至待组装的该摄像模组;
通过所述光源投射所述第二波段中第三波长的光至待组装的该摄像模组;
其中,接收由该感光芯片在所述第二波段的光下采集的多张第二图像,包括:
接收由该感光芯片在所述第二波段的第一波长的光下采集的多张第三图像;
接收由该感光芯片在所述第二波段的第二波长的光下采集的多张第四图像;以及
接收由该感光芯片在所述第二波段的第三波长的光下采集的多张第五图像。
11.根据权利要求10所述的主动校准方法,其中,基于所述多张第二图像,确定该摄像模组在第二波段的光下的第二离焦曲线,包括:
基于所述多张第三图像,确定该摄像模组在所述第二波段的第一波长光下的第三离焦曲线;
基于所述多张第四图像,确定该摄像模组在所述第二波段的第二波长光下的第四离焦曲线;
基于所述多张第五图像,确定该摄像模组在所述第二波段的第三波长光下的第五离焦曲线;以及
以平均权重计算所述第三离焦曲线、所述第四离焦曲线和所述第五离焦曲线的加权和,以获得该摄像模组在第二波段的光下的第二离焦曲线。
12.根据权利要求11所述的主动校准方法,所述第二波段的第一波长、第二波长和第三波长分别为760nm、850nm和940nm。
13.一种主动校准系统,用于对多波段多通的摄像模组进行主动校准,其特征在于,包括:
一主体,所述主体包括用于安装该摄像模组的安装台;
用于向该摄像模组投射光的一光源;以及
可通信地连接于该摄像模组和所述光源的一计算设备,所述计算设备,用于执行如权利要求1至12任一所述的主动校准方法。
CN202011499687.XA 2020-12-18 2020-12-18 用于多波段多通的摄像模组的主动校准方法及系统 Active CN114650410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499687.XA CN114650410B (zh) 2020-12-18 2020-12-18 用于多波段多通的摄像模组的主动校准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499687.XA CN114650410B (zh) 2020-12-18 2020-12-18 用于多波段多通的摄像模组的主动校准方法及系统

Publications (2)

Publication Number Publication Date
CN114650410A CN114650410A (zh) 2022-06-21
CN114650410B true CN114650410B (zh) 2024-05-28

Family

ID=81989831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499687.XA Active CN114650410B (zh) 2020-12-18 2020-12-18 用于多波段多通的摄像模组的主动校准方法及系统

Country Status (1)

Country Link
CN (1) CN114650410B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167294A (zh) * 2011-12-12 2013-06-19 豪威科技有限公司 具有延长景深的摄像系统与方法
CN106937107A (zh) * 2015-12-29 2017-07-07 宁波舜宇光电信息有限公司 基于色差的摄像模组调焦方法
CN110191273A (zh) * 2019-06-28 2019-08-30 中山联合光电科技股份有限公司 一种双光变焦拍摄系统
CN110557523A (zh) * 2018-05-30 2019-12-10 宁波舜宇光电信息有限公司 摄像模组阵列及其组装方法
CN111175953A (zh) * 2020-03-06 2020-05-19 厦门力鼎光电股份有限公司 一种超小变焦镜头

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201250B2 (en) * 2012-10-17 2015-12-01 Brien Holden Vision Institute Lenses, devices, methods and systems for refractive error

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167294A (zh) * 2011-12-12 2013-06-19 豪威科技有限公司 具有延长景深的摄像系统与方法
CN106937107A (zh) * 2015-12-29 2017-07-07 宁波舜宇光电信息有限公司 基于色差的摄像模组调焦方法
CN110557523A (zh) * 2018-05-30 2019-12-10 宁波舜宇光电信息有限公司 摄像模组阵列及其组装方法
CN110191273A (zh) * 2019-06-28 2019-08-30 中山联合光电科技股份有限公司 一种双光变焦拍摄系统
CN111175953A (zh) * 2020-03-06 2020-05-19 厦门力鼎光电股份有限公司 一种超小变焦镜头

Also Published As

Publication number Publication date
CN114650410A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US10545312B2 (en) Focus detection apparatus, control method thereof, and storage medium storing program
US9344614B2 (en) Imaging apparatus
US8830351B2 (en) Image processing method and image processing apparatus for image restoration to reduce a detected color shift
US8730374B2 (en) Focus detection apparatus
US8488956B2 (en) Focus adjusting apparatus and focus adjusting method
JP4857877B2 (ja) 撮像装置およびカメラ
US9521312B2 (en) Focus detection apparatus, control method for the same, and image capture apparatus
US20070236598A1 (en) Imaging device, camera and image processing method
US20150092992A1 (en) Image processing device, image capturing apparatus, and image processing method
US11388383B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
KR20090027488A (ko) 영상 복원 장치 및 방법
JP2014222291A (ja) 撮像装置およびその制御方法
US20190043175A1 (en) Imaging apparatus, control method and non-transitory storage medium
US10681278B2 (en) Image capturing apparatus, control method of controlling the same, and storage medium for determining reliability of focus based on vignetting resulting from blur
CN107835351B (zh) 一种双摄像头模组以及终端
WO2018150925A1 (ja) 焦点検出装置、焦点検出方法、および焦点検出プログラム
US20120162485A1 (en) Image processing apapratus, image processing method, and program, and image processing system
JP2015194736A (ja) 撮像装置およびその制御方法
CN114650410B (zh) 用于多波段多通的摄像模组的主动校准方法及系统
JP2013162280A (ja) 画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法
US12105404B2 (en) Lens apparatus, image pickup apparatus, control method of lens apparatus, and storage medium
CN112544064A (zh) 一种图像处理方法、装置、成像设备及可移动载体
US12047680B2 (en) Image pickup apparatus
US9857663B1 (en) Phase detection autofocus system and method
US10200622B2 (en) Image processing method, image processing apparatus, and imaging apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant