CN114636992A - 相机校准方法、相机及计算机可读存储介质 - Google Patents

相机校准方法、相机及计算机可读存储介质 Download PDF

Info

Publication number
CN114636992A
CN114636992A CN202011473102.7A CN202011473102A CN114636992A CN 114636992 A CN114636992 A CN 114636992A CN 202011473102 A CN202011473102 A CN 202011473102A CN 114636992 A CN114636992 A CN 114636992A
Authority
CN
China
Prior art keywords
camera
matrix
array
output signal
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011473102.7A
Other languages
English (en)
Inventor
张超
马志洁
臧凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Adaps Photonics Technology Co ltd
Original Assignee
Shenzhen Adaps Photonics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Adaps Photonics Technology Co ltd filed Critical Shenzhen Adaps Photonics Technology Co ltd
Priority to CN202011473102.7A priority Critical patent/CN114636992A/zh
Priority to PCT/CN2021/136076 priority patent/WO2022127646A1/zh
Publication of CN114636992A publication Critical patent/CN114636992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种相机校准方法、相机及计算机可读存储介质，所述方法包括：获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；获取相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，第二输出信号矩阵包括阵列中各像素的第二输出信号值；根据第一输出信号矩阵及第二输出信号矩阵，获取阵列的探测效率矩阵，探测效率矩阵包括阵列中各像素的探测效率值；根据第一输出信号矩阵及探测效率矩阵对相机的实时强度图进行校准，以获取相机的校准后强度图。本申请实现了对相机镜头内部参数的智能精准校准。

Description

相机校准方法、相机及计算机可读存储介质
技术领域
本发明涉及相机技术领域，特别是涉及一种相机校准方法、相机及计算机可读存储介质。
背景技术
飞行时间相机(Time of Flight，ToF)系统是一种范围成像相机系统，它采用飞行时间技术，通过测量人造光的往返时间来测量相机与被摄物体之间的距离信息。与其他系统相比，ToF相机具有结构简单而紧凑、适用范围广、速度快且精度高等诸多优点，被广泛应用于智能检测、测距与图像识别等技术领域。
ToF相机因传感器阵列的位置偏差、传感器的实际工作误差及相机镜头的参数误差等因素影响，需要在使用前进行校准，以提高ToF相机的测量精度。
然而，传统的ToF相机校准方法需要先拆下相机镜头，逐一标定相机的传感器中各像素的偏移量，校准步骤繁琐、效率低下，并且校准的精确度对操作者的依赖度较高，大大提高相机的量产成本。
发明内容
基于此，有必要针对上述背景技术中传统相机校准方法步骤繁琐、效率低下且对操作者的依赖度较高，导致增加相机量产成本的技术问题，提供一种智能地相机校准方法、相机及计算机可读存储介质，能够显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
为实现上述目的及其他目的，本申请的第一方面提供一种相机校准方法，所述相机包括光电传感器阵列，所述方法包括：
获取所述相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；
获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；
根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值；
根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图。
于上述实施例中的相机校准方法中，首先通过获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；然后获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；以根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值，进而根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
在其中一个实施例中，所述获取所述阵列的探测效率矩阵的步骤包括：
计算所述第二输出信号矩阵M1与所述第一输出信号矩阵M0的差值M1-M0；
对所述阵列中各像素的第二输出信号值标准化处理，得到第二输出信号矩阵的中值；
根据所述差值M1-M0与所述第二输出信号矩阵的中值的比值得到探测效率矩阵PDE；
PDE＝(M1-M0)/median(M1)；
其中，median(M1)为第二输出信号矩阵的中值。
于上述实施例中的相机校准方法中，通过获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵M0，以获取相机中的光电传感器阵列的暗计数率(DarkCount Rate，DCR)分布矩阵M0；通过获取所述相机在第一预设光强条件下拍摄预设平面例如是白墙平面的过程中所述阵列的第二输出信号矩阵M1，以计算所述第二输出信号矩阵M1与所述第一输出信号矩阵M0的差值M1-M0，并根据所述差值M1-M0对所述阵列中各像素的第二输出信号值标准化处理，以得到探测效率矩阵PDE，从而根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
在其中一个实施例中，所述获取所述相机的校准后强度图的步骤包括：
获取所述相机在获取实时强度图的过程中，所述阵列的实时输出信号矩阵K，所述实时输出信号矩阵K包括所述阵列中各像素的实时输出信号值；
根据如下公式计算校准后的校准矩阵M，所述校准矩阵M包括所述阵列中各像素的校准输出信号值：
M＝(K–M0)/PDE；
根据所述校准矩阵M获取所述校准后强度图。
于上述实施例中的相机校准方法中，在得到探测效率矩阵PDE后，获取所述相机在获取实时强度图的过程中，所述阵列的实时输出信号矩阵K，根据所述DCR分布矩阵M0及所述探测效率矩阵PDE对所述相机的实时强度图进行校准，获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
在其中一个实施例中，所述相机校准方法还包括：
获取包括各像素的坐标值的像素坐标矩阵及光心坐标；
根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵，所述补偿系数矩阵包括所述阵列中各像素的补偿系数值；
根据所述补偿系数矩阵获取所述阵列的偏移矩阵，所述偏移矩阵包括所述阵列中各像素的光心偏移值；
根据所述补偿系数矩阵及所述偏移矩阵对所述相机的实时深度图进行校准，以获取所述相机的校准后深度图。
于上述实施例中的相机校准方法中，首先获取包括各像素的坐标值的像素坐标矩阵像素及光心坐标；根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵，所述补偿系数矩阵包括所述阵列中各像素的补偿系数值；根据所述补偿系数矩阵获取所述阵列的偏移矩阵，所述偏移矩阵包括所述阵列中各像素的光心偏移值；从而根据所述补偿系数矩阵及所述偏移矩阵对所述相机的实时深度图进行校准，以获取所述相机的校准后深度图，避免相机因光电传感器阵列中的像素的位置偏移产生深度测量误差，降低相机深度信息测量的准确度。
在其中一个实施例中，所述获取光心坐标包括：
获取所述相机拍摄包括特征点的物体的测试强度图，所述测试强度图为所述特征点位于相机镜头的光轴上拍摄的；
基于所述测试强度图获取光心坐标。
在其中一个实施例中，所述获取光心坐标包括：
基于所述相机拍摄距离相机镜头表面第一距离的平面物体的平面，以获取第一标定深度信息图，所述相机的镜头表面与所述平面平行；
获取所述相机拍摄所述平面距离所述相机镜头表面第二距离时的第二标定深度信息图，所述第一距离不等于所述第二距离；
根据所述第一标定深度信息图及所述第二标定深度信息图确定所述光心坐标。
在其中一个实施例中，所述根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵的步骤包括：
确定所述光心坐标为(Cx，Cy)及所述像素坐标矩阵中的像素坐标值为(Pxi，Pyj)；
对于所述阵列中的第i行、第j列的像素的补偿系数值factorij，根据如下公式计算得到；
Figure BDA0002836576560000051
其中，L为所述阵列的行数，N为所述阵列的列数，i为正整数，j为正整数，EFL为相机镜头的等效焦距。
在其中一个实施例中，所述根据所述补偿系数矩阵获取所述阵列的偏移矩阵的步骤包括：
获取所述相机拍摄预设平面的实时深度图，以获取实时深度值矩阵SLN，所述相机的镜头表面与所述平面平行，所述实时深度值矩阵SLN包括所述阵列中各像素拍摄所述平面的实时深度值Sij；
获取所述镜头表面与所述平面的最小距离值T0；
根据所述实时深度值矩阵SLN及所述最小距离值T0利用如下公式计算所述阵列的偏移矩阵offsetLN；
offsetij＝Sij-T0/factorij。
本申请的第二方面提供一种相机，包括光电传感器阵列、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述光电传感器阵列与所述处理器连接，所述处理器执行所述计算机程序时实现任一本申请实施例中所述的方法的步骤。
在其中一个实施例中，所述光电传感器阵列为单光子雪崩二极管阵列。
本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一本申请实施例中所述的方法的步骤。
于上述实施例中的相机或计算机可读存储介质中，首先通过获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；然后获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；以根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值，进而根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1为本申请一个实施例中提供的一种相机校准方法的流程示意图；
图2为本申请一个实施例中提供的一种相机的结构示意图；
图3为本申请另一个实施例中提供的一种相机校准方法的流程示意图；
图4为本申请另一个实施例中提供的一种相机的结构示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在使用本文中描述的“包括”、“具有”、和“包含”的情况下，除非使用了明确的限定用语，例如“仅”、“由……组成”等，否则还可以添加另一部件。除非相反地提及，否则单数形式的术语可以包括复数形式，并不能理解为其数量为一个。
应当理解，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件和另一个元件区分开。例如，在不脱离本申请的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
在本申请的描述中，需要说明的是，除非另有明确规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，亦可以是通过中间媒介间接连接，可以是两个部件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
直接飞行时间相机(direct Time of Flight，dToF)安装完成之后，因相机内部各元件的工作参数误差及相机自身的标定参数误差，需要在dToF相机实际出厂之前或相机拍摄之前对其进行校准，以避免相机自身的参数误差给相机带来不良影响。
请参考图1，在本申请的一个实施例中，提供了一种相机校准方法，所述相机包括光电传感器阵列，所述方法包括如下步骤：
步骤202：获取所述相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；
步骤204：获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；
步骤206：根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值；
步骤208：根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图。
作为示例，请参考图2，相机10中包括光电传感器阵列11，光电传感器阵列11中的像素可以包括光电二极管(Photo-Diode，PD)、环境光传感器(Ambient Light Sensor，ALS)或单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)中的至少一种。一个光电传感器可以包含若干个像素，例如光电传感器阵列11可以包括L行N列SPAD阵列111和时间数字转化器(Time to Digital Converter，TDC)112，其中，SPAD阵列与时间数字转化器112之间通信连接，用于计算SPAD阵列被触发的次数；时间数字转化器112与处理器12连接，用于将获取的SPAD阵列被触发的次数传递给处理器12。SPAD是个二进制器件，它是把一个PN结偏置在接近雪崩的偏压下，微弱光信号所激发的少量载流子通过接近雪崩的场区，由于碰撞电离而数量倍增，因而得到一个较大的电信号。因此，SPAD只有“有输出信号”和“没有输出信号”两个状态，本实施例中采用时间数字转化器112记录SPAD阵列被触发的次数来间接测量入射光的强度。例如，可以在环境光强度值为10kLux的情况下，通过时间数字转化器来记录SPAD阵列被环境光触发的次数。
作为示例，请继续参考图1，首先通过获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；然后获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；以根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值，进而根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
进一步地，在本申请的一个实施例中，所述获取所述阵列的探测效率矩阵的步骤包括：
计算所述第二输出信号矩阵M1与所述第一输出信号矩阵M0的差值M1-M0；
对所述阵列中各像素的第二输出信号值标准化处理，得到第二输出信号矩阵的中值；
根据所述差值M1-M0与所述第二输出信号矩阵的中值的比值得到探测效率矩阵PDE；
PDE＝(M1-M0)/median(M1)；
其中，median(M1)为第二输出信号矩阵的中值，median函数是一种计算机函数，能够返回给定数值的中值，中值是在一组数值中居于中间的数值，如果参数集合中包含偶数个数字，median函数将返回位于中间的两个数的平均值。
作为示例，可以通过获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵M0，以获取相机中的光电传感器阵列的暗计数率(Dark Count Rate，DCR)分布矩阵M0；通过获取所述相机在第一预设光强条件下拍摄预设平面例如是白墙平面的过程中所述阵列的第二输出信号矩阵M1，以计算所述第二输出信号矩阵M1与所述第一输出信号矩阵M0的差值M1-M0，对所述阵列中各像素的第二输出信号值标准化处理，得到第二输出信号矩阵的中值；根据所述差值M1-M0与所述第二输出信号矩阵的中值的比值得到探测效率矩阵PDE，从而根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
进一步地，在本申请的一个实施例中，所述获取所述相机的校准后强度图的步骤包括：
获取所述相机在获取实时强度图的过程中，所述阵列的实时输出信号矩阵K，所述实时输出信号矩阵K包括所述阵列中各像素的实时输出信号值；
根据如下公式计算校准后的校准矩阵M，所述校准矩阵M包括所述阵列中各像素的校准输出信号值：
M＝(K–M0)/PDE；
根据所述校准矩阵M获取所述校准后强度图。
具体地，在得到探测效率矩阵PDE后，获取所述相机在获取实时强度图的过程中，所述阵列的实时输出信号矩阵K，根据所述DCR分布矩阵M0及所述探测效率矩阵PDE对所述相机的实时强度图进行校准，获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
请参考图3，在本申请的一个实施例中，提供了一种相机校准方法，在对强度图进行校准后，还包括如下步骤：
步骤2092：获取包括各像素的坐标值的像素坐标矩阵及光心坐标。
步骤2094：根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵，所述补偿系数矩阵包括所述阵列中各像素的补偿系数值。
步骤2096：根据所述补偿系数矩阵获取所述阵列的偏移矩阵，所述偏移矩阵包括所述阵列中各像素的光心偏移值。
步骤2098：根据所述补偿系数矩阵及所述偏移矩阵对所述相机的实时深度图进行校准，以获取所述相机的校准后深度图。
作为示例，请参考图2及图3，由于光电传感器阵列11中的各像素可能存在位置偏差，导致根据相机10拍摄的深度图获取的深度信息不准确。为了避免这种相机内部像素的位置偏差对相机的深度信息测量精度带来不良影响，在对强度图进行校准后，设定包括特征点的物体为获取测试强度图的拍摄目标对象，并设置所述拍摄目标对象的特征点位于相机镜头的光轴上，然后拍摄所述目标对象获取所述测试强度图，基于所述测试强度图获取包括各像素的坐标值的像素坐标矩阵，一个光电传感器可以包含若干个像素；根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵，所述补偿系数矩阵包括所述阵列中各像素的补偿系数值；根据所述补偿系数矩阵获取所述阵列的偏移矩阵，所述偏移矩阵包括所述阵列中各像素的光心偏移值；从而根据所述补偿系数矩阵及所述偏移矩阵对所述相机的实时深度图进行校准，以获取所述相机的校准后深度图，避免相机因光电传感器阵列中的像素的位置偏移产生深度测量误差，降低相机深度信息测量的准确度。
作为示例，在本申请的一个实施例中，所述获取光心坐标可以包括如下步骤：
获取所述相机拍摄包括特征点的物体的测试强度图，所述测试强度图为所述特征点位于相机镜头的光轴上拍摄的；
基于所述测试强度图获取光心坐标。
作为示例，在本申请的一个实施例中，所述获取光心坐标包括：
基于所述相机拍摄距离相机镜头表面第一距离的平面物体的平面，以获取第一标定深度信息图，所述相机的镜头表面与所述平面平行；
获取所述相机拍摄所述平面距离所述相机镜头表面第二距离时的第二标定深度信息图，所述第一距离不等于所述第二距离；
根据所述第一标定深度信息图及所述第二标定深度信息图确定所述光心坐标。
上述实施例中示例性给出两种获取相机光心坐标的方法，本申请也可以采用其他方式获取光心坐标，这里不再赘述。
进一步地，在本申请的一个实施例中，所述根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵的步骤包括：
确定所述光心坐标为(Cx，Cy)及所述像素坐标矩阵中的像素坐标值为(Pxi，Pyj)；
对于所述阵列中的第i行、第j列的像素的补偿系数值factorij，根据如下公式计算得到；
Figure BDA0002836576560000131
其中，L为所述阵列的行数，N为所述阵列的列数，i为正整数，j为正整数，EFL为相机镜头的等效焦距。优选地，L≧2；N≧2。
进一步地，在本申请的一个实施例中，所述根据所述补偿系数矩阵获取所述阵列的偏移矩阵的步骤包括：
获取所述相机拍摄预设平面的实时深度图，以获取实时深度值矩阵SLN，所述相机的镜头表面与所述平面平行，所述实时深度值矩阵SLN包括所述阵列中各像素拍摄所述平面的实时深度值Sij；
获取所述镜头表面与所述平面的最小距离值T0；
根据所述实时深度值矩阵SLN及所述最小距离值T0利用如下公式计算所述阵列的偏移矩阵offsetLN；
offsetij＝Sij-T0/factorij，
上式中，i∈[1,L]，j∈[1,N],L为光电传感器阵列的行数，N为光电传感器阵列的列数，i为正整数，j为正整数。
具体地，在相机获取实时深度图后，根据光电传感器阵列中的第i行、第j列的像素测量的实时深度值Sij，获得的补偿系数矩阵factorij及偏移矩阵offsetij，可以利用如下公式计算得到校准深度值T：
T＝(Sij-offsetij)×factorij；
对于相机中任一像素的实时深度值，可以将其减去该像素的光心偏移值，再将得到的差值乘以该像素的补偿系数得到该像素的校准深度值。
在本申请的一个实施例中，设置所述第一预设光强为1klux-10klux。例如，所述第一预设光强可以为1klux、3klux、5klux、7klux、9klux或10klux。
在本申请的一个实施例中，设置所述第一距离及所述第二距离为0.3m-1.0m。例如，所述第一距离可以为0.3m、0.5m、0.7m、0.9m或1.0m；所述第二距离可以为0.3m、0.5m、0.7m、0.9m或1.0m。
请参考图4，在本申请的一个实施例中，提供了一种相机20，包括光电传感器阵列11、存储器21、处理器12及存储在存储器上并可在处理器上运行的计算机程序，光电传感器阵列11与处理器12连接，所述处理器执行所述计算机程序时实现任一本申请实施例中所述的方法的步骤。
在本申请的一个实施例中，所述光电传感器阵列为单光子雪崩二极管阵列。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的相机的限定，具体的相机可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
进一步地，在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一本申请实施例中所述的方法的步骤。
于上述实施例中的相机或计算机可读存储介质中，首先通过获取相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；然后获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；以根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值，进而根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图，实现对相机镜头内部参数的智能精准校准，显著地提高相机校准的效率及精准度，并且有效地降低相机的量产成本。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种相机校准方法，其特征在于，所述相机包括光电传感器阵列，所述方法包括：
获取所述相机在无光条件下拍摄强度图的过程中所述阵列的第一输出信号矩阵，所述第一输出信号矩阵包括所述阵列中各像素的第一输出信号值；
获取所述相机在第一预设光强条件下拍摄预设平面的过程中所述阵列的第二输出信号矩阵，所述第二输出信号矩阵包括所述阵列中各像素的第二输出信号值；
根据所述第一输出信号矩阵及所述第二输出信号矩阵，获取所述阵列的探测效率矩阵，所述探测效率矩阵包括所述阵列中各像素的探测效率值；
根据所述第一输出信号矩阵及所述探测效率矩阵对所述相机的实时强度图进行校准，以获取所述相机的校准后强度图。
2.根据权利要求1所述的相机校准方法，其特征在于，所述获取所述阵列的探测效率矩阵的步骤包括：
计算所述第二输出信号矩阵M1与所述第一输出信号矩阵M0的差值M1-M0；
对所述阵列中各像素的第二输出信号值标准化处理，得到第二输出信号矩阵的中值；
根据所述差值M1-M0与所述第二输出信号矩阵的中值的比值得到探测效率矩阵PDE；
PDE＝(M1-M0)/median(M1)；
其中，median(M1)为第二输出信号矩阵的中值。
3.根据权利要求2所述的相机校准方法，其特征在于，所述获取所述相机的校准后强度图的步骤包括：
获取所述相机在获取实时强度图的过程中，所述阵列的实时输出信号矩阵K，所述实时输出信号矩阵K包括所述阵列中各像素的实时输出信号值；
根据如下公式计算校准后的校准矩阵M，所述校准矩阵M包括所述阵列中各像素的校准输出信号值：
M＝(K–M0)/PDE；
根据所述校准矩阵M获取所述校准后强度图。
4.根据权利要求1-3任一项所述的相机校准方法，其特征在于，还包括：
获取包括各像素的坐标值的像素坐标矩阵及光心坐标像素；
根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵，所述补偿系数矩阵包括所述阵列中各像素的补偿系数值；
根据所述补偿系数矩阵获取所述阵列的偏移矩阵，所述偏移矩阵包括所述阵列中各像素的光心偏移值；
根据所述补偿系数矩阵及所述偏移矩阵对所述相机的实时深度图进行校准，以获取所述相机的校准后深度图。
5.根据权利要求4所述的相机校准方法，其特征在于，所述获取光心坐标包括：
获取所述相机拍摄包括特征点的物体的测试强度图，所述测试强度图为所述特征点位于相机镜头的光轴上拍摄的；
基于所述测试强度图获取光心坐标。
6.根据权利要求4所述的相机校准方法，其特征在于，所述获取光心坐标包括：
基于所述相机拍摄距离相机镜头表面第一距离的平面物体的平面，以获取第一标定深度信息图，所述相机的镜头表面与所述平面平行；
获取所述相机拍摄所述平面距离所述相机镜头表面第二距离时的第二标定深度信息图，所述第一距离不等于所述第二距离；
根据所述第一标定深度信息图及所述第二标定深度信息图确定所述光心坐标。
7.根据权利要求4所述的相机校准方法，其特征在于，所述根据所述光心坐标及所述像素坐标矩阵计算所述阵列的补偿系数矩阵的步骤包括：
确定所述光心坐标为(Cx，Cy)及所述像素坐标矩阵中的像素坐标值为(Pxi，Pyj)；
对于所述阵列中的第i行、第j列的像素的补偿系数值factorij，根据如下公式计算得到；
Figure FDA0002836576550000031
i∈[1,L]，j∈[1,N]；
其中，L为所述阵列的行数，N为所述阵列的列数，i为正整数，j为正整数，EFL为相机镜头的等效焦距。
8.根据权利要求7所述的相机校准方法，其特征在于，所述根据所述补偿系数矩阵获取所述阵列的偏移矩阵的步骤包括：
获取所述相机拍摄预设平面的实时深度图，以获取实时深度值矩阵SLN，所述相机的镜头表面与所述平面平行，所述实时深度值矩阵SLN包括所述阵列中各像素拍摄所述平面的实时深度值Sij；
获取所述镜头表面与所述平面的最小距离值T0；
根据所述实时深度值矩阵SLN及所述最小距离值T0利用如下公式计算所述阵列的偏移矩阵offsetLN；
offsetij＝Sij-T0/factorij。
9.一种相机，其特征在于，包括光电传感器阵列、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述光电传感器阵列与所述处理器连接，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的方法的步骤。
10.根据权利要求9所述的相机，其特征在于，所述光电传感器阵列为单光子雪崩二极管阵列。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法的步骤。
CN202011473102.7A 2020-12-15 2020-12-15 相机校准方法、相机及计算机可读存储介质 Pending CN114636992A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011473102.7A CN114636992A (zh) 2020-12-15 2020-12-15 相机校准方法、相机及计算机可读存储介质
PCT/CN2021/136076 WO2022127646A1 (zh) 2020-12-15 2021-12-07 相机校准方法、相机及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011473102.7A CN114636992A (zh) 2020-12-15 2020-12-15 相机校准方法、相机及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114636992A true CN114636992A (zh) 2022-06-17

Family

ID=81944938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011473102.7A Pending CN114636992A (zh) 2020-12-15 2020-12-15 相机校准方法、相机及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114636992A (zh)
WO (1) WO2022127646A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115371822B (zh) * 2022-10-24 2023-01-24 南京智谱科技有限公司 一种红外相机的校准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564688B2 (en) * 2008-09-12 2013-10-22 Aptina Imaging Corporation Methods, systems and apparatuses for white balance calibration
CN104155765B (zh) * 2013-05-15 2019-09-13 北京三星通信技术研究有限公司 在拼接式集成成像显示器中校正三维图像的方法和设备
CN106910224B (zh) * 2017-02-27 2019-11-22 清华大学 宽视场高分辨显微成像中像感器阵列标定方法
CN107835337A (zh) * 2017-10-11 2018-03-23 北京中科慧眼科技有限公司 黑白面阵ccd相机平场校正方法及系统
CN109816735B (zh) * 2019-01-24 2022-10-21 哈工大机器人（合肥）国际创新研究院 一种快速标定及校正方法及其tof相机
CN111562562B (zh) * 2020-04-28 2023-04-14 重庆市天实精工科技有限公司 基于tof的3d成像模块校准方法

Also Published As

Publication number Publication date
WO2022127646A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
JP3983573B2 (ja) ステレオ画像特性検査システム
US9332197B2 (en) Infrared sensor control architecture
US20200314294A1 (en) Methods and Apparatuses for Compensating Light Reflections from a Cover of a Time-of-Flight Camera
US9513377B2 (en) Method for measuring radiation by means of an electronic terminal having a digital camera
CN106815867B (zh) Tof相机标定与校正系统及其设备与方法
CN102740012A (zh) 检测器像素信号读出电路及其成像方法
CN111352120B (zh) 飞行时间测距系统及其测距方法
US20190383906A1 (en) Distance-measuring apparatus that outputs precision information
CN113533256B (zh) 一种光谱反射率的确定方法、装置及设备
CN111580074B (zh) 时间精度校准方法、装置和电子设备
CN114636992A (zh) 相机校准方法、相机及计算机可读存储介质
US11448738B2 (en) Light detection and ranging signal correction methods and systems
JP2014089075A (ja) 分光反射率測定システム
Bellisai et al. Indirect time-of-flight 3D ranging based on SPADs
CN116485862A (zh) 一种深度数据标定校准方法与装置
US20230019246A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method
JPH09229680A (ja) 測距装置
US11567205B2 (en) Object monitoring system including distance measuring device
Soszyńska et al. Feasibility study of hyperspectral line-scanning camera imagery for remote sensing purposes
CN112866548A (zh) 相位差的获取方法和装置、电子设备
CN114895317A (zh) 距离计算方法、芯片、相机及存储介质
CN109194956A (zh) 一种测试图像传感器像元内响应非均匀性的方法和装置
CN115220045A (zh) 一种物体的检测方法、装置、终端设备和存储介质
CN115657056A (zh) 一种距离测量系统及其相对精度的确定方法、装置、设备
CN117935000A (zh) 一种dtof融合测距方法、装置与激光雷达

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination