CN107730561A - 深度相机温度误差校正方法及系统 - Google Patents

深度相机温度误差校正方法及系统 Download PDF

Info

Publication number
CN107730561A
CN107730561A CN201710966717.5A CN201710966717A CN107730561A CN 107730561 A CN107730561 A CN 107730561A CN 201710966717 A CN201710966717 A CN 201710966717A CN 107730561 A CN107730561 A CN 107730561A
Authority
CN
China
Prior art keywords
depth
depth camera
error
image
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710966717.5A
Other languages
English (en)
Other versions
CN107730561B (zh
Inventor
刘贤焯
黄志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201710966717.5A priority Critical patent/CN107730561B/zh
Priority to PCT/CN2018/071990 priority patent/WO2019075942A1/zh
Publication of CN107730561A publication Critical patent/CN107730561A/zh
Priority to US16/847,907 priority patent/US11335020B2/en
Application granted granted Critical
Publication of CN107730561B publication Critical patent/CN107730561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Abstract

本发明提供一种深度相机温度误差校正的方法和系统,其中方法包括:利用至少两个深度相机获取当前目标的深度图像,所述至少两个深度相机有部分共同视野区域;对温度变化引起的深度相机的测量误差进行建模;利用经过建模的测量误差对所述深度图像进行校正,使得校正后的深度图像在共同视野区域差异最小。基于多个深度相机共同视野区域的深度值应相同这一原则,并建立温度变化与深度测量误差之间的关系模型,通过多种求解方法实现对深度测量误差的求解与校正,可以提高深度相机的测量精度。

Description

深度相机温度误差校正方法及系统
技术领域
本发明涉及光学及电子技术领域,尤其涉及一种深度相机温度误差校正方法与系统。
背景技术
在一些基于深度图像的应用中,比如3D建模、尺寸测量等,需要深度相机获取精度及准度高的深度图像,然而由于深度相机由激光光源、光学元件、图像传感器等元器件构成,因此不可避免的受到自身温度以及环境温度的影响,温度会导致光学元件性能不稳定,同样也会使得深度相机本体发生热变形,这些因素都会使得深度图像的质量下降,从而使深度相机的精准度降低。
本发明针对这一问题,提供一种深度相机温度误差校正的方法以及系统。
发明内容
本发明为了解决现有技术中温度使得深度相机的精准度降低问题,提供一种深度相机温度误差校正方法与系统。
为了解决上述问题,本发明采用的技术方案如下所述:
一种深度相机温度误差校正的方法,包括:S1:利用至少两个深度相机获取当前目标的深度图像,所述至少两个深度相机有部分共同视野区域;S2:对温度变化引起的深度相机的测量误差进行建模;S3:利用经过建模的测量误差对所述深度图像进行校正,使得校正后的深度图像在共同视野区域差异最小。
所述步骤S2包括:温度变化ΔT使得所述深度相机中采集模组的透镜与图像传感器间距l发生变化Δl;以及,间距变化Δl使得测量的偏离值d′与真实偏离值d出现偏差Δd,且Δd=Δl·tanθ,其中θ是目标与所述透镜光心连线与所述透镜光轴之间夹角沿基线方向上的分量,所述基线指的是所述深度相机中所述采集模组与投影模组之间的连线;所述步骤S2还包括:所述真实偏离值d的偏差Δd使得相邻的两个所述深度相机在所述共同视野区域中的深度值出现差异ΔZ,且,其中Z1、Z2分别指所述相邻的两个深度相机的深度值,Δl1、Δl2分别指所述相邻的两个深度相机的采集模组的透镜与图像传感器间距发生的变化。
所述利用经过建模的测量误差对所述深度图像进行校正包括如下步骤:T1:计算所述共同视野区域中各个像素在不同深度图像中深度值的差异ΔZ(i)=Z1 (i)-Z2 (i),其中i∈[1,m],m指所述共同视野区域中至少部分像素的数量;T2:所述深度值的差异由所述相邻的两个深度相机的误差共同引起,且所述相邻的两个深度相机的误差相同,即ΔZ1 (i)=-ΔZ2 (i)=ΔZ(i)/2;T3:根据ΔZ1 (i)、ΔZ2 (i)以及公式分别计算出Δl1 (i)、Δl2 (i),并对所述m个像素对应的Δl1 (i)、Δl2 (i)进行平均,得到最终的Δl1、Δl2;T4:利用最终的Δl1,Δl2,并结合式实现对所述相邻的两个深度相机的所有像素深度值的校正;所述利用经过建模的测量误差对所述深度图像进行校正包括利用最小二乘法进行校正;所述利用最小二乘法进行校正包括:通过使得代价函数最小化来求解出所述两个深度相机的间距误差Δl1、Δl2,再根据所述间距误差实现对所述深度相机的深度图像的校正,其中k为系数;所述求解包括梯度下降法、牛顿迭代法和法方程法中的一种。
本发明还提供一种深度相机温度误差校正的系统,包括:至少两个深度相机,用于获取当前目标的深度图像,所述至少两个深度相机有部分共同视野区域;处理器,被配置用于执行以下步骤:对温度变化引起的深度相机的测量误差进行建模;利用经过建模的测量误差对所述深度图像进行校正,使得校正后的深度图像在共同视野区域差异最小。
本发明的有益效果为:提供了一种深度相机误差校正方法与系统,本发明提供了一种深度相机误差校正方法与系统,基于多个深度相机共同视野区域的深度值应相同这一原则,并建立温度变化与深度测量误差之间的关系模型,通过多种求解方法实现对深度测量误差的求解与校正,可以提高深度相机的测量精度。
附图说明
图1是本发明实施例中深度相机成像原理以及误差形成示意图。
图2是本发明实施例中一种深度相机温度误差校正的方法示意图。
图3是本发明实施例中深度相机温度校正示意图。
图4是本发明实施例中激光安全控制方法原理示意图。
图5是本发明实施例中又一种深度相机温度误差校正的方法示意图。
图6是本发明实施例中利用经过建模的测量误差对所述深度图像进行校正的方法示意图。
其中,11-投影模组,12-采集模组,13-平面,14-目标物体,15-光束,16-光线,17-光线,121-图像传感器的位置,122-图像传感器的位置,21-深度相机,22-真实的平面,23-所测的平面,211-投影模组,212-采集模组,31-深度相机,32-深度相机,33-目标,34-获取的深度图像,35-获取的深度图像。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
深度相机获取的深度图像中,各个像素上的值表示的是对应的空间点距离深度相机的距离,深度图像的质量包括精度以及准度,其中精度指的是对于深度相机与目标之间的位置相对固定时,获取的多幅深度图像之间的差异,差异越小表明精度越高,或者说深度相机的测量一致性、稳定性高,而准度指的是测量值与真实值之间的差距,差距越小表明准度越高,测量值即深度图像上所显示的值,真实值指的是目标与深度相机之间真实距离所代表的值。
对于利用单个深度相机进行测量时,在深度相机开启后温度会逐渐增加,一直到温度稳定的过程中获取的深度图像精准度都较差,特别是精度,所获取的深度图像非常不稳定,因此,往往是等到温度稳定后才提取其深度图像以进行进一步的应用。然而对于准度而言,由于一般是系统误差决定,最终导致获取的深度图像偏离其真实值,对于结构光深度相机,由于温度等因素影响会使得获取的深度图像偏离真实值并发生偏转。
在一些应用中,需要同时利用多个深度相机来实现更大视场的深度图像获取,各个深度相机独自获取深度图像后再将多幅深度图像进行拼接融合,当深度相机获取的深度图像准度较差时,会导致拼接出现差错,比如将两个深度相机同时获取一个平面的不同区域的深度图像(二者之间一般会有部分重叠区域),而融合后的深度图像中却变成了非平面,比如曲面、断面等形式。
因此,对深度相机由温度引起的误差进行纠正有利于提高深度相机的精准度。在下面将结合图1-图3,以结构光深度相机为例进行阐述,提供温度误差校正方法及系统。
结构光深度相机测量原理
如图1所示,是根据本发明一个实施例的深度相机成像原理示意图。结构光深度相机一般包括投影模组11、采集模组12以及深度计算处理器(图中未示出),在一个实施例中,投影模组11为近红外斑点投影仪,用于向目标空间投影近红外斑点图案,若投射到某一平面上时,所形成的斑点图像具备随机且不相关的特性;采集模组12为近红外相机,用于采集斑点图像,采集到的斑点图像随后被传输到深度计算处理器中进行深度计算以输出深度图像。图1中以单个斑点为例进行说明,投影模组11投影出光束15,照射到目标物体14上的Z点,该点通过采集模组12的透镜B成像在图像传感器121上,光线17仅用来表示成像关系。
深度相机一般还包括存储器,其保存了参考斑点图像,该参考斑点图像是利用投影模组11向已知距离Z0的平面13上投影出斑点图像后由采集模组12采集到的,采集光线16用来表示成像关系。在平面13上的斑点通过透镜成像在图像传感器的121位置上,从图中可以看出,由于目标物体14与参考平面13位于不同的深度上,导致同一个斑点在图像传感器上成像的位置发生了改变。深度计算处理器在计算时将当前目标的斑点图像与参考斑点图像进行匹配计算,找到当前斑点图像中的斑点(即像素)相对于参考斑点图像中对应的斑点(像素)之间的偏离值d,再根据以下公式计算出目标的深度值,各个像素的深度值最终组成了深度图像。
其中,Z为目标的深度值;Z0为平面13的深度值;为采集模组12中透镜到图像传感器之间的距离,一般情况下等于透镜的焦距,这里的透镜也可以是透镜组;b为投影模组11到采集模组12之间的基线长度。
温度引起的测量误差
深度相机中采集模组在采集斑点图像过程中,会产生高热量,导致模组温度较高,由此会带来多方面的影响,温度会使得采集模组中透镜的性能发生变化,比如会改变焦距使得斑点图像对比度下降,对于此问题,一般可以通过采集玻璃材质的透镜来解决,玻璃材质对温度的适应性较高。另外,温度会使得采集模组发生热变形,比如会使得透镜以及图像传感器偏离原来的位置,即l值发生变化,在图1所示的实施例中,假设温度变化使得透镜与图像传感器间距l变化了Δl,在本实施例中假定透镜所在的位置B不变,仅是图像传感器从121位置变化到了122位置,可以理解的是这仅是为了方便说明做了一个简化处理,在其他实施例中也可以由其他变化形式。
一般地,在参考斑点图像采集时,假定采集模组的温度为T1,此时透镜与图像传感器的间距为l;而在对目标物体进行测量时,当采集模组的温度为T2,且T2≠T1,也就意味着当前目标上的点原本应成像在121位置处,而由于温度变化最终成像在了122位置处,见图1中光线17的延长线与122位置处的图像传感器的交线。当进行匹配计算时,测量的偏离值d′与真实的偏离值d之间存在以下关系:
d′=d-Δd (2)
上式中Δd为由于位置变化导致的偏离值的变化,由图1可知,Δd=Δl·tanθ,其中θ是物体与透镜光心B连线与透镜光轴之间夹角沿基线(x)方向上的分量。
根据以上分析,可以得出以下两种校正方法:
内部校正法:将公式(2)代入到公式(1)中可得真实的深度值计算表达式:
公式(3)说明了真实深度值Z与测量偏离值d′以及温度影响Δl之间的关系,由此可知,只要得到温度引起的距离变化Δl就可以直接计算出较为真实的深度值Z。
外部校正法:对公式(1)进行偏导数计算,可得偏离值变化Δd与深度值变化(即真实深度值与测量值之差)之间的关系:
根据公式(4)可知,在获取了Δl后就可以计算出深度值变化ΔZ,再根据深度值变化ΔZ可以实现对测量值的校正。
以下两种校正法的区别在于,内部校正法通过直接对温度变化与真实深度值进行建模,通过获取温度变化值可以直接输出真实的深度图像。而外部校正法则是通过对温度变化与深度值变化进行建模,通过获取温度变化值以及测量的深度值计算出真实深度值。以下将分别对两种校正法并结合具体实施例进行说明。
利用内部校正法进行温度误差校正
如图2所示,对由温度变化引起的深度相机测量误差,可以经由以下方法思路进行校正:
首先,利用深度相机中的深度计算处理器获取当前目标的斑点图像相对与参考斑点图像的测量偏离值;
其次,对温度变化引起的深度相机的测量误差进行建模;
最后,利用经过建模的测量误差对当前测量偏离值进行校正,并根据校正后的偏离值计算深度图像。
以下将通过实施例重点对温度对测量误差建模以及深度图像校正进行阐述。
如图3所示,是根据本发明一个实施例的深度相机温度校正示意图。若真实目标为一平面22,由于温度变化导致深度相机21所测得的深度图像中所反映的平面为23。平面23相对于平面22发生了偏转,测量的深度值Z′与真实深度值Z之间存在差异ΔZ。
在测量误差建模阶段,基于前面对误差的分析结果,并基于公式(3),假设采集模组的变形Δl与温度变化成线性关系,即Δl=kΔT,其中k为温度变化系数,ΔT指的采集模组的当前温度与参考斑点图像采集时的温度之间的差异,因此,通过对温度变化系数k以及ΔT的测量就可以实现对变形Δl的测量。在误差校正阶段,将测得的Δl代入公式(3)即可获取真实的深度图像:
其中温度变化系数k可以通过对采集模组进行温度变化实验获取,或者依据采集模组的材料以及经验公式获取,ΔT的获取可以通过在采集模组中配置一个温度传感器,温度传感器用于对采集模组的温度进行实时检测从而实现对ΔT的测量。
上述校正方法实现过程可以由深度计算处理器来完成。深度相机温度误差校正系统将包括投影模组、采集模组、温度传感器、存储器以及深度计算处理器,其中温度传感器用于实时测量采集模组温度并传输给处理器,存储器中除了存储参考斑点图像外还用于保存参考斑点图像采集时的温度、以及采集模组的温度变化系数k,处理器接收由采集模组传输来的当前斑点图像后,与参考斑点图像进行匹配计算,获取偏离值的测量值,再结合温度差ΔT以及k并利用公式(5)计算出真实深度值,以实现对温度误差的纠正。深度计算处理器可以被集成在深度相机中,也可以独立于深度相机存在于其他计算设备中。
以上深度相机测量误差校正系统中校正引擎位于处理器中,处理器无需输出深度图像后再对深度图像进行校正,这一方法可以称为是内部校正方法,然而内部校正方法过程中需要额外地采用温度传感器装置,会导致深度相机成本增加且体积变大,另外内部校正方法往往是基于某一具体的误差模型理论,而实际上,该误差模型理论往往仅代表某一方面原因引起的误差,难以全面衡量深度相机的温度误差。因此在一些深度相机中,往往不提供内部校正方法,深度相机可以直接输出没有经过误差校正的深度图像,再利用额外的误差校正引擎根据具体的应用场景对原始深度图像进行校正。
利用外部校正法进行温度误差校正
图4是根据本发明又一实施例的激光安全控制方法原理示意图。深度相机31与32共同对场景目标33进行测量,各自获取目标33的部分深度图像34与35,然而由于温度误差影响,导致获取的深度图像34、35与真实的目标33在深度上并不一致,即产生了温度误差。一般地,为了后续可以将深度图像34与35能更好的融合成单幅深度图像,深度相机31与32之间会拥有部分共同视野,可以预见的是,当深度图像34与35融合后得到的深度图像将偏离真实目标,另外即使在共同视野部分,两幅深度图像中的数据也存在差异。本实施例中,将以两个深度相机为例阐述温度误差校正方法及系统,但该校正方法与系统可以被应用到2个以上的深度相机共同工作时的情形。
如图5所示,根据共同视野中,不同深度相机获取的深度图像需要尽可能一致的思想,亦即差异最小的思想,本实施例中深度相机温度误差校正的方法:
首先,由至少两个深度相机获取目标的深度图像,且多个深度相机中相邻的两个深度相机有部分共同视野区域;
其次,对温度变化对每个深度相机的测量误差进行建模;
最后,利用经过建模的测量误差对获取的深度图像进行校正,使得校正后的深度图像在共同视野区域差异最小。
以下将详细对温度误差建模以及校正进行阐述。
温度误差建模中建立温度变化与误差引起原因可详见前述部分内容。此外,温度误差建模还包括建立温度变化所引起的多个深度相机深度图像之间的误差,以下将进行详细说明。
如图4中所示,深度相机31与32获取的深度图像34、35与真实的目标33之间均存在偏离,在其共同视野区域,深度图像34与35之间的差异ΔZ可以表示为
ΔZ=Z1-Z2
=Z1-Z+Z-Z2
=AZ1-ΔZ2 (5)
若该差异是由温度变化引起的,则可以将(4)式分别应用于深度相机31与32,(5)式转化为:
根据Δd=Δl·tanθ,上式变为:
上述中Z1、Z2指的深度相机31与32的真实深度值,但考虑到该深度值为未知项,常常用测量值代替。需要注意的是,以上各式仅以目标中的单个点进行说明,实际应用中,式中的深度值与角度值一般表示的是二维数组。
在利用以上得到的温度变化与深度误差的模型进行误差校正的过程,本质上即是已知共同区域各个像素的ΔZ,求解Δl1、Δl2的过程。
如图6所示,选取共同视野区域内的m个像素,m的值应小于共同视野区域中像素的总数量,误差校正的具体步骤如下:
(1)计算共同区域中各个像素在不同深度图像中深度值的差异ΔZ(i)=Z1 (i)-Z2 (i),i∈[1,m];
(2)该差异由相连的两个深度相机的误差共同引起,并假定相邻的两个深度相机的误差相同,即ΔZ1 (i)=-ΔZ2 (i)=ΔZ(i)/2。
(3)根据ΔZ1 (i)、ΔZ2 (i)的值,并代入公式(4)分别计算出Δl1 (i)、Δl2 (i),并对共同区域各个像素对应的Δl1 (i)、Δl2 (i)进行平均,得到最终的Δl1、Δl2
(4)利用最终的Δl1、Δl2,并结合公式(4)实现对两个深度相机的所有像素深度值的校正。
上述方法中,是假定共同区域的误差是由两个深度相机共同引起的,且二者的误差相同,另外对共同像素区域的误差还进行了平均。然而实际上,二者的误差并非完成相同,因此上述的校正方法的精度较低。
在一些实施例中,利用最小二乘法可以较为准确的误差校正。该校正方法的数学模型即:已知两个深度相机共同视野区域中的m个像素且对应的深度值,求得两个深度相机的温度变化引起的间距误差Δl1、Δl2,使得代价函数最小,其中ΔZ(i)利用式(7)确定,k为系数,在一个实施例中,k=0.5。求解方法包括梯度下降法、牛顿迭代法、法方程法(normal equations)等,具体解法在此不做赘述。
以上所述的利用外部校正法进行温度误差校正的系统,一般包括两个及以下的深度相机,校正方法一般由额外的校正引擎来完成,该校正引擎可以是专用的处理器、也可以是被运行于处理器中的软件模块,校正引擎分别与多个深度相机连接,通过接收两个深度相机的深度数据以及二者之间的相互位置关系,执行以上所述的校正方法。
本发明如上所述的方法中为了构建数学模型所采用的具体的误差采用简化处理,其所对应的实际应用中的误差是较为复杂的。通过将本发明所述的方法应用到具体复杂的场景中,其应用可以是直接应用也可以在本发明思路的基础上做出合理的变通再应用,能在一定程度上提高深度相机的精准度。在本发明思路的基础上基于具体应用场景做出的合理变通应该视为本发明的保护范围。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (8)

1.一种深度相机温度误差校正的方法,其特征在于,包括:
S1:利用至少两个深度相机获取当前目标的深度图像,所述至少两个深度相机有部分共同视野区域;
S2:对温度变化引起的深度相机的测量误差进行建模;
S3:利用经过建模的测量误差对所述深度图像进行校正,使得校正后的深度图像在共同视野区域差异最小。
2.如权利要求1所述的深度相机温度误差校正的方法,其特征在于,所述步骤S2包括:
温度变化ΔT使得所述深度相机中采集模组的透镜与图像传感器间距l发生变化Δl;以及,
间距变化Δl使得测量的偏离值d′与真实偏离值d出现偏差Δd,且Δd=Δl·tanθ,其中θ是目标与所述透镜光心连线与所述透镜光轴之间夹角沿基线方向上的分量,所述基线指的是所述深度相机中所述采集模组与投影模组之间的连线。
3.如权利要求2所述的深度相机温度误差校正的方法,其特征在于,所述步骤S2还包括:
所述真实偏离值d的偏差Δd使得相邻的两个所述深度相机在所述共同视野区域中的深度值出现差异ΔZ,且
<mrow> <mi>&amp;Delta;</mi> <mi>Z</mi> <mo>=</mo> <mo>-</mo> <msubsup> <mi>Z</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mfrac> <mrow> <msub> <mi>&amp;Delta;l</mi> <mn>1</mn> </msub> <msub> <mi>tan&amp;theta;</mi> <mn>1</mn> </msub> </mrow> <mrow> <mi>l</mi> <mi>b</mi> </mrow> </mfrac> <mo>+</mo> <msubsup> <mi>Z</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mfrac> <mrow> <msub> <mi>&amp;Delta;l</mi> <mn>2</mn> </msub> <msub> <mi>tan&amp;theta;</mi> <mn>2</mn> </msub> </mrow> <mrow> <mi>l</mi> <mi>b</mi> </mrow> </mfrac> </mrow>
其中Z1、Z2分别指所述相邻的两个深度相机的深度值,Δl1、Δl2分别指所述相邻的两个深度相机的采集模组的透镜与图像传感器间距发生的变化。
4.如权利要求3所述的深度相机温度误差校正的方法,其特征在于,所述利用经过建模的测量误差对所述深度图像进行校正包括如下步骤:
T1:计算所述共同视野区域中各个像素在不同深度图像中深度值的差异ΔZ(i)=Z1 (i)-Z2 (i),其中i∈[1,m],m指所述共同视野区域中至少部分像素的数量;
T2:所述深度值的差异由所述相邻的两个深度相机的误差共同引起,且所述相邻的两个深度相机的误差相同,即ΔZ1 (i)=-ΔZ2 (i)=ΔZ(i)/2;
T3:根据ΔZ1 (i)、ΔZ2 (i)以及公式分别计算出Δl1 (i)、Δlx(i),并对所述m个像素对应的Δl1 (i)、Δl2 (i)进行平均,得到最终的Δl1、Δl2
T4:利用最终的Δl1、Δl2,并结合式实现对所述相邻的两个深度相机的所有像素深度值的校正。
5.如权利要求3所述的深度相机温度误差校正的方法,其特征在于,所述利用经过建模的测量误差对所述深度图像进行校正包括利用最小二乘法进行校正。
6.如权利要求5所述的深度相机温度误差校正的方法,其特征在于,所述利用最小二乘法进行校正包括:通过使得代价函数最小化来求解出所述两个深度相机的间距误差Δl1、Δl2,再根据所述间距误差实现对所述深度相机的深度图像的校正,其中k为系数。
7.如权利要求6所述的深度相机温度误差校正的方法,其特征在于,所述求解包括梯度下降法、牛顿迭代法和法方程法中的一种。
8.一种深度相机温度误差校正的系统,其特征在于,包括:
至少两个深度相机,用于获取当前目标的深度图像,所述至少两个深度相机有部分共同视野区域;
处理器,被配置用于执行以下步骤:
对温度变化引起的深度相机的测量误差进行建模;
利用经过建模的测量误差对所述深度图像进行校正,使得校正后的深度图像在共同视野区域差异最小。
CN201710966717.5A 2017-10-17 2017-10-17 深度相机温度误差校正方法及系统 Active CN107730561B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710966717.5A CN107730561B (zh) 2017-10-17 2017-10-17 深度相机温度误差校正方法及系统
PCT/CN2018/071990 WO2019075942A1 (zh) 2017-10-17 2018-01-09 深度相机温度误差校正方法及系统
US16/847,907 US11335020B2 (en) 2017-10-17 2020-04-14 Method and system for correcting temperature error of depth camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710966717.5A CN107730561B (zh) 2017-10-17 2017-10-17 深度相机温度误差校正方法及系统

Publications (2)

Publication Number Publication Date
CN107730561A true CN107730561A (zh) 2018-02-23
CN107730561B CN107730561B (zh) 2021-07-06

Family

ID=61211613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710966717.5A Active CN107730561B (zh) 2017-10-17 2017-10-17 深度相机温度误差校正方法及系统

Country Status (3)

Country Link
US (1) US11335020B2 (zh)
CN (1) CN107730561B (zh)
WO (1) WO2019075942A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108668078A (zh) * 2018-04-28 2018-10-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108711167A (zh) * 2018-05-15 2018-10-26 深圳奥比中光科技有限公司 深度成像系统及其温度误差校正方法
CN110232715A (zh) * 2019-05-08 2019-09-13 深圳奥比中光科技有限公司 一种多深度相机自校准的方法、装置及系统
EP3605393A1 (en) * 2018-08-01 2020-02-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image correction due to deviations caused by temperature changes of camera light emitter
EP3621293A4 (en) * 2018-04-28 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD, DEVICE, COMPUTER-READABLE STORAGE MEDIUM AND ELECTRONIC DEVICE
CN111537074A (zh) * 2020-03-31 2020-08-14 深圳奥比中光科技有限公司 一种温度测量方法及系统
EP3627827A4 (en) * 2018-04-28 2021-03-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR CONTROLLING AN ELECTRONIC PHOTOGRAPHING DEVICE, ELECTRONIC DEVICE AND COMPUTER-READABLE STORAGE MEDIUM
CN113837105A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、系统、电子设备及存储介质
JP7379045B2 (ja) 2019-02-27 2023-11-14 キヤノン株式会社 算出方法、物品の製造方法、プログラム、情報処理装置、システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730561B (zh) * 2017-10-17 2021-07-06 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及系统
IL275524B (en) * 2020-06-18 2021-12-01 Elbit Systems C4I And Cyber Ltd System and method for measuring parameters without contact
EP4080161A1 (de) * 2021-04-19 2022-10-26 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren und anordnung zur kompensation von strahlwinkeländerungen eines durch ein diffraktives optisches element erzeugten strahlenbündels
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质
CN117156113B (zh) * 2023-10-30 2024-02-23 南昌虚拟现实研究院股份有限公司 一种基于深度学习散斑相机图像矫正方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN102681661A (zh) * 2011-01-31 2012-09-19 微软公司 在玩游戏中使用三维环境模型
US20140340771A1 (en) * 2013-05-14 2014-11-20 JCD (Guang Zhou) Optical Corporation Limited Lens Barrel
CN105323454A (zh) * 2014-07-30 2016-02-10 光宝电子(广州)有限公司 多相机图像撷取系统与图像重组补偿方法
CN105432079A (zh) * 2013-07-17 2016-03-23 微软技术许可有限责任公司 立体深度相机阵列的实时配准
US9729362B1 (en) * 2013-03-20 2017-08-08 Georgia Tech Research Corporation Systems and methods for autonomous signal modulation format identification
CN107133984A (zh) * 2017-03-24 2017-09-05 深圳奥比中光科技有限公司 深度相机与主体设备的标定方法与系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330324B2 (en) * 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
WO2011068210A1 (ja) * 2009-12-04 2011-06-09 Nec液晶テクノロジー株式会社 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム
CN102436657A (zh) * 2011-09-27 2012-05-02 夏东 基于物联网应用的主动光深度测量值修正方法
EP2909613B1 (en) * 2012-10-17 2020-09-02 Bio-rad Laboratories, Inc. Image capture for large analyte arrays
JP6290922B2 (ja) 2012-12-28 2018-03-07 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境における現実対象物上のデジタル情報を投影するための方法およびシステム
KR102085228B1 (ko) * 2014-03-27 2020-03-05 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US9876954B2 (en) * 2014-10-10 2018-01-23 Iec Infrared Systems, Llc Calibrating panoramic imaging system in multiple dimensions
US9813692B2 (en) * 2015-09-25 2017-11-07 Intel Corporation Online compensation of thermal distortions in a stereo depth camera
CN107730561B (zh) * 2017-10-17 2021-07-06 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及系统
US10645795B2 (en) * 2018-03-29 2020-05-05 Magna Electronics Inc. Vehicular camera with focus athermalization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN102681661A (zh) * 2011-01-31 2012-09-19 微软公司 在玩游戏中使用三维环境模型
US9729362B1 (en) * 2013-03-20 2017-08-08 Georgia Tech Research Corporation Systems and methods for autonomous signal modulation format identification
US20140340771A1 (en) * 2013-05-14 2014-11-20 JCD (Guang Zhou) Optical Corporation Limited Lens Barrel
CN105432079A (zh) * 2013-07-17 2016-03-23 微软技术许可有限责任公司 立体深度相机阵列的实时配准
CN105323454A (zh) * 2014-07-30 2016-02-10 光宝电子(广州)有限公司 多相机图像撷取系统与图像重组补偿方法
CN107133984A (zh) * 2017-03-24 2017-09-05 深圳奥比中光科技有限公司 深度相机与主体设备的标定方法与系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627827A4 (en) * 2018-04-28 2021-03-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR CONTROLLING AN ELECTRONIC PHOTOGRAPHING DEVICE, ELECTRONIC DEVICE AND COMPUTER-READABLE STORAGE MEDIUM
US11146735B2 (en) 2018-04-28 2021-10-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing methods and apparatuses, computer readable storage media, and electronic devices
CN108668078A (zh) * 2018-04-28 2018-10-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
EP3621293A4 (en) * 2018-04-28 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD, DEVICE, COMPUTER-READABLE STORAGE MEDIUM AND ELECTRONIC DEVICE
US11095802B2 (en) 2018-04-28 2021-08-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing a captured image and electronic device
CN108711167A (zh) * 2018-05-15 2018-10-26 深圳奥比中光科技有限公司 深度成像系统及其温度误差校正方法
EP3605393A1 (en) * 2018-08-01 2020-02-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image correction due to deviations caused by temperature changes of camera light emitter
US11218650B2 (en) 2018-08-01 2022-01-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, electronic device, and computer-readable storage medium
JP7379045B2 (ja) 2019-02-27 2023-11-14 キヤノン株式会社 算出方法、物品の製造方法、プログラム、情報処理装置、システム
CN110232715A (zh) * 2019-05-08 2019-09-13 深圳奥比中光科技有限公司 一种多深度相机自校准的方法、装置及系统
CN110232715B (zh) * 2019-05-08 2021-11-19 奥比中光科技集团股份有限公司 一种多深度相机自校准的方法、装置及系统
CN111537074A (zh) * 2020-03-31 2020-08-14 深圳奥比中光科技有限公司 一种温度测量方法及系统
CN113837105A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
US11335020B2 (en) 2022-05-17
US20200242792A1 (en) 2020-07-30
CN107730561B (zh) 2021-07-06
WO2019075942A1 (zh) 2019-04-25

Similar Documents

Publication Publication Date Title
CN107730561A (zh) 深度相机温度误差校正方法及系统
CN107657635A (zh) 深度相机温度误差校正方法及系统
EP3220099B1 (en) Calibration device, calibration method, optical device, imaging device, projection device, measurement system, and measurement method
US10664998B2 (en) Camera calibration method, recording medium, and camera calibration apparatus
US20110096182A1 (en) Error Compensation in Three-Dimensional Mapping
US20120281240A1 (en) Error Compensation in Three-Dimensional Mapping
US7479982B2 (en) Device and method of measuring data for calibration, program for measuring data for calibration, program recording medium readable with computer, and image data processing device
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
US20180051982A1 (en) Object-point three-dimensional measuring system using multi-camera array, and measuring method
US10070117B2 (en) Three-dimensional measuring apparatus
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
JP6209833B2 (ja) 検査用具、検査方法、ステレオカメラの生産方法及びシステム
CN108489421A (zh) 一种条纹投影检测平面元件面形方法及装置
EP2833107A2 (en) Wavefront measurement method, shape measurement method, optical element manufacturing method, optical apparatus manufacturing method, program, and wavefront measurement apparatus
CN115457147A (zh) 相机标定方法、电子设备及存储介质
US20190392607A1 (en) Image processing apparatus, system, image processing method, article manufacturing method, and non-transitory computer-readable storage medium
CN104406770A (zh) 波像差测量模块的畸变测量装置和畸变校正方法
CN106813595A (zh) 三相机组特征点匹配方法、测量方法及三维检测装置
CN113822920A (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
Zhang et al. Improved Camera Calibration Method and Accuracy Analysis for Binocular Vision
CN105423942B (zh) Bsl 3d dic系统中双棱镜缺陷误差的修正方法
KR102167847B1 (ko) 레이저 관측 장비를 이용한 mms의 캘리브레이션을 위한 장치 및 방법
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
Xu et al. Calibration method of laser plane equation for vision measurement adopting objective function of uniform horizontal height of feature points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: A808, Zhongdi building, industry university research base, China University of Geosciences, No.8, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant