CN115439355A - 相机模组畸变确定方法、畸变矫正方法及深度测量装置 - Google Patents
相机模组畸变确定方法、畸变矫正方法及深度测量装置 Download PDFInfo
- Publication number
- CN115439355A CN115439355A CN202211032868.0A CN202211032868A CN115439355A CN 115439355 A CN115439355 A CN 115439355A CN 202211032868 A CN202211032868 A CN 202211032868A CN 115439355 A CN115439355 A CN 115439355A
- Authority
- CN
- China
- Prior art keywords
- module
- distortion
- distortion value
- field angle
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 20
- 239000000758 substrate Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 18
- 238000013461 design Methods 0.000 abstract description 6
- 238000005259 measurement Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 240000000136 Scabiosa atropurpurea Species 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请揭示了一种相机模组畸变确定方法、畸变矫正方法及深度测量装置,该方案基于光栅方程建立了模组的畸变值与视场角之间的映射关系,基于建立的映射关系,只需获知模组的视场角,便可快速获得模组的畸变值,从而根据模组的畸变值作进一步的设计,使接收模组的畸变值与投射模组的畸变值相互抵消,实现畸变矫正,从而可以降低整个深度测量装置的畸变,可以有效的避免畸变对深度测量精度的影响。
Description
技术领域
本申请涉及光学成像技术领域,特别涉及一种相机模组畸变确定方法、畸变矫正方法及深度测量装置。
背景技术
近年来,3D成像在消费电子领域中的应用越来越广,例如在3D扫描,人脸支付,场景建模等领域,都得到了广泛的应用。3D成像技术不仅可以对目标物体进行成像,而且还能获取目标物体的深度信息。结构光深度相机或者TOF深度相机是目前应用最广的3D成像设备。
在3D深度测量领域中,图像的畸变是影响3D深度测量精度最重要的因素之一,特别是在大视场角或者边缘区域,由于图像畸变所导致的深度精度问题尤为严重。图像的畸变主要来源于深度测量装置的投射模组和接收模组,投射模组投射出来的通常是畸变散斑图,通过物体反射到接收模组上,其成像仍然为畸变的散斑图,进而影响深度测量装置的测量精度。
申请内容
为了减小图像的畸变,本申请提供了一种畸变矫正方法及深度测量装置。
根据本申请实施例的一方面,公开了一种畸变矫正方法,包括:
获取第一模组的视场角;
对所述第一模组的视场角作映射处理,得到所述第一模组的第一畸变值;
根据所述第一畸变值确定矫正畸变值,所述矫正畸变值与所述第一畸变值相互抵消;
选择畸变值为所述矫正畸变值的第二模组;所述第二模组和所述第一模组中的一者为用于投射散斑图的投射模组,另一者为用于接收散斑图的接收模组。
在一种示例性实施例中,所述第二模组和所述第一模组中的一者的畸变类型为枕形畸变,另一者的畸变类型为桶形畸变。
在一种示例性实施例中,所述对所述第一模组的视场角作映射处理,得到所述第一模组的第一畸变值,包括:
获取所述第一模组在第一方向上的第一视场角和在第二方向上的第二视场角,所述第一方向、第二方向为直角坐标下的其中两坐标轴方向;
将二分之一的所述第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的所述第二视场角作为入射角,零作为衍射角,构建第二光栅方程;
基于空间中任意一点,在球坐标下分别构建对应于所述第一方向的第三光栅方程和对应于所述第二方向的第四光栅方程;
基于所述第一光栅方程、所述第二光栅方程、所述第三光栅方程及所述第四光栅方程,获得在所述第一模组的畸变影响下,散斑图中散斑点在所述第一方向上的坐标与所述第一视场角和所述第二视场角的第一映射关系,以及在所述第二方向上的坐标与所述第一视场角和所述第二视场角的第二映射关系;
根据所述第一映射关系和所述第二映射关系确定所述第一模组的视场角与所述第一畸变值的第三映射关系,获得所述第一模组的第一畸变值。
在一种示例性实施例中,所述根据所述第一映射关系和所述第二映射关系确定所述第一模组的视场角与所述第一畸变值的第三映射关系,获得所述第一模组的第一畸变值,包括:
获取在所述第一模组的畸变影响下的散斑图,取所述散斑图上位于边缘位置的两个散斑点,所述两个散斑点位于所述散斑图的同一条边上;
获取所述两个散斑点在所述第一方向或所述第二方向上的坐标值的商;
将所述商作为所述第一模组的第一畸变值。
在一种示例性实施例中,所述第三映射关系为:
其中,α表示所述第一畸变值,FOVX_A表示散斑点A在x方向的视场角,FOVY_A表示散斑点A在y方向的视场角,FOVY_D表示散斑点D在y方向的视场角,所述第一模组的视场角包括所述x方向的视场角和y方向的视场角。
根据本申请实施例的一方面,公开了一种深度测量装置,所述深度测量装置包括:
第一模组,所述第一模组的畸变值为基于对所述第一模组的视场角作映射处理得到;
第二模组,所述第二模组的畸变值为矫正畸变值,所述矫正畸变值与所述第一模组的畸变值相互抵消;
所述第二模组和所述第一模组中的一者用于投射散斑图,另一者用于接收散斑图。
在一种示例性实施例中,所述深度测量装置包括基板,所述第一模组、第二模组设置在所述基板的同一表面上。
在一种示例性实施例中,所述第一模组包括光源、准直镜头及衍射光学元件,所述光源用于发射光束,所述准直镜头用于对所述光源发射的光束进行准直,所述衍射光学元件用于基于准直的光束投射散斑图;所述第二模组包括成像镜头、滤光元件及感光元件,所述成像镜头用于汇聚光线,所述滤光元件用于对所述成像镜头汇聚的光线作波长筛选,所述感光元件接收经过波长筛选之后的光线以成像出散斑图。
本申请的实施例提供的技术方案至少包括以下有益效果:
本申请提供的技术方案,对投射模组的视场角作映射处理,得到投射模组的畸变值,或者,对接收模组的视场角作映射处理,得到接收模组的畸变值;并且通过使接收模组的畸变值与投射模组的畸变值相互抵消,实现畸变矫正,从而可以降低整个深度测量装置的畸变,可以有效的避免畸变对深度测量精度的影响。
为了便于获得相机模组的畸变值,本申请还提供了一种相机模组畸变确定方法,包括:
获取所述相机模组在第一方向上的第一视场角和在第二方向上的第二视场角,所述第一方向、第二方向为直角坐标下的其中两坐标轴方向;
将二分之一的所述第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的所述第二视场角作为入射角,零作为衍射角,构建第二光栅方程;
基于空间中任意一点,在球坐标下分别构建对应于所述第一方向的第三光栅方程和对应于所述第二方向的第四光栅方程;
基于所述第一光栅方程、所述第二光栅方程、所述第三光栅方程及所述第四光栅方程,获得在所述相机模组的畸变影响下,散斑图中散斑点在所述第一方向上的坐标与所述第一视场角和所述第二视场角的第一映射关系,以及在所述第二方向上的坐标与所述第一视场角和所述第二视场角的第二映射关系;
根据所述第一映射关系和所述第二映射关系确定所述相机模组的视场角与畸变值的第三映射关系,获得所述相机模组的畸变值。
在一种示例性实施例中,所述第三映射关系为:
其中,α表示所述相机模组的畸变值,FOVX_A表示散斑点A在x方向的视场角,FOVY_A表示散斑点A在y方向的视场角,FOVY_D表示散斑点D在y方向的视场角。
本申请提供的相机模组畸变确定方案,基于光栅方程建立了相机模组的畸变值与视场角之间的映射关系,基于建立的映射关系,只需获知相机模组的视场角,便可快速获得相机模组的畸变值,从而根据相机模组的畸变值作进一步的设计,例如,选择与相机模组的畸变值相互抵消的另一模组,以获得图案畸变更小的深度测量装置等。
与相机模组畸变确定方法对应地,本申请还提供了一种电子设备,所述电子设备包括:
获取模块,用于获取所述相机模组在第一方向上的第一视场角和在第二方向上的第二视场角,所述第一方向、第二方向为直角坐标下的其中两坐标轴方向;
第一构建模块,用于将二分之一的所述第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的所述第二视场角作为入射角,零作为衍射角,构建第二光栅方程;
第二构建模块,用于基于空间中任意一点,在球坐标下分别构建对应于所述第一方向和的第三光栅方程和对应于所述第二方向的第四光栅方程;
第一处理模块,用于基于所述第一光栅方程、所述第二光栅方程、所述第三光栅方程及所述第四光栅方程,获得在所述相机模组的畸变影响下,散斑图中散斑点在所述第一方向上的坐标与所述第一视场角和所述第二视场角的第一映射关系,以及在所述第二方向上的坐标与所述第一视场角和所述第二视场角的第二映射关系;
第二处理模块,用于根据所述第一映射关系和所述第二映射关系确定所述相机模组的视场角与畸变值的第三映射关系,获得所述相机模组的畸变值。
与相机模组畸变确定方法对应地,本申请还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述智能问询设备实现前述相机模组畸变确定方法。
根据本申请实施例的一方面,公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使所述计算机执行前述相机模组畸变确定方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是视场角的定义示意图。
图2是根据一示例性实施例示出的一种畸变矫正方法的流程图。
图3是图2对应实施例中步骤S102的细节流程图。
图4是图3对应实施例中步骤S1025的细节流程图。
图5是根据一示例性实施例投射模组的畸变图像。
图6是根据一示例性实施例接收模组的畸变图像。
图7是一种示例性实施例示出的深度测量装置结构图。
图8是根据一示例性实施例示出的一种相机模组畸变确定方法的流程图。
图9是根据一示例性实施例示出的一种电子设备的框图。
图10是根据一示例性实施例示出的用于实现本申请实施例的电子设备的计算机系统结构框图。
附图标记说明如下:
101、基板;102、光源;103、准直镜头;104、衍射光学元件;105、感光元件;106、滤光元件;107、成像镜头;200、电子设备;201、获取模块;202、第一构建模块;203、第二构建模块;204、第一处理模块;205、第二处理模块;301、CPU;302、ROM;303、存储部分;304、RAM;305、总线;306、I/O接口;307、输入部分;308、输出部分;309、通信部分;310、驱动器;311、可拆卸介质。
具体实施方式
尽管本申请可以容易地表现为不同形式的实施方式,但在附图中示出并且在本说明书中将详细说明的仅仅是其中一些具体实施方式,同时可以理解的是本说明书应视为是本申请原理的示范性说明,而并非旨在将本申请限制到在此所说明的那样。
此外,本申请的描述中所提到的术语“包括”、“具有”以及它的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备,没有限定于已列出的步骤或模块,而是可选的还包括其它没有列出的步骤或模块,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个特征。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
需要说明的是,本申请实施例中,“示例性”或者“举例地”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性”或者“举例地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性”或者“举例地”等词旨在以具体方式呈现相关概念。
以下将详细地对示例性实施例进行说明。以下示例性实施例中所描述的实施方式并不表示与本申请相一致的所有实施方式。相反,它们仅是与如前述申请内容中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先,对本申请中涉及的若干名词进行解释:
视场角(Field of View,FOV):是以光学仪器的镜头为顶点,以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角。FOV的大小决定了光学仪器的视野范围,视场角越大,视野就越大,光学倍率就越小。FOV包括垂直视场角(如图1中所示的夹角ω1)、水平视场角(如图1中所示的夹角ω2)、对角线视场角。
枕形畸变(Pincushion Distortion):又称枕形失真,是由镜头引起的画面向中间“收缩”的现象。
桶形畸变(Barrel Distortion):又称桶形失真,是由镜头中透镜物理性能以及镜片组结构引起的成像画面呈桶形膨胀状的失真现象。
光栅:由大量等宽等间距的平行狭缝构成的光学器件称为光栅。
光栅方程:D(sinα±sinβ)=mλ,含义为:光谱级数m,以同样的入射角α投射到光栅上的不同波长λ1、λ2、λ3……组成的混合光,每种波长产生的干涉极大都位于不同的角度位置,即不同波长的衍射光以不同的衍射角β出射。
本申请实施例提供一种相机模组畸变确定方法、畸变矫正方法及深度测量装置,本申请实施例提供的相机模组畸变确定方法、畸变矫正方法及深度测量装置,具体通过如下实施例进行说明,首先描述本申请实施例中的畸变矫正方法。
本申请实施例首先提供了一种畸变矫正方法。该畸变矫正方法包括:
获取第一模组的视场角;
对第一模组的视场角作映射处理,得到第一模组的第一畸变值;
根据第一畸变值确定矫正畸变值,矫正畸变值与第一畸变值相互抵消;
选择畸变值为矫正畸变值的第二模组;第二模组和第一模组中的一者为用于投射散斑图的投射模组,另一者为用于接收散斑图的接收模组。
本申请提供的技术方案,对投射模组的视场角作映射处理,得到投射模组的畸变值,或者,对接收模组的视场角作映射处理,得到接收模组的畸变值;并且通过使接收模组的畸变值与投射模组的畸变值相互抵消,实现畸变矫正,从而可以降低整个深度测量装置的畸变,可以有效的避免畸变对深度测量精度的影响。
以下结合本说明书实施例中的附图,对本申请的实施方式予以进一步地详尽阐述。
参阅图2所示,本申请一示例性实施例提供的畸变矫正方法,包括以下步骤S101~S104。
S101,获取投射模组的视场角。
如图1所示,视场角包括有垂直视场角ω1和水平视场角ω2,对于每一投射模组,视点O沿光轴Z在视锥体的底面ABCD的投影点为G,OG沿着相机光轴Z,其长度即为视场深度。水平视场角ω2,由视场深度和成像平面的宽度(即,视锥体底面ABCD的宽度)决定,垂直视场角ω1由视场深度和成像平面的高度(即,视锥体底面ABCD的高度)决定。对于每一投射模组,都有确定的视场角。
S102,对第一模组的视场角作映射处理,得到第一模组的第一畸变值。
在一个示例性实施例中,如图3所示,步骤S102包括步骤S1021~S1025。
S1021,获取第一模组在第一方向上的第一视场角和在第二方向上的第二视场角,第一方向、第二方向为直角坐标下的其中两坐标轴方向。
可以理解地,第一方向上的第一视场角、第二方向上的第二视场角分别对应为水平视场角、垂直视场角。以图1所示角度为例,第一方向为直角坐标下的x轴方向,第二方向为直角坐标下的y轴方向。
S1022,将二分之一的第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的第二视场角作为入射角,零作为衍射角,构建第二光栅方程。
详细地,光栅方程为D(sinα±sinβ)=mλ,其中D表示光栅周期,α表示光入射到光栅上的入射角,β表示光经光栅的衍射角,入射角α和衍射角β分别是入射光线和衍射光线与光栅法线之间的夹角,如果入射角α和衍射角β在光栅法线的同一侧,上述光栅方程的括号里边取加号,如果入射角α和衍射角β在光栅法线的不同侧,则上述光栅方程的括号里边取减号,m表示衍射级数,λ表示投射到光栅上的波长。
第一视场角(水平视场角)表示为FOVX,第二视场角(垂直视场角)表示为FOVY,则第一光栅方程为下式(1),第二光栅方程为下式(2):
dx*sin(FOVX/2)=mλ (1)
dy*sin(FOVY/2)=nλ (2)
其中,在第一光栅方程中,dx表示x方向(第一方向)的光栅周期,m表示x方向的衍射级数,λ表示投射到光栅上的波长;在第二光栅方程中,dy表示y方向(第二方向)的光栅周期,n表示y方向的衍射级数,λ表示投射到光栅上的波长。
S1023,基于空间中任意一点,在球坐标下分别构建对应于第一方向的第三光栅方程和对应于第二方向的第四光栅方程。
详细地,假设空间中有一任意点H,原点到点H的连线与+Z轴的空间夹角为θ,原点到点H的连线在XY平面的投影线与+X轴之间的夹角为φ。那么对于点H,根据光栅方程,同样满足等式
dx*sinθcosφ=mλ (3)
dy*sinθsinφ=nλ (4)
其中,上式(3)为第三光栅方程,上式(4)为第四光栅方程。
在第三光栅方程中,dx表示x方向(第一方向)的光栅周期,θ表示原点到点H的连线与+Z轴的空间夹角,φ表示原点到点H的连线在XY平面的投影线与+X轴之间的夹角,m表示x方向的衍射级数,λ表示投射到光栅上的波长。在第四光栅方程中,dy表示y方向(第二方向)的光栅周期,θ表示原点到点H的连线与+Z轴的空间夹角,φ表示原点到点H的连线在XY平面的投影线与+X轴之间的夹角,n表示y方向的衍射级数,λ表示投射到光栅上的波长。
S1024,基于第一光栅方程、第二光栅方程、第三光栅方程及第四光栅方程,获得在第一模组的畸变影响下,散斑图中散斑点在第一方向上的坐标与第一视场角和第二视场角的第一映射关系,以及在第二方向上的坐标与第一视场角和第二视场角的第二映射关系。
详细地,联合上述第一光栅方程、第二光栅方程、第三光栅方程、第四光栅方程(1)-(4)可得:
根据上述关于夹角θ和夹角φ的式子(5),假设投影距离为P,那么对于散斑图中一散斑点A点,其坐标可表示为(xa,ya)
xa=P tanθacosφa
ya=P tanθasinφa (6)
xa表示散斑点A点在第一方向上的坐标,ya表示散斑点A点在第二方向上的坐标。
将式子(5)代入式子(6),即可获得散斑点A点在第一方向上的坐标与第一视场角和第二视场角的第一映射关系,以及在第二方向上的坐标与第一视场角和第二视场角的第二映射关系。
S1025,根据第一映射关系和第二映射关系确定第一模组的视场角与第一畸变值的第三映射关系,获得第一模组的第一畸变值。
在一个示例性实施例中,如图4所示,步骤S1025包括步骤S10251~S10253。
S10251,获取在第一模组的畸变影响下的散斑图,取散斑图上位于边缘位置的两个散斑点,两个散斑点位于散斑图的同一条边上。
S10252,获取两个散斑点在第一方向或第二方向上的坐标值的商。
S10253,将商作为第一模组的第一畸变值。
S103,根据第一畸变值确定矫正畸变值,矫正畸变值与第一畸变值相互抵消。
在一个示例性实施例中,矫正畸变值与第一畸变值相互抵消之后,接收模组接收到的散斑图不存在任何畸变。
假设畸变值α=1表示散斑图不存在任何畸变,为了保证接收模组接收到的散斑图的畸变值α=1,则需要满足:
其中,αT表示第一畸变值,αR表示矫正畸变值,其中0<αR<1,称之为桶行畸变,如图5所示。从式子可以得到,当接收模组的畸变值是投射模组的畸变值的倒数时,投射模组所产生的畸变,刚好被接收模组的畸变所矫正,此时整个光学系统具有最小的图案畸变。
S104,选择畸变值为矫正畸变值的接收模组。投射模组和接收模组,分别作为深度测量装置的一组成部分。
一个具体实施例:
投射模组的畸变类型为枕形畸变,投射的散斑图如图5所示。接收模组的畸变类型为桶形畸变,对于投射模组投射的不存在任何畸变的散斑图,接收模组接收到的散斑图如图6所示。
先参阅图5所示,ABCEGFHD为投射模组投射的散斑图的畸变轮廓,假设O点坐标为(0,0),A点坐标为(xa,ya),D点坐标为(0,yd),基于前述描述的第一光栅方程、第二光栅方程、第三光栅方程、第四光栅方程以及散斑图中散斑点的坐标表达式子(5),对于A点,坐标表示为:
xa=P tanθacosφa
ya=P tanθasinφa (6)
对于D点,坐标表示为:
yd=P tanθdsinφd (7)
在步骤S1025中,定义A点与D点的y轴坐标的商α=ya/yd,作为第一畸变值:
将式子(5)代入式子(6),将式子(5)代入式子(7),联合α=ya/yd,可得:
其中,α表示第一畸变值,FOVX_A、FOVY_A分别表示A点在x方向、y方向的视场角,FOV_D表示D点在y方向的视场角。从上述描述可以获知,投射模组投射出来的散斑图的畸变只与视场角有关,并且α>1,因此,在产品设计初期,当获得投射模组的视场角时,便可以快速计算出投射模组的图案畸变大小。在得到投射模组的畸变α之后,为了使接收模组接收到的散斑图畸变最小,对投射模组的畸变做补偿,选择畸变与第一畸变值α相互抵消的接收模组,从而可以提高深度测量装置的测量精度。
可以理解地,在上述实施例中,当第一畸变值αT>1,0<矫正畸变值αR<1时,深度测量装置的图案畸变最小。在某些实施例中,也可以是0<αT<1,αR>1,同样可以达到深度测量装置的图案畸变最小。
可以理解地,将两个散斑点在第一方向或第二方向上的坐标值的商作为第一模组的第一畸变值,仅为一示例性实施例。在其它实施例中,可以对第一畸变值作其它定义,例如,将图5所示的线条ac的长度与线条de的长度的商作为第一畸变值;再例如,将线条ad的长度与线条bo的长度的商作为第一畸变值。可以理解地,也不限于是将两者之间的商为第一畸变值,例如,将两者之间的差值作为第一畸变值等,只要投射模组的畸变值定义方式与接收模组的畸变值定义方式相适配即可。
在上述实施例中,列举了基于投射模组的畸变值选择接收模组,可以理解地,在其它实施例中,也可以是基于接收模组的畸变值选择投射模组。
接下来请参阅图7,图7是一示例性的深度测量装置结构图,如图7所示,深度测量装置包括投射模组、接收模组及基板101,投射模组和接收模组通过表面贴片的方式安装在基板101的同一表面上。
在一示例性实施例中,如图7所示,投射模组包括光源102、准直镜头103及衍射光学元件104(简称DOE),光源102用于发射光束,准直镜头103用于对光源102发射的光束进行准直,衍射光学元件104用于基于准直的光束投射散斑图。接收模组包括成像镜头107、滤光元件106及感光元件105,成像镜头107用于汇聚光线,滤光元件106用于对成像镜头107汇聚的光线作波长筛选,感光元件105接收经过波长筛选之后的光线以成像出散斑图。
详细地,光源102可以是边发射激光器,也可以是垂直表面激光器。准直镜头103对发散的光源进行准直,并通过衍射光学元件104进行复制与扩束,向目标空间投射特定视场角的散斑图,散斑图经过物体反射,首先经过成像镜头107,实现光线汇聚,经过滤光元件106进行波长的筛选后,散斑图被感光元件105接收。如前面,投射模组投射的散斑图是通过衍射光学元件104所投射出去的,存在畸变的现象,并且越到图案边缘,其畸变越大,图案经过物体反射后,通过成像镜头107时,成像镜头107本身的畸变,又会再一次叠加到散斑图的畸变上,使得最终在感光元件105上的成像图案产生严重的畸变,进而影响深度测量装置的测量精度。
因此,基于其中一个模组(投射模组/接收模组)的畸变值,选择畸变值相抵消的另一个模组(接收模组/投射模组),以使得整个深度测量装置的图案畸变最小,从而提高深度测量装置的测量精度。其中,投射模组的畸变值为基于对投射模组的视场角作映射处理得到。接收模组的畸变值为矫正畸变值,矫正畸变值与投射模组的畸变值相互抵消。
接下来请参阅图8,本申请一示例性实施例提供的相机模组畸变确定方法,包括以下步骤S201~S205。
S201,获取相机模组在第一方向上的第一视场角和在第二方向上的第二视场角,第一方向、第二方向为直角坐标下的其中两坐标轴方向。
S202,将二分之一的第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的第二视场角作为入射角,零作为衍射角,构建第二光栅方程。
S203,基于空间中任意一点,在球坐标下分别构建对应于第一方向的第三光栅方程和对应于第二方向的第四光栅方程。
S204,基于第一光栅方程、第二光栅方程、第三光栅方程及第四光栅方程,获得在相机模组的畸变影响下,散斑图中散斑点在第一方向上的坐标与第一视场角和第二视场角的第一映射关系,以及在第二方向上的坐标与第一视场角和第二视场角的第二映射关系。
S205,根据第一映射关系和第二映射关系确定相机模组的视场角与畸变值的第三映射关系,获得相机模组的畸变值。
可以理解地,相机模组可以是前面所述的投射模组,也可以是前面所述的接收模组。
上述相机模组畸变确定方法的各个步骤更详细的实现过程具体详见上述畸变矫正方法中对应步骤的实现过程,在此不再赘述。
如图9所示,与相机模组畸变确定方法对应地,本申请实施例提供的电子设备200,包括:
获取模块201,用于获取相机模组在第一方向上的第一视场角和在第二方向上的第二视场角,第一方向、第二方向为直角坐标下的其中两坐标轴方向。
第一构建模块202,用于将二分之一的第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的第二视场角作为入射角,零作为衍射角,构建第二光栅方程。
第二构建模块203,用于基于空间中任意一点,在球坐标下分别构建对应于第一方向和的第三光栅方程和对应于第二方向的第四光栅方程。
第一处理模块204,用于基于第一光栅方程、第二光栅方程、第三光栅方程及第四光栅方程,获得在相机模组的畸变影响下,散斑图中散斑点在第一方向上的坐标与第一视场角和第二视场角的第一映射关系,以及在第二方向上的坐标与第一视场角和第二视场角的第二映射关系。
第二处理模块205,用于根据第一映射关系和第二映射关系确定相机模组的视场角与畸变值的第三映射关系,获得相机模组的畸变值。
上述电子设备200中各个模块的功能和作用更详细的实现过程具体详见上述畸变矫正方法中对应步骤的实现过程,在此不再赘述。
上述电子设备200可以是任意具有信息处理功能的电子设备,例如台式电脑、笔记本电脑等。
图10示意性地示出了用于实现本申请实施例相机模组畸变确定方法的电子设备的计算机系统结构框图。
需要说明的是,图10示出的电子设备的计算机系统300仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统300包括中央处理器301(Central Processing Unit,CPU),其可以根据存储在只读存储器302(Read-Only Memory,ROM)中的程序或者从存储部分303加载到随机访问存储器304(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器304中,还存储有系统操作所需的各种程序和数据。中央处理器301、在只读存储器302以及随机访问存储器304通过总线305彼此相连。输入/输出接口306(Input/Output接口,即I/O接口)也连接至总线305。
以下部件连接至输入/输出接口306:包括键盘、鼠标等的输入部分307;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分308;包括硬盘等的存储部分303;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至输入/输出接口306。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分303。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。在该计算机程序被中央处理器301执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块地划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。
由前述描述,本申请根据投射模组的视场角,快速计算出投射模组的畸变值,并通过接收模组的成像镜头,对投射模组的畸变往相反的方向去补偿,将深度测量装置的畸变降到最低。该方式可以用在产品设计时,有效的避免图案畸变对深度测量精度的影响。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种畸变矫正方法,其特征在于,包括:
获取第一模组的视场角;
对所述第一模组的视场角作映射处理,得到所述第一模组的第一畸变值;
根据所述第一畸变值确定矫正畸变值,所述矫正畸变值与所述第一畸变值相互抵消;
选择畸变值为所述矫正畸变值的第二模组;所述第二模组和所述第一模组中的一者为用于投射散斑图的投射模组,另一者为用于接收散斑图的接收模组。
2.根据权利要求1所述的方法,其特征在于,所述第二模组和所述第一模组中的一者的畸变类型为枕形畸变,另一者的畸变类型为桶形畸变。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一模组的视场角作映射处理,得到所述第一模组的第一畸变值,包括:
获取所述第一模组在第一方向上的第一视场角和在第二方向上的第二视场角,所述第一方向、第二方向为直角坐标下的其中两坐标轴方向;
将二分之一的所述第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的所述第二视场角作为入射角,零作为衍射角,构建第二光栅方程;
基于空间中任意一点,在球坐标下分别构建对应于所述第一方向的第三光栅方程和对应于所述第二方向的第四光栅方程;
基于所述第一光栅方程、所述第二光栅方程、所述第三光栅方程及所述第四光栅方程,获得在所述第一模组的畸变影响下,散斑图中散斑点在所述第一方向上的坐标与所述第一视场角和所述第二视场角的第一映射关系,以及在所述第二方向上的坐标与所述第一视场角和所述第二视场角的第二映射关系;
根据所述第一映射关系和所述第二映射关系确定所述第一模组的视场角与所述第一畸变值的第三映射关系,获得所述第一模组的第一畸变值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一映射关系和所述第二映射关系确定所述第一模组的视场角与所述第一畸变值的第三映射关系,获得所述第一模组的第一畸变值,包括:
获取在所述第一模组的畸变影响下的散斑图,取所述散斑图上位于边缘位置的两个散斑点,所述两个散斑点位于所述散斑图的同一条边上;
获取所述两个散斑点在所述第一方向或所述第二方向上的坐标值的商;
将所述商作为所述第一模组的第一畸变值。
6.一种深度测量装置,其特征在于,包括:
第一模组,所述第一模组的畸变值为基于对所述第一模组的视场角作映射处理得到;
第二模组,所述第二模组的畸变值为矫正畸变值,所述矫正畸变值与所述第一模组的畸变值相互抵消;
所述第二模组和所述第一模组中的一者用于投射散斑图,另一者用于接收散斑图。
7.根据权利要求6所述的深度测量装置,其特征在于,包括基板,所述第一模组、第二模组设置在所述基板的同一表面上。
8.根据权利要求6所述的深度测量装置,其特征在于,所述第一模组包括光源、准直镜头及衍射光学元件,所述光源用于发射光束,所述准直镜头用于对所述光源发射的光束进行准直,所述衍射光学元件用于基于准直的光束投射散斑图;所述第二模组包括成像镜头、滤光元件及感光元件,所述成像镜头用于汇聚光线,所述滤光元件用于对所述成像镜头汇聚的光线作波长筛选,所述感光元件接收经过波长筛选之后的光线以成像出散斑图。
9.一种相机模组畸变确定方法,其特征在于,包括:
获取所述相机模组在第一方向上的第一视场角和在第二方向上的第二视场角,所述第一方向、第二方向为直角坐标下的其中两坐标轴方向;
将二分之一的所述第一视场角作为入射角,零作为衍射角,构建第一光栅方程,以及,将二分之一的所述第二视场角作为入射角,零作为衍射角,构建第二光栅方程;
基于空间中任意一点,在球坐标下分别构建对应于所述第一方向的第三光栅方程和对应于所述第二方向的第四光栅方程;
基于所述第一光栅方程、所述第二光栅方程、所述第三光栅方程及所述第四光栅方程,获得在所述相机模组的畸变影响下,散斑图中散斑点在所述第一方向上的坐标与所述第一视场角和所述第二视场角的第一映射关系,以及在所述第二方向上的坐标与所述第一视场角和所述第二视场角的第二映射关系;
根据所述第一映射关系和所述第二映射关系确定所述相机模组的视场角与畸变值的第三映射关系,获得所述相机模组的畸变值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211032868.0A CN115439355A (zh) | 2022-08-26 | 2022-08-26 | 相机模组畸变确定方法、畸变矫正方法及深度测量装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211032868.0A CN115439355A (zh) | 2022-08-26 | 2022-08-26 | 相机模组畸变确定方法、畸变矫正方法及深度测量装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115439355A true CN115439355A (zh) | 2022-12-06 |
Family
ID=84244617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211032868.0A Pending CN115439355A (zh) | 2022-08-26 | 2022-08-26 | 相机模组畸变确定方法、畸变矫正方法及深度测量装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115439355A (zh) |
-
2022
- 2022-08-26 CN CN202211032868.0A patent/CN115439355A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107976669B (zh) | 一种确定相机与激光雷达之间的外参数的装置 | |
CN107976668B (zh) | 一种确定相机与激光雷达之间的外参数的方法 | |
US20130101158A1 (en) | Determining dimensions associated with an object | |
WO2022227844A1 (zh) | 一种激光雷达校准装置和方法 | |
CN108711167A (zh) | 深度成像系统及其温度误差校正方法 | |
CN109974624B (zh) | 一种基于多频相移的减少投影图像数量的方法 | |
CN109949306B (zh) | 反射面角度偏差检测方法、终端设备及存储介质 | |
CN108286946B (zh) | 传感器位置标定和数据拼接的方法及系统 | |
Han et al. | An accurate calibration means for the phase measuring deflectometry system | |
Schambach et al. | Microlens array grid estimation, light field decoding, and calibration | |
US20230083039A1 (en) | Method and system for optically measuring an object having a specular and/or partially specular surface and corresponding measuring arrangement | |
CN106855433B (zh) | 一种成像光谱仪自动定标的方法及装置 | |
CN117612470A (zh) | 颜色查找表生成方法及色彩校正方法 | |
JP5798526B2 (ja) | X線分析装置、x線分析システム、x線分析方法およびx線分析プログラム | |
CN115439355A (zh) | 相机模组畸变确定方法、畸变矫正方法及深度测量装置 | |
JPH1096606A (ja) | 形状計測方法及び装置 | |
CN109443697B (zh) | 光学中心测试方法、装置、系统和设备 | |
CN112955778A (zh) | 校正方法、装置、存储介质及多通道激光雷达 | |
CN114143535B (zh) | 一种成像系统性能测试方法、装置、电子设备及存储介质 | |
JP2006084286A (ja) | 3次元計測方法とその計測装置 | |
Long et al. | Portable visual metrology without traditional self-calibration measurement model | |
EP4377632A1 (en) | Optical-based validation of parallelism between internal facets | |
CN112729160B (zh) | 基于远心成像的投影标定方法、装置、系统及存储介质 | |
JP7003291B2 (ja) | 補正方法および像データを補正するための装置 | |
Wang et al. | Calibration method for large-field-of-view stereo vision system based on distance-related distortion model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |