CN111819468B - 三维图像传感系统以及相关电子装置以及飞时测距方法 - Google Patents
三维图像传感系统以及相关电子装置以及飞时测距方法 Download PDFInfo
- Publication number
- CN111819468B CN111819468B CN202080001605.6A CN202080001605A CN111819468B CN 111819468 B CN111819468 B CN 111819468B CN 202080001605 A CN202080001605 A CN 202080001605A CN 111819468 B CN111819468 B CN 111819468B
- Authority
- CN
- China
- Prior art keywords
- value
- reflected light
- distance value
- preset
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本申请公开了一种三维图像传感系统(10)以及相关电子装置以及飞时测距方法。所述三维图像传感系统包括:发光模块(110),用以发出入射光;以及感光模块(100),用以接收反射光,所述感光模块包括:聚光透镜,用以将所述反射光聚焦为聚焦反射光;以及感光阵列(101),包括:第一及第二感光元件(104L&104R),分别用以接收所述聚焦反射光的第一及第二聚焦反射光;以及处理单元(120),用以执行飞时测距以得到对应所述目标物的第一距离值,其中所述第一距离值具有全局偏移量,其中所述处理单元基于所述第一及第二聚焦反射光建立图像,估计所述第一及第二聚焦反射光在所述图像中反映出的视差值,并基于所述视差值计算出全局补偿系数以补偿所述全局偏移量。
Description
技术领域
本申请涉及一种图像传感系统,尤其涉及一种三维图像传感系统以及相关电子装置以及飞时测距方法。
背景技术
CMOS图像传感器已经得到大规模生产和应用。传统的图像传感器可以生成二维(2D)图像和视频,近来可以产生三维(3D)图像的图像传感器和系统受到广泛关注,这些三维图像传感器可以应用于脸部识别,增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR),无人机等。
现有的三维图像传感器主要有三种实现方式:立体双目,结构光和飞行时间(timeof flight,ToF)。
飞行时间是通过采用特殊设计的像素来测量光子飞行和返回的时间而完成测距。为了增加建模的准确度以及降低成本,如何达到改善飞行时间传感器的准确度的目的,已成为一个重要的工作项目。
发明内容
本申请的目的之一在于公开一种图像传感系统,尤其涉及一种三维图像传感系统以及相关电子装置以及飞时测距方法,来解决上述问题。
本申请的一实施例公开了一种三维图像传感系统,包括:发光模块,用以对目标物发出入射光;以及感光模块,用以接收所述入射光经所述目标物反射后的反射光,所述感光模块包括:聚光透镜,用以将所述反射光聚焦为聚焦反射光;以及感光阵列,包括:第一感光元件,用以接收所述聚焦反射光的第一聚焦反射光;以及第二感光元件,用以接收所述聚焦反射光的第二聚焦反射光;以及处理单元,耦接于所述感光模块,用以基于所述入射光及所述反射光的飞行时间执行飞时测距以得到对应所述目标物的第一距离值,其中所述第一距离值具有全局偏移量,其中所述处理单元基于所述第一聚焦反射光及所述第二聚焦反射光建立图像,估计所述第一聚焦反射光及所述第二聚焦反射光在所述图像中反映出的视差值,并基于所述视差值计算出全局补偿系数以补偿所述全局偏移量。
本申请的一实施例公开了一种电子装置。所述电子装置包括前述的三维图像传感系统。
本申请的一实施例公开了一种飞时测距方法,包括:对目标物发出入射光;接收经所述目标物反射后的反射光;通过聚光透镜将所述反射光聚焦为聚焦反射光;通过第一感光元件接收所述聚焦反射光的第一聚焦反射光;通过第二感光元件接收所述聚焦反射光的第二聚焦反射光;基于所述入射光及所述反射光的飞行时间执行飞时测距以得到对应所述目标物的第一距离值,其中所述第一距离值具有全局偏移量;基于所述第一聚焦反射光及所述第二聚焦反射光建立图像;估计所述第一聚焦反射光及所述第二聚焦反射光在所述图像中反应出的的视差值;以及基于所述视差值计算出全局补偿系数以补偿所述全局偏移量。
本申请所公开的三维图像传感系统的处理单元能够补偿飞时距离的全局偏移量,全局偏移量被补偿以后的飞时距离与真实深度之间的差异降低。因此,全局偏移量被补偿以后的飞时距离能够准确地反映出真实深度,进而提升图像感测的准确度。
附图说明
图1为本申请的三维图像传感系统的实施例的方块示意图。
图2为图1所示的三维图像传感系统的光路示意图。
图3为图1的所述三维图像传感系统的相位像素对的剖面示意图以说明使用所述相位像素对来进行相位对焦以得到相关于目标点的视差值的操作。
图4为当提供反射光的目标点的数量为单个时基于所述三维图像传感系统的感光模块的所述感光阵列的感测值建立的图像的示意图。
图5为当提供反射光的目标点的数量为二个时基于所述感光阵列的感测值建立的图像的示意图。
图6为图1所示的三维图像传感系统应用在电子装置的实施例的示意图。
具体实施方式
以下揭示内容提供了多种实施方式或例示,其能用以实现本揭示内容的不同特征。下文所述之组件与配置的具体例子系用以简化本揭示内容。当可想见,这些叙述仅为例示,其本意并非用于限制本揭示内容。举例来说,在下文的描述中,将一第一特征形成于一第二特征上或之上,可能包括某些实施例其中所述的第一与第二特征彼此直接接触;且也可能包括某些实施例其中还有额外的组件形成于上述第一与第二特征之间,而使得第一与第二特征可能没有直接接触。此外,本揭示内容可能会在多个实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的,且其本身不代表所讨论的不同实施例和/或组态之间的关系。
再者,在此处使用空间上相对的词汇,譬如「之下」、「下方」、「低于」、「之上」、「上方」及与其相似者,可能是为了方便说明图中所绘示的一组件或特征相对于另一或多个组件或特征之间的关系。这些空间上相对的词汇其本意除了图中所绘示的方位之外,还涵盖了装置在使用或操作中所处的多种不同方位。可能将所述设备放置于其他方位(如,旋转90度或处于其他方位),而这些空间上相对的描述词汇就应该做相应的解释。
虽然用以界定本申请较广范围的数值范围与参数皆是约略的数值,此处已尽可能精确地呈现具体实施例中的相关数值。然而,任何数值本质上不可避免地含有因个别测试方法所致的标准偏差。在此处,「相同」通常系指实际数值在一特定数值或范围的正负10%、5%、1%或0.5%之内。或者是,「相同」一词代表实际数值落在平均值的可接受标准误差之内,视本申请所属技术领域中具有通常知识者的考虑而定。当可理解,除了实验例之外,或除非另有明确的说明,此处所用的所有范围、数量、数值与百分比(例如用以描述材料用量、时间长短、温度、操作条件、数量比例及其他相似者)均经过「相同」的修饰。因此,除非另有相反的说明,本说明书与附随申请专利范围所揭示的数值参数皆为约略的数值,且可视需求而更动。至少应将这些数值参数理解为所指出的有效位数与套用一般进位法所得到的数值。在此处,将数值范围表示成由一端点至另一端点或介于二端点之间;除非另有说明,此处所述的数值范围皆包括端点。
现有的三维图像传感器主要有三种实现方式:立体双目,结构光和飞行时间(timeof flight,ToF)。通常,在飞行时间的实现方式当中,是利用传感器来测量光子飞行和返回的时间,藉此得到飞时距离。
然而,通过传感器所得到的飞时距离往往会受到传感器的电子元件的物理特性的影响。举例来说,当传感器所处的操作环境的温度改变时,可能会改变传感器的电子元件的物理特性,使飞时距离带有全局偏移量(global offset)。所谓的全局偏移量指的是在同样操作环境下,不同深度(即相对传感器具有不同的距离)的目标物的测量深度(飞时距离)相对于各自的真实深度具有相同的偏移量。在操作环境的某些参数的数值不同时,比如在不同的温度下,所引起的全局偏移量也是不同的。因此,若能从飞时距离扣除全局偏移量,便可提升传感器的准确度。
通过相位对焦(phase detection auto focus,PDAF)所得到的视差值来计算出距离的方式是基于三角测量原理,而三角测量原理不会受到温度的影响。因此,本申请的三维图像传感系统通过相位对焦的实现方式来消除飞时距离的全局偏移,使得消除全局偏移后的飞时距离能够准确地反映出真实深度,进而提升图像感测的准确度,其细节说明如下。
图1为本申请的三维图像传感系统10的实施例的方块示意图。参照图1,三维图像传感系统10包括感光模块100、发光模块110、处理单元120以及存储装置130。
感光模块100包括感光阵列101。感光阵列101由多个像素102构成,为了简洁,仅绘示出部分像素102。像素102为光电元件。像素102用以将接收到的光信号转换成电信号。像素102可为红色像素(R)、绿色像素(G)或蓝色像素(B)。此外,部分像素102形成至少一对相位像素对104,其包括右屏蔽相位像素104R(以阴影线绘示)及左屏蔽相位像素104L(以阴影线绘示)。在本实施例中,是以绿色像素G作为右屏蔽相位像素104R以及红色像素R作为左屏蔽相位像素104L。然而,本揭露不限定于此。相位像素对104用以提供视差值以消除飞时距离的全局偏移,其细节说明如下。
处理单元120耦接于发光模块110、感光模块100以及存储装置130。处理单元120用以接收感光模块100提供的感测值及存取存储装置130所存储的查找表135,其中查找表135是基于三角测量原理预先所建立得到的。进一步来说,查找表135内的信息是在三维图像传感系统10出厂前通过测试操作得到。也就是说,查找表135的建立是在三维图像传感系统10出厂前就已经完成。在一些实施例中,处理单元120包括微控制单元(microcontrollerunit,MCU)、中央处理器(central processing unit,CPU)或图形处理器(graphicsprocessing unit,GPU)。
在出厂后的测距操作中,处理单元120控制感光模块100及发光模块110以进行飞时测距以产生目标物的深度信息,并利用查找表135存储的信息修正所述深度信息,使得修正后的深度信息能够准确地反映出真实深度,其细节说明如下。
具体而言,由三维图像传感系统10执行的出厂后的测距操作包括常规的飞时测距操作、视差值评估操作以及补偿操作,其依序被执行。常规的飞时测距操作以图2的实施例辅以说明,而视差值评估操作以及补偿操作以图3及图4的实施例辅以说明。
图2为图1所示的三维图像传感系统10的光路示意图以说明常规的飞时测距操作,其中图2绘示的光路可适用于非相位像素,也可适用于相位像素(即,右屏蔽相位像素104R及左屏蔽相位像素104L)。为了图式简洁,未绘示出图1的处理单元120以及存储装置130。
参照图2,目标物200被放置于距离三维图像传感系统10的未知距离Zun上。需注意的是,图2中的物件的尺寸均被绘示性的夸大。因此,未知距离Zun也可视为是目标物200与发光模块110或感光模块100之间的距离,也就是目标物200与三维图像传感系统10之间的距离。
在图2的实施例中,目标点202的数量为单个,因此反射光LR的数量为单个。然而,在图2的实施例中,仅仅是为了便于描述,而选取了单个目标点的例子。单个目标点的情形可以应用在测距方面,比如作为手机终端的接近传感器。在本案的实施例中,目标点也可以是多个,比如用于对人脸进行3D成像。
首先,执行常规的飞时测距操作。在常规的飞时测距操作中,发光模块110对目标物200发出入射光LS。感光模块100的感光阵列101接收入射光LS经目标物200反射后的反射光LR,在本实施例中,入射光LS自目标物200的目标点202反射后形成反射光LR。在常规的飞时测距操作的实现方式中,处理单元120基于入射光LS及反射光LR的飞行时间执行飞时测距以得到对应目标点202的第一距离值。为了方便说明,在本实施例中,目标物200面对三维图像传感系统10的表面为平坦。因此,目标点202与三维图像传感系统10之间的距离实质上相同于目标物200与三维图像传感系统10之间的距离。然而,本揭露并不限定于平坦表面。
如前所述,按照常规的飞时测距操作测得的所述第一距离值具有全局偏移量。对所述第一距离值进行全局偏移量补偿后,便可得到不含全局偏移量或者消除了全局偏移量影响的所述第一距离值,即,对所述第一距离值进行修正以获得更接近于真实距离的距离值。本发明所使用的方式是找到全局偏移量的估计值,即全局补偿系数,来补偿全局偏移量,其可表示为以下的方程式(1)。
Z=ZTOF+C方程式(1)
其中Z代表补偿后的感测距离值;ZTOF代表所述第一距离值;以及,C代表全局补偿系数。
需注意的是,实际上,因为三维图像传感系统10仍可能存在全局偏移量以外的误差,故补偿后的感测距离Z可能仍无法等于未知距离Zun(即测量获得的距离或深度信息与真实距离仍然有一定误差),但仅消除全局偏移量已可大幅提升对三维图像传感系统10执行飞时测距的准确度。
在完成常规的飞时测距操作以得到所述第一距离值后,处理单元接着执行视差值评估操作以得到相关于目标点202的视差值。在本发明中,进一步提出一种评估视差值的方式。更详细的来说,是利用相位对焦来评估所述视差值,其细节说明如下。
图3为图1的相位像素对104的剖面示意图以说明使用相位像素对104来进行相位对焦以得到相关于目标点202的视差值的操作,其中延续图二2的实施例,由目标点202提供的反射光LR的数量为一个,但光在传输过程中可能会发散,因此例如图3绘示为四个。参照图3,图3进一步揭露感光模块100还包括聚光透镜105,用以将发散的反射光LR重新汇聚。
此外,相位像素对104的右屏蔽相位像素104R及左屏蔽相位像素104L与非相位像素在结构上的差别至少在于,右屏蔽相位像素104R及左屏蔽相位像素104L上设有光掩膜106,以用来遮蔽部分的光,其细节说明如下。需说明的是,图3仅为其中一种实现相位像素的结构,本发明并不限定于此,本发明也可适用于具有其他结构的相位像素。
操作时,聚光透镜105接收反射光LR,并且用以将反射光LR聚焦为聚焦反射光CLR。聚焦反射光CLR接着朝向右屏蔽相位像素104R及左屏蔽相位像素104L行进。右屏蔽相位像素104R的光掩膜106遮蔽照射到右屏蔽相位像素104R右侧的那部分光,并让聚焦反射光CLR的第一聚焦反射光CLR1进入右屏蔽相位像素104R内,以使右屏蔽相位像素104R接收聚焦反射光CLR的第一聚焦反射光CLR1。需注意的是,由于图3被夸示性地绘示,因此右屏蔽相位像素104R的光掩膜106靠近右屏蔽相位像素104R与左屏蔽相位像素104L交界处的部份可视为是可忽略的。也就是说,右屏蔽相位像素104R的光掩膜106理想上没有遮蔽来自右屏蔽相位像素104R左侧的光。接着,第一聚焦反射光CLR1穿过右屏蔽相位像素104R的透镜308后被右屏蔽相位像素104R的感光元件310接收,为便于区分,这里感光元件310可称作第一感光元件310。在一些实施例中,非相位感测像素亦具有透镜308以及感光元件310。在此实施例中,非相位感测像素与相位感测像素的感光元件310在结构、功能,或特性上实质地相同。
类似地,左屏蔽相位像素104L接收聚焦反射光CLR的第二聚焦反射光CLR2。接着,第二聚焦反射光CLR2穿过左屏蔽相位像素104L的透镜308后被左屏蔽相位像素104L的感光元件310(可称为第二感光元件310)接收。第二聚焦反射光CLR2在左屏蔽相位像素104L内传递的过程与第一聚焦反射光CLR1在右屏蔽相位像素104R内传递的过程类似,于此不再赘述。
关于非相位检测像素所接收的反射光LR的传递路径是类似于上述的左屏蔽相位像素104L及右屏蔽相位像素104R,差别在于,非相位检测像素所接收的聚焦反射光没有受到光掩膜106的屏蔽。
处理单元120基于感光阵列101的所有像素102提供的感测值建立图像,举例来说,如图4的图像400或图5的图像500。
图4为当提供反射光LR的目标点的数量为单个时基于感光阵列101的所有像素102的感测值建立的图像400的示意图。为了易于理解,假设所有像素102的视区的边缘恰好对准目标物200的边缘。也就是说,每一像素102都能够接收反射光。在本实施例中,因为反射光LR的数量为单个,只有目标点202提供反射光LR至右屏蔽相位像素104R及左屏蔽相位像素104L,并且目标点202提供的反射光LR的角度,恰恰使反射光LR只能进入右屏蔽相位像素104R及左屏蔽相位像素104L。据此,右屏蔽相位像素104R及左屏蔽相位像素104L具有大于零的感测值,而剩馀的像素则具有实质上为零的感测值。为了图示简洁,具有大于零的感测值的图案以黑色表示,而具有等于零的感测值的图案以白色表示。
参照图4,单个目标点202在图像400中呈现出两个图案,亦即图案P及P’。举例来说,图案P是由基于右屏蔽相位像素104R因应于第一聚焦反射光CLR1提供的感测值建立,而图案P’是由基于左屏蔽相位像素104L因应于第二聚焦反射光CLR2提供的感测值建立。
处理单元120可通过将图像400座标化来估计关于目标点202的视差值。为了较佳地理解本发明的精神,在图4的实施例中,仅在单一轴向上将图像400座标化,如座标轴(X+,X-)所示。然而,本发明不定于此。在其他实施例中,可在多个轴向上将图像座标化。
座标化后,可获得在图像400中的图案P及P’的座标点Xp及Xp’,座标点Xp及Xp’分别例如为30及60,在图4中分别标记为Xp(30)及Xp’(60)。处理单元120通过将座标点Xp及Xp’相减来得到相关于目标点202的视差值。亦即,座标点Xp及Xp’之间的差值就是相关于目标点202的视差值。在本例子中,所述视差值为30。
在完成视差值评估操作以得到相关于目标点202的视差值后,处理单元120接着执行对第一距离值ZTOF的补偿操作,在补偿操作中,是利用出厂前建立的查找表135来补偿出厂后通过常规的飞时测距操作得到的第一距离值ZTOF,其细节说明如下。
以下将说明在本发明中计算用于补偿第一距离值ZTOF的全局补偿系数C的方式。如前文所述,查找表135是基于三角测量原理所建立出来。进一步来说,查找表135提供的距离值是基于三角测量原理而得到因而没有受到温度影响。据此,查找表135提供的所述距离值不存在全局偏移量。换言之,查找表135提供的所述距离值可视为方程式(1)中的补偿后的感测距离值Z。因此,通过比较查找表135提供的所述距离值和第一距离值ZTOF,便可估计出全局补偿系数C。
<实施例一>
在实施例一中,查找表135的实现如下方的表一所示。总的来说,参照表一,查找表135包括多个预设视差值D1至Dn及多个输出距离值Z1至Zn,在本实施例中,以n=3具体展开描述。查找表135包括多个预设视差值D1至D3及多个输出距离值Z1至Z3。预设视差值D1对应输出距离值Z1,预设视差值D2对应输出距离值Z2,依此类推。
在三维图像传感系统10出厂前,通过对预设视差值D1应用三角测量原理而得到输出距离值Z1。类似地,通过对预设视差值D2应用三角测量原理而得到输出距离值Z2,依此类推。在得到每一预设视差值对应的输出距离值后,依据多个预设视差值D1至D3及多个输出距离值Z1至Z3建立如表一所示的查找表135。需说明的是,在三角测量原理中需使用的其他参数的数值,例如基线(baseline)的数值以及焦距的数值在设计阶段(即三维图像传感系统10出厂前)均可被获取或评估出来,也就是为已知。
预设视差值 | 输出距离值 |
D1 | Z1 |
D2 | Z2 |
D3 | Z3 |
表一
通常,处理单元120计算出的视差值(例如,计算出的目标点202的视差值)不会恰好等于任一预设视差值。在这种情况下,处理单元120还用以依据计算出的视差值从查找表135中选择预设视差值D1、D2或D3其中之一。一种可能的选择方式是,判断计算出的视差值与多个预设视差值D1至D3中的哪个预设视差值之间的差值最小。举例来说,计算出的视差值与预设视差值D1的差值最小。据此,处理单元120选择预设视差值D1。接着,处理单元120使查找表135提供对应预设视差值D1的输出距离值Z1,并依据所述选择将输出距离值Z1视为是第二距离值。接着,将所述第二距离值带入方程式(1)中的项次(Z)就可解出全局补偿系数C。
简单来说,处理单元120使用计算出的视差值索引查找表135得到所述第二距离值,再基于第一距离值ZTOF及所述第二距离值计算出全局补偿系数C。最后,处理单元120基于计算出的全局补偿系数C来补偿全局偏移量,也就是说,只要将量测到的第一距离值ZTOF加上计算出的全局补偿系数C就能够得到补偿后的感测距离值Z。
<实施例二>
在实施例二中,查找表135的建立进一步考量到聚光透镜105为变焦镜的情况,也就是说,聚光透镜105的位置可移动。因此,相较于实施例一,在实施例二中,由三维图像传感系统10执行的出厂后的测距操作进一步包括评估位置信息操作以评估聚光透镜105的位置。处理单元120进而依据评估出的视差值及评估出的聚光透镜105的位置得到所述第二距离值,如下方的表二所示。参照表二,表二的查找表135类似于表一的查找表,差别在于,表二的查找表135进一步包括聚光透镜105的多个预设位置信息O1至O3。预设视差值D1及预设位置信息O1共同对应输出距离值Z1,预设视差值D2及预设位置信息O1共同对应输出距离值Z2,依此类推。建立查找表135的方式说明如下。
在三维图像传感系统10出厂前,通过对预设视差值D1及预设位置信息O1应用三角测量原理而得到输出距离值Z1。类似地,通过对预设视差值D2及预设位置信息O1应用三角测量原理而得到输出距离值Z2,依此类推。在得到每一预设视差值及其对应的预设位置信息共同对应的输出距离值后,依据多个预设视差值D1至D3、多个预设位置信息O1至O3及多个输出距离值Z1至Z3建立表二的查找表135。
表二
通常,处理单元120所评估出的聚光透镜105的评估位置信息不会等于任一预设位置信息。因此,处理单元120还用以依据聚光透镜105的评估位置信息选择预设位置信息O1、O2或O3。一种可能的选择方式是,判断所述评估位置信息与多个预设位置信息O1至O3中的哪个预设位置信息之间的差值最小。举例来说,预设位置信息O1与所述评估位置信息的差值最小。据此,处理单元120选择预设位置信息O1。接着,例如以相同于实施例<一>的方式选择预设视差值D1。处理单元120使查找表135提供对应预设视差值D1及预设位置信息O1两者的输出距离值Z1,并依据上述两个选择将输出距离值Z1视为是第二距离值。接着,将所述第二距离值带入方程式(1)中的项次(Z)就可解出全局补偿系数C。
图5为当提供反射光LR的目标点的数量为二个时基于感光阵列101的感测值建立的图像500的示意图。建立图像500的方式如同建立图4的图像400的方式,于此不再赘述。图像500包括多个图案例如P1、P2、P1’及P2’。在一些可能的实施方式中,右屏蔽相位像素104R及左屏蔽相位像素104L是沿着X轴设置,因此对应同一个目标点的图案会在X轴上偏移,据此,可判断出图案P1及P1’对应同一个目标点及图案P2及P2’对应同一个另一目标点。类似于图4的实施例描述的操作,基于图案P1及P1’得到第一视差值。基于所述第一视差值对查找表135(例如表一)进行索引得到第一个第二距离值。依据相同的方式,基于图案P2及P2’得到第二视差值。基于所述第二视差值对查找表135(例如表一)进行索引得到第二个所述第二距离值。接着,将二个第二距离值平均。平均后的第二距离值视为是方程式(1)中的项次(Z)所代表的所述第二距离值。此外,基于二个反射光LR及二个入射光LS得到二个第一距离值ZTOF。接着,将二个第一距离值ZTOF平均。平均后的第一距离值ZTOF视为是方程式(1)的项次(ZTOF)所代表的所述第一距离值。结果,得到全局补偿系数C。
在本发明的上述实施例中,是采用光掩膜来实现光学元件。在这种实现方式中,会有部份的光受到屏蔽。然而,本发明不限定于此。在一些实施例中,可以不通过屏蔽而得到类似于上述实施例的第一聚焦反射光CLR1及第二聚焦反射光CLR2的光。举例来说,能够以微透镜来实现光学元件。简单来说,是通过微透镜将一个聚焦反射光分光为二个聚焦反射光。对分光后所产生的二个聚焦反射光的进行操作以得到视差值的方式与上述实施例的第一聚焦反射光CLR1及第二聚焦反射光CLR2相同,于此不再赘述。
图6为图1所示的三维图像传感系统10应用在电子装置60的实施例的示意图。参照图6,电子装置60可为例如智能型手机、个人数字助理、手持式计算机系统或平板计算机等任何电子装置。
上文的叙述简要地提出了本申请某些实施例之特征,而使得本申请所属技术领域具有通常知识者能够更全面地理解本揭示内容的多种态样。本申请所属技术领域具有通常知识者当可明了,其可轻易地利用本揭示内容作为基础,来设计或更动其他工艺与结构,以实现与此处所述之实施方式相同的目的和/或达到相同的优点。本申请所属技术领域具有通常知识者应当明白,这些均等的实施方式仍属于本揭示内容之精神与范围,且其可进行各种变更、替代与更动,而不会悖离本揭示内容之精神与范围。
Claims (13)
1.一种三维图像传感系统,包括:
发光模块,用以对目标物发出入射光;以及
感光模块,用以接收所述入射光经所述目标物反射后的反射光,所述感光模块包括:
聚光透镜,用以将所述反射光聚焦为聚焦反射光;以及
感光阵列,用以接收所述反射光,所述感光阵列包括:
相位像素对,包括:
右屏蔽相位像素,包括:
第一透镜;以及
第一感光元件,其中所述聚焦反射光的第一聚焦反射光通过所述第一透镜后被所述第一感光元件接收;以及
左屏蔽相位像素,包括:
第二透镜;以及
第二感光元件,其中所述聚焦反射光的第二聚焦反射光通过所述第二透镜后被所述第二感光元件接收;以及
光掩膜,设置于所述相位像素对之上,用以遮蔽照射到所述右屏蔽相位像素右侧的光,并允许所述第一聚焦反射光进入所述右屏蔽相位像素,以及遮蔽照射到所述左屏蔽相位像素左侧的光,并允许所述第二聚焦反射光进入所述左屏蔽相位像素,其中所述第一透镜设置于所述光掩膜和所述第一感光元件之间,以及所述第二透镜设置于所述光掩膜和所述第二感光元件之间;以及
处理单元,耦接于所述感光模块,用以基于所述入射光及所述感光阵列接收的所述反射光的飞行时间执行飞时测距以得到对应所述目标物的第一距离值,其中所述第一距离值具有全局偏移量,
其中所述处理单元基于所述感光阵列中的所述右屏蔽相位像素接收的所述第一聚焦反射光及所述感光阵列中的所述左屏蔽相位像素接收的所述第二聚焦反射光建立图像,估计所述第一聚焦反射光及所述第二聚焦反射光在所述图像中反映出的视差值,并基于所述视差值计算出全局补偿系数以补偿所述全局偏移量。
2.如权利要求1所述的三维图像传感系统,其中所述处理单元基于所述视差值和所述第一距离值计算出所述全局补偿系数。
3.如权利要求2所述的三维图像传感系统,进一步包括:
查找表,包括:第一预设视差值及第二预设视差值,以及第一输出距离值及第二输出距离值,其中通过对所述第一预设视差值应用三角测量原理而得到所述第一输出距离值,以及通过对所述第二预设视差值应用三角测量原理而得到所述第二输出距离值,
其中所述处理单元进一步依据所述视差值从所述查找表中选择所述第一预设视差值或所述第二预设视差值的其中之一,并依据所述选择,将所述第一输出距离值或所述第二输出距离值的其中之一视为是第二距离值。
4.如权利要求2所述的三维图像传感系统,进一步包括:
查找表,包括:所述聚光透镜的第一预设位置信息及第二预设位置信息,第一预设视差值及第二预设视差值,以及第一输出距离值及第二输出距离值,其中通过对所述第一预设位置信息及所述第一预设视差值应用三角测量原理而得到所述第一输出距离值,以及通过对所述第二预设位置信息及所述第二预设视差值应用三角测量原理而得到所述第二输出距离值,
其中所述处理单元进一步依据所述视差值及所述聚光透镜的评估位置信息从所述查找表中选择所述第一预设视差值或所述第二预设视差值的其中之一,以及从所述查找表中选择所述第一预设位置信息或所述第二预设位置信息的其中之一,并依据所述选择,将所述第一输出距离值或所述第二输出距离值的其中之一视为是第二距离值。
5.如权利要求3-4中任一项所述的三维图像传感系统,其中所述处理单元进一步基于所述第一距离值及所述第二距离值决定所述全局补偿系数。
6.如权利要求1所述的三维图像传感系统,其中所述处理单元通过将所述图像坐 标化来决定所述视差值。
7.一种电子装置,包括:
如权利要求1-6中任一项所述的三维图像传感系统。
8.一种飞时测距方法,包括:
对目标物发出入射光;
通过感光阵列接收经所述目标物反射后的反射光;
通过聚光透镜将所述反射光聚焦为聚焦反射光;
通过光掩膜遮蔽照射到所述感光阵列中的右屏蔽相位像素右侧的光,并允许接收所述聚焦反射光的第一聚焦反射光通过光掩膜后,再通过所述右屏蔽相位像素的第一透镜后进入所述右屏蔽相位像素的第一感光元件,使所述右屏蔽相位像素接收所述第一聚焦反射光;
通过所述光掩膜遮蔽照射到所述感光阵列中的左屏蔽相位像素左侧的光,并允许接收所述聚焦反射光的第二聚焦反射光通过光掩膜后,再通过所述左屏蔽相位像素的第二透镜后,进入所述左屏蔽相位像素的第二感光元件,使所述左屏蔽相位像素接收所述第二聚焦反射光;
基于所述入射光及所述感光阵列接收的所述反射光的飞行时间执行飞时测距以得到对应所述目标物的第一距离值,其中所述第一距离值具有全局偏移量;
基于所述感光阵列中的所述右屏蔽相位像素接收的所述第一聚焦反射光及所述感光阵列中的所述左屏蔽相位像素接收的所述第二聚焦反射光建立图像;
估计所述第一聚焦反射光及所述第二聚焦反射光在所述图像中反应出的的视差值;以及
基于所述视差值计算出全局补偿系数以补偿所述全局偏移量。
9.如权利要求8所述的方法,其中基于所述视差值计算出所述全局补偿系数包括:
基于所述视差值和所述第一距离值计算出所述全局补偿系数。
10.如权利要求9所述的方法,进一步包括:
依据所述视差值从查找表中选择第一预设视差值或第二预设视差值的其中之一,其中所述查找表包括:所述第一预设视差值及所述第二预设视差值,以及第一输出距离值及第二输出距离值,其中通过对所述第一预设视差值应用三角测量原理而得到所述第一输出距离值,以及通过对所述第二预设视差值应用三角测量原理而得到所述第二输出距离值;以及
依据所述选择,将所述第一输出距离值或所述第二输出距离值的其中之一视为是第二距离值。
11.如权利要求9所述的方法,其中
依据所述视差值从查找表中选择第一预设视差值或第二预设视差值的其中之一,其中所述查找表包括:所述聚光透镜的第一预设位置信息及第二预设位置信息,所述第一预设视差值及所述第二预设视差值,以及第一输出距离值及第二输出距离值,其中通过对所述第一预设位置信息及所述第一预设视差值应用三角测量原理而得到所述第一输出距离值,以及通过对所述第二预设位置信息及所述第二预设视差值应用三角测量原理而得到所述第二输出距离值;
依据所述聚光透镜的评估位置信息从所述查找表中选择所述第一预设位置信息或所述第二预设位置信息的其中之一;以及
依据所述选择,将所述第一输出距离值或所述第二输出距离值的其中之一视为是第二距离值。
12.如权利要求10-11中任一项所述的方法,进一步包括:
基于所述第一距离值及所述第二距离值决定所述全局补偿系数。
13.如权利要求8所述的方法,进一步包括:
通过将所述图像坐 标化来决定所述视差值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/079471 WO2021184155A1 (zh) | 2020-03-16 | 2020-03-16 | 三维图像传感系统以及相关电子装置以及飞时测距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111819468A CN111819468A (zh) | 2020-10-23 |
CN111819468B true CN111819468B (zh) | 2022-08-02 |
Family
ID=72859450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080001605.6A Active CN111819468B (zh) | 2020-03-16 | 2020-03-16 | 三维图像传感系统以及相关电子装置以及飞时测距方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4050377A4 (zh) |
CN (1) | CN111819468B (zh) |
WO (1) | WO2021184155A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113466836A (zh) * | 2021-06-23 | 2021-10-01 | 深圳市欢创科技有限公司 | 一种测距方法、装置及激光雷达 |
CN114371483B (zh) * | 2022-03-21 | 2022-06-10 | 深圳市欢创科技有限公司 | 激光雷达的测距方法、装置、激光雷达及机器人 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102547355A (zh) * | 2010-12-21 | 2012-07-04 | 三星电子株式会社 | 图像传感器和操作该图像传感器的方法 |
CN105572681A (zh) * | 2014-10-31 | 2016-05-11 | 洛克威尔自动控制安全公司 | 飞行时间传感器的绝对距离测量 |
CN108537836A (zh) * | 2018-04-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种深度数据获取方法及移动终端 |
CN109474771A (zh) * | 2017-09-08 | 2019-03-15 | 苹果公司 | 图像捕获设备、像素和改善相位检测自动聚焦性能的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107430187B (zh) * | 2014-12-02 | 2021-06-18 | 新加坡恒立私人有限公司 | 深度传感器模块和深度感测方法 |
US10942261B2 (en) * | 2015-10-21 | 2021-03-09 | Samsung Electronics Co., Ltd | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
JPWO2018179650A1 (ja) * | 2017-03-31 | 2020-02-06 | ソニー株式会社 | 測距装置及び車両 |
US10663567B2 (en) * | 2018-05-04 | 2020-05-26 | Microsoft Technology Licensing, Llc | Field calibration of a structured light range-sensor |
-
2020
- 2020-03-16 WO PCT/CN2020/079471 patent/WO2021184155A1/zh unknown
- 2020-03-16 EP EP20926329.2A patent/EP4050377A4/en active Pending
- 2020-03-16 CN CN202080001605.6A patent/CN111819468B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102547355A (zh) * | 2010-12-21 | 2012-07-04 | 三星电子株式会社 | 图像传感器和操作该图像传感器的方法 |
CN105572681A (zh) * | 2014-10-31 | 2016-05-11 | 洛克威尔自动控制安全公司 | 飞行时间传感器的绝对距离测量 |
CN109474771A (zh) * | 2017-09-08 | 2019-03-15 | 苹果公司 | 图像捕获设备、像素和改善相位检测自动聚焦性能的方法 |
CN108537836A (zh) * | 2018-04-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种深度数据获取方法及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN111819468A (zh) | 2020-10-23 |
EP4050377A4 (en) | 2023-08-09 |
WO2021184155A1 (zh) | 2021-09-23 |
EP4050377A1 (en) | 2022-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109729721B (zh) | 光学测距方法以及光学测距装置 | |
US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
CN107730561B (zh) | 深度相机温度误差校正方法及系统 | |
US8339582B2 (en) | Apparatus and method to correct image | |
CN113034568B (zh) | 一种机器视觉深度估计方法、装置、系统 | |
CN108171758B (zh) | 基于最小光程原理和透明玻璃标定板的多相机标定方法 | |
CN111095914B (zh) | 三维图像传感系统以及相关电子装置以及飞时测距方法 | |
JP2012504771A (ja) | 三次元及び距離の面間推定を与えるための方法及びシステム | |
CN111819468B (zh) | 三维图像传感系统以及相关电子装置以及飞时测距方法 | |
Jamtsho et al. | Modelling scattering distortion in 3D range camera | |
CN111649694B (zh) | 一种隐式相位-视差映射的双目测量缺失点云插补方法 | |
CN113048938A (zh) | 一种合作目标设计及姿态角测量系统及方法 | |
Belhedi et al. | Non-parametric depth calibration of a tof camera | |
CN113822920B (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
CN112034485A (zh) | 利用飞行时间相机的反射率感测 | |
CN112419427A (zh) | 用于提高飞行时间相机精度的方法 | |
US20220364849A1 (en) | Multi-sensor depth mapping | |
Choi et al. | Fusion of time-of-flight and stereo for disambiguation of depth measurements | |
Budge | A calibration-and-error correction method for improved texel (fused ladar/digital camera) images | |
CN112629440A (zh) | 一种光度和结构光3d结合的数据融合方法 | |
CN112258635A (zh) | 基于改进双目匹配sad算法的三维重建方法及装置 | |
Hertzberg et al. | Detailed modeling and calibration of a time-of-flight camera | |
Robbins et al. | Photogrammetric calibration and colorization of the SwissRanger SR-3100 3-D range imaging sensor | |
Rofallski et al. | An efficient solution to ray tracing problems for hemispherical refractive interfaces | |
Fukuda et al. | Accurate Range Image Generation Using Sensor Fusion of TOF and Stereo-basedMeasurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |