CN117480408A - 一种物体测距方法及装置 - Google Patents
一种物体测距方法及装置 Download PDFInfo
- Publication number
- CN117480408A CN117480408A CN202180099316.9A CN202180099316A CN117480408A CN 117480408 A CN117480408 A CN 117480408A CN 202180099316 A CN202180099316 A CN 202180099316A CN 117480408 A CN117480408 A CN 117480408A
- Authority
- CN
- China
- Prior art keywords
- target object
- target
- phase
- size
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000010587 phase diagram Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 38
- 230000001934 delay Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 abstract description 19
- 238000005259 measurement Methods 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 145
- 238000004891 communication Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000035559 beat frequency Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000004071 biological effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种物体测距方法及装置,利用飞行时间TOF传感器(4033)获取第一图像及第一图像对应的第一相位图(601);识别第一图像中目标物体对应的目标区域,基于目标区域在第一相位图中确认目标区域对应的第二相位图(602),从而关注目标物体对应的相位图;根据目标物体的尺寸信息获取目标物体距离TOF传感器(4033)的估计距离(603);根据估计距离和第二相位图能够计算出目标区域中每个像素对应的解缠系数(604),也即解缠系数能指示每个像素位于的真实信号周期;根据解缠系数和第二相位图确定目标区域的深度图(605),通过深度图能够可视化每个像素对应的真实距离。在单频测距技术中能够探测目标物体的实际距离,并且能够保证测量精度。
Description
本申请涉及三维测距技术领域,尤其涉及一种物体测距方法及装置。
飞行时间(time of flight,TOF)测距方法主要利用发射器发送的光信号在目标物体与接收器之间的往返飞行时间来计算目标物体到TOF测距系统的距离,由于直接测量光信号的飞行时间难度较大,TOF测距系统可以采用测量发射信号与反射信号之间的相位延时来计算距离,并用深度图表示目标物体表面对应的距离信息。
TOF测距系统可以采用单频测距技术,单频测距技术是指TOF测距系统使用一个调制频率发射光信号,并基于相位延迟进行测距。在该调制频率下,一个信号周期内能够测量的最大距离称为模糊距离。若TOF测距系统与目标物体的实际距离超过该模糊距离,则会出现相位缠绕现象。相位缠绕现象是指反射信号的相位延迟的测量值可能与实际值不同,若实际值超过一个信号周期,就会被减去N个2π(N为正整数),从而使得测量值落在该信号周期内,所以实际值和测量值之间可能会相差N×2π。例如,若模糊距离为0.5米,在对超过0.5米的物体进行测距时,会因为相位缠绕现象,TOF测距系统将距离计算成0米至0.5米以内的距离,这就造成测量距离与真实距离不同的现象。因此,在单频测距技术中,为了能够使得测量值和真实值相同,就需要尽量的扩大模糊距离。模糊距离与调制频率反相关,为了能够扩大可测距范围,可以降低调制频率,从而增大模糊距离,但是调制频率还与测量精度有关,降低调制频率又会增大测量误差。
在单频测距技术中,如何能够测量到真实距离且不会增大测量误差成为亟待解决的问题。
发明内容
本申请实施例提供了一种TOF的物体测距方法,在单频测距技术中,即使被测物体的位置超过模糊距离,也能够测量到目标物体的真实距离,且保证测量精度。
第一方面,本申请实施例提供了一种物体测距方法,包括:利用飞行时间TOF传感器获取第一图像及第一图像对应的第一相位图;识别第一图像中目标物体对应的目标区域,及在第一相位图中目标区域对应的第二相位图;根据目标物体的尺寸信息获取目标物体距离TOF传感器的估计距离,其中,尺寸信息包括第一图像中目标物体的图像尺寸,或者,目标物体的实际物理尺寸;根据估计距离和第二相位图计算目标区域中每个像素对应的解缠系数;根据解缠系数和第二相位图确定目标区域的深度图。
第一图像可以是灰度图,也可以是彩色图;目标区域可以理解为感兴趣区域(ROI)区域,目标区域用于物体测距装置关注目标物体对应的相位图;物体测距装置根据目标物体的尺寸信息获取目标物体距离TOF传感器的估计距离,该估计距离可以理解为目标物体距离TOF传感器的一个大致距离;解缠系数用于指示目标区域中每个像素对应的真实信号周期;深度图用于可视化目标区域内每个像素对应的真实距离。本申请实施例中,不需要 通过降低调制频率来扩展模糊距离,而是通过物体的尺寸信息确定目标物体距离TOF传感器的一个估计距离,基于该估计距离计算目标区域内每个像素对应的解缠系数,解缠系数能够指示目标物体对应的信号周期,确定了每个像素对应的解缠系数,就能够确定每个像素对应的真实距离,即使目标物体的实际距离超过模糊距离,也能够探测目标物体的实际距离,并且能够保证测量精度。
在一个可选的实现方式中,目标物体的尺寸信息为目标物体的图像尺寸,根据目标物体的尺寸信息获取目标物体距离TOF传感器的估计距离,包括:根据目标物体的图像尺寸,及预设关系确定估计距离,预设关系指示多个第一距离与多个预设图像尺寸具有对应关系,目标物体的图像尺寸为多个预设图像尺寸中的目标预设图像尺寸,估计距离为与目标预设图像尺寸具有对应关系的第一距离。
图像尺寸为目标物体在第一图像中所占的像素个数,物体测距装置本地保存多个第一距离与多个预设图像尺寸的对应关系,该多个第一距离和多个预设图像尺寸及对应关系是根据经验值得到的,物体测距装置确定了目标区域对应像素的个数,即确定了目标物体的图像尺寸,若目标物体的图像尺寸为多个预设图像尺寸中的目标预设图像尺寸,则基于上述预设关系,确定出估计距离为与目标预设图像尺寸具有对应关系的第一距离。传统的单频测距技术中,当目标物体的位置超过模糊距离时,只能计算出目标物体可能的几个位置,单频测距技术能够计算出多个被测物体可能对应的信号周期(对应可能的位置),但是不能确定被测物体的真实位置对应哪个信号周期,被测物体的真实位置对应哪个信号周期可以由解缠系数来表示,当前技术中,只有在多频测距技术中,才能计算出解缠系数,也就是说当前单频测距技术中,不涉及解缠系数,而本实施例中,是在单频测距技术中,能够计算解缠技术,物体测距装置可以依据第一图像中目标区域所占像素的数量(个数)来判断目标物体距离物体测距装置的大致距离,从而能够根据该大致距离和第二相位图计算目标区域内每个像素对应的解缠系数,并且相对于传统方法中只有多频测距技术才能计算解缠系数的方法,本实施例中的方案可以节省物体测距装置的功耗。
在一个可选的实现方式中,目标物体的尺寸信息为目标物体的实际物理尺寸,根据目标物体的尺寸信息获取目标物体距离TOF传感器的估计距离,包括:根据第二相位图计算目标物体与TOF传感器之间的多个第二距离,多个第二距离中的每个第二距离对应一个目标物体的估计尺寸;将目标物体的实际物理尺寸与多个估计尺寸进行匹配,确定与实际物理尺寸相匹配的目标估计尺寸;确定目标估计尺寸对应的第二距离为估计距离。
由于相位缠绕现象,物体测距装置根据第二相位图计算出目标物体与TOF传感器之间的多个距离(也称为“第二距离”),该多个第二距离为目标物体距离TOF的多个可能的距离,即目标物体可能的出现位置,物体测距装置能够根据多个第二距离中的每个第二距离计算出一个目标物体的估计尺寸,即每个第二距离对应一个目标物体的估计尺寸;物体测距装置将目标物体的实际物理尺寸与多个估计尺寸进行匹配,确定与实际物理尺寸相匹配的目标估计尺寸,其中,目标物体的实际物理尺寸为经验值,例如,目标物体的类别为人脸,人脸的实际宽度大概为15cm;物体测距装置确定目标估计尺寸对应的第二距离为上述估计距离。传统的单频测距技术中,当目标物体的位置超过模糊距离时,只能计算出目标 物体可能的几个位置,单频测距技术能够计算出多个被测物体可能对应的信号周期(对应可能的位置),但是不能确定被测物体的真实位置对应哪个信号周期,被测物体的真实位置对应哪个信号周期是可以由解缠系数来表示,当前技术中,只有在多频测距技术中,才能计算出解缠系数,也就是说当前单频测距技术中,不涉及解缠系数,而本实施例中,是在单频测距技术中,能够计算解缠技术,当物体测距装置能够根据目标物体的实际物理尺寸从多个计算出的距离(第二距离)中选择一个第二距离作为估计距离,从而能够根据该估计距离和第二相位图计算目标区域内每个像素对应的解缠系数,并且相对于传统方法中只有多频测距技术才能计算解缠系数的方法,本实施例中的方案可以节省物体测距装置的功耗。
在一个可选的实现方式中,所述根据所述目标物体的尺寸信息获取所述目标物体距离所述TOF传感器的估计距离之前,所述方法包括:确定所述目标物体的类别;根据所述类别获取所述目标物体的尺寸信息。
物体测距装置可以通过机器视觉技术确定目标物体的类别,例如,该目标物体的类别可以为人脸、手部、机器零件等;根据类别查询数据库就可以获取目标物体的尺寸信息,该数据库中包括各种类别物体的尺寸信息。本实施例中,物体测距装置本地可以存储多个类别的物体的尺寸信息,使得上述物体测距方法可以适用于多个类别的物体,从而使得该方法适应于多种应用场景。
在一个可选的实现方式中,目标物体的类别为人脸。
在一个可选的实现方式中,所述目标区域包括第一区域和第二区域;当目标区域中的多个像素对应的相位延迟不存在相位翻转时,目标区域内每个像素对应的解缠系数相同;或者,当目标区域中的多个像素对应的相位延迟存在相位翻转时,解缠系数包括第一解缠系数和第二解缠系数,其中,相位翻转是指第一相位延迟和第二相位延迟不在同一个信号周期,第一相位延迟是第一区域中多个像素对应的相位延迟,第二相位延迟是第二区域中多个像素对应的相位延迟;第一相位延迟与第一解缠系数有关,第二相位延迟与第二解缠系数有关;第一解缠系数用于计算第一区域对应的深度图,第二解缠系数用于计算第二区域对应的深度图。
第一区域和第二区域在空间上连续;相位翻转是指第一相位延迟和第二相位延迟不在同一个信号周期,例如,第一相位延迟为355度,第二相位延迟为365度;根据第一相位延迟355度计算第一解缠系数N
1,根据5度(第二相位延迟365度-360度)得到第二解缠系数N
2,例如,N
1=0,表明第一区域对应第一个信号周期,而N
2=1表明第二区域对应第二个信号周期,N
1和N
2指示出第一区域和第二区域对应的真实位置,相对于当前的单频测距技术中,物体测距装置不能计算解缠系数,若第二区域对应的相位延迟是365度,会直接将365度折算成5度(365度-360度),按照相位延迟5度来计算距离,5度(测量值)和365度(真实值)是不同的,会造成目标区域深度值不连贯,而本实施例中,N
1和N
2指示出第一区域和第二区域所分别对应的信号周期,该信号周期能够指示第一区域和第二区域对应的实际距离,从而使得目标区域的深度连续且接近上述估计距离。
第二方面,本申请实施例提供了一种物体测距装置,包括:获取模块,用于利用飞行 时间TOF传感器获取第一图像及第一图像对应的第一相位图;处理模块,用于识别第一图像中目标物体对应的目标区域,及在第一相位图中目标区域对应的第二相位图;处理模块,还用于根据目标物体的尺寸信息获取目标物体距离TOF传感器的估计距离,其中,尺寸信息包括第一图像中目标物体的图像尺寸,或者,目标物体的实际物理尺寸;处理模块,还用于根据估计距离和第二相位图计算目标区域中每个像素对应的解缠系数;处理模块,还用于根据解缠系数和第二相位图确定目标区域的深度图。
在一个可选的实现方式中,目标物体的尺寸信息为目标物体的图像尺寸;处理模块,还用于根据目标物体的图像尺寸,及预设关系确定估计距离,预设关系指示多个第一距离与多个预设图像尺寸具有对应关系,目标物体的图像尺寸为多个预设图像尺寸中的目标预设图像尺寸,估计距离为与目标预设图像尺寸具有对应关系的第一距离。
在一个可选的实现方式中,处理模块还具体用于:根据第二相位图计算目标物体与TOF传感器之间的多个第二距离,多个第二距离中的每个第二距离对应一个目标物体的估计尺寸;将目标物体的实际物理尺寸与多个估计尺寸进行匹配,确定与实际物理尺寸相匹配的目标估计尺寸;确定目标估计尺寸对应的第二距离为估计距离。
在一个可选的实现方式中,处理模块还具体用于:确定目标物体的类别;根据类别获取目标物体的尺寸信息。
在一个可选的实现方式中,目标物体的类别为人脸。
在一个可选的实现方式中,目标区域包括第一区域和第二区域;当目标区域中的多个像素对应的相位延迟不存在相位翻转时,目标区域内每个像素对应的解缠系数相同;或者,
当目标区域中的多个像素对应的相位延迟存在相位翻转时,解缠系数包括第一解缠系数和第二解缠系数,其中,相位翻转是指第一相位延迟和第二相位延迟不在同一个信号周期,第一相位延迟是第一区域中多个像素对应的相位延迟,第二相位延迟是第二区域中多个像素对应的相位延迟;第一相位延迟与第一解缠系数有关,第二相位延迟与第二解缠系数有关;第一解缠系数用于计算第一区域对应的深度图,第二解缠系数用于计算第二区域对应的深度图。
第三方面,本申请实施例提供了一种物体测距装置,包括处理器,所述处理器与至少一个存储器耦合,所述处理器用于读取所述至少一个存储器所存储的计算机程序,使得所述电子设备执行如上述第一方面中任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,用于储存计算机程序或指令,所述计算机程序或指令被执行时使得计算机或处理器执行如上述第一方面中任一项所述的方法。
第五方面,本申请实施例提供了一种包括指令的计算机程序产品,当所述计算机程序产品中的指令被计算机或处理器执行时,使得计算机或处理器实现上述第一方面中任一项所述的方法。
图1为TOF测距原理的示意图;
图2为深度图的示意图;
图3a为单频测距技术中被测物体可能出现的位置的场景示意图;
图3b为多频测距技术中被测物体可能出现的位置的场景示意图;
图4为本申请实施例中测距系统的结构示意图;
图5为本申请实施例中发射信号和反射信号的示意图;
图6为本申请实施例中一种物体测距方法的步骤流程示意图;
图7为本申请实施例中第一图像中目标区域及目标区域对应的第二相位图的示意图;
图8为本申请实施例中不同距离下人脸所占像素个数的关系图;
图9为本申请实施例中多个第二距离及每个第二距离对应的人脸的实际物理尺寸的示意图;
图10为本申请实施例中一种物体测距装置的一个实施例的结构示意图;
图11为本申请实施例中一种电子设备的一个实施例的结构示意图。
本申请中,除特殊说明外,各个实施例之间相同或相似的部分可以互相参考。在本申请中各个实施例、以及各实施例中的各个实施方式/实施方法/实现方法中,如果没有特殊说明以及逻辑冲突,不同的实施例之间、以及各实施例中的各个实施方式/实施方法/实现方法之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例、以及各实施例中的各个实施方式/实施方法/实现方法中的技术特征根据其内在的逻辑关系可以组合形成新的实施例、实施方式、实施方法、或实现方法。以下该的本申请实施方式并不构成对本申请保护范围的限定。
可以理解,本申请实施例中的一些可选的特征,在某些场景下,可以不依赖于其他特征,比如其当前所基于的方案,而独立实施,解决相应的技术问题,达到相应的效果,也可以在某些场景下,依据需求与其他特征进行结合。相应的,本申请实施例中给出的装置也可以相应的实现这些特征或功能,在此不予赘述。
在本申请的描述中,除非另有说明,"多个"是指两个或多于两个。"以下至少一项(个)"或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a和b和c,其中a,b,c可以是单个,也可以是多个。
另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了"第一"、"第二"等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解"第一"、"第二"等字样并不对数量和执行次序进行限定,并且"第一"、"第二"等字样也并不限定一定不同。同时,在本申请实施例中,"示例性的"或者"例如"等词用于表示作例子、例证或说明。本申请实施例中被描述为"示例性的"或者"例如"的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用"示例性的"或者"例如"等词旨在以具体方式呈现相关概念,便于理解。
TOF测距原理示例性说明:请参阅图1进行理解,在对被测物体进行测距时,通过调制光源发射高频红外调制信号照射目标物体,此后调制信号反射回到TOF测距系统的传感器表面时,产生与距离相关的相位延迟。TOF传感器接收并解调飞行过程中引起的相位延 迟,再依据光飞行速率和调制频率等已知量来求出传感器与目标物体之间的距离。为了得到目标物体完整的三维信息,并通过二维的TOF传感器阵列来重建目标物体表面的形状,要求TOF传感器阵列中的各个像素单元能够独立的接收并解调出与物体表面各对应点的距离信息,进而得到目标物体的深度图。深度图(depth image)也被称为距离影像(range image),是指将采集到的被测物体上各点的距离(深度)作为像素值的图像。深度图直接反映了被测物体可见表面的几何形状。请参阅图2所示,可视化的深度图如图2所示,不同的深度值映射为不同的颜色,从而以彩色图像方式可视化该深度图。
TOF测距包括单频测距技术和多频测距技术。传统的单频测距技术测距范围有限,在单频调制频率下,仅能够测量位于模糊距离(如下式(1))内的物体按照下述式(2)测量距离,若被测物体的位置超过模糊距离,会出现相位缠绕现象。请参阅图3a进行理解,单频测距技术能够计算出多个被测物体可能位于的位置,但是不能确定被测物体的真实位置对应哪个信号周期,其中,被测物体的真实位置对应哪个信号周期可以用解缠系数来表示。当前技术中,要么在单频测距技术中,降低调制频率,从而扩大模糊距离,使得被测物体的真实距离能够落入到模糊距离范围内,从而能够准确的测出被测物体,但是这种方式又会降低测量精度。要么使用多频测距技术,即增加一个或者多个调制频率的调制波来对被测物体进行依次测距,请参阅图3b所示,每个调制频率都会对应一个模糊距离,真实距离就是多个调制频率的调制波共同测量到的那个值,该真实位置对应调制频率也就是多个频率的最大公约数,称为击打频率(beat frequency)。击打频率一般会更低,从而能够扩展更长的测量距离。例如,调制频率a=100MHz,调制频率a对应的模糊距离U
100MHz=1.5m,调制频率b=80MHz,调制频率b的对应的模糊距离U
80MHz=1.875m,双频后,整个系统的模糊距离被扩展为7.5m。虽然,多频测距技术能够准确的测量被测物体的真实距离,但是多频测距技术会增加测距系统的功耗,降低帧率,限制了测距系统的应用场景。
其中,c为光速,F为调制频率。
其中,c为光速,
为相位延迟,F为调制频率。
鉴于上述问题,本申请提出一种物体测距方法,该方法应用于一种物体测距系统,请参阅图4所示,图4为物体测距系统的结构示意图。测距系统包括TOF模组40和处理模块41,其中,TOF模组40包括TOF芯片403、激光器402和镜头404(包含滤光片)。TOF芯片403包括ToF传感器4033、控制器4031和模数转换器(analog-to-digital converter,ADC)4032。其中,控制器4031用于产生某一调制频率的发射信号。信号波形变化的度量,通常以度(角度)作为单位。请参阅图5所示,发射的红外连续光信号(即发射信号)为通过调制后的余弦信号s(t),该发射信号(也可以称为“光波信号”)可用下述式(3)表示。
s(t)=cos(ωt),式(3)。
其中,t表示时刻,ω表示角速度,ωt表示角度。
控制器4031将电信号分别发送给激光器驱动401和TOF传感器4033。激光器驱动401用于按照电信号的变化驱动激光器402,激光器402用于发射相应的光波信号s(t)。光波信号经过被测物体的反射,镜头404用于接收反射信号并将反射信号发送给TOF传感器,TOF传感器4033用于接收反射信号g(t),反射信号g(t)包含有相位延时的已调余弦信号,反射信号g(t)可以用下述式(4)表示。
其中,A表示振幅,t表示时刻,ω表示角速度,
表示相位延迟,相位延迟
代表光波在飞行过程中的传播延迟。
TOF传感器4033还用于对s(t)与g(t)进行混频积分(如下述式5),得到积分值,积分值通过ADC4032输出给处理模块41,处理模块41用于对积分值进行相位计算和强度计算,从而得到被测物体的灰度图和相位图。
其中,s(t)表示发射信号,g(t)表示反射信号,
表示互相关。
控制器4031可以选取4个不同的τ值:τ
0=0°、τ
1=90°、τ
2=180°和τ
3=270°,4个不同的τ值分别代入上述式(5),得到四相位积分值(也称为4相位裸数据)。ADC4032将四相位积分值输出至处理模块41。处理模块41用于根据四相位裸数据进行相位计算(如下述式(6)所示)及强度计算(如下述式(7)和式(8)所示)。下述式(6)中的相位延迟
用于得到被测物体的相位图,下述式(7)中的强度B可以用来得到被测物体的灰度图。
B=c(τ)+c(τ+180°),式(8)。
其中,上述式(8)中,τ可以为0°或90°。
处理模块41用于识别灰度图中目标物体对应的目标区域,及目标区域对应的相位图;处理模块41能够根据目标物体的尺寸信息获取目标物体距离TOF传感器4033的估计距离,根据估计距离和相位图计算目标区域中每个像素对应的解缠系数,确定了解缠系数,也即确定出目标区域中每个像素对应的信号周期,进而能够根据解缠系数和目标区域对应的相位图确定目标区域的深度图。本申请实施例中,在单频测距技术中,不需要像当前技术中通过降低调制频率来扩展模糊距离,而是通过物体的尺寸信息确定目标物体距离TOF传感器的一个估计距离,基于该估计距离计算目标区域内每个像素对应的解缠系数,确定了每个像素对应的解缠系数,就能够确定每个像素对应的真实距离,即使目标物体的实际距离超过模糊距离,也能够探测目标物体的实际距离,并且能够保证测量精度。
下面通过具体的实施例对本申请的技术方案进行示例性说明。本申请实施例提供的一 种物体测距方法,该方法的执行主体可以为物体测距装置。一种实现方式中,物体测距装置的结构如上述图4中所示出的结构,物体测距装置包括TOF模组和处理模块,在一个示例中,TOF模组和处理模块集成在同一个设备中。例如,物体测距装置为一个专用的测距装置,或者,物体测距设备可以为终端。终端包括但不限定于手机,电脑,平板电脑,车载终端、智能家居(如智能电视)、游戏设备、机器人等。另一种实现方式中,TOF模组和处理模块可以分别设置于不同的设备中。例如,TOF模组设置于TOF相机中,处理模块设置于物体测距装置中,TOF相机和物体测距装置通信连接,该物体测距装置可以是终端,或者,物体测距装置也可以是终端中的处理器,其中,终端包括但不限定于手机,电脑,平板电脑,车载终端、智能家居(如智能电机)、游戏设备、机器人等。请参阅图6所示,物体测距装置执行如下步骤601至步骤605。
步骤601、物体测距装置利用TOF传感器获取第一图像及所述第一图像对应的第一相位图。
物体测距装置利用TOF传感器获取第一图像,在一种可选的情况中,第一图像为被摄场景的灰度图,第一图像利用上述式(7)或上述式(8)得到的。可选地,若物体测距装置还包括彩色图像传感器,该第一图像也可以为RGB(red,green,blue)图像。例如,物体测距装置为手机,手机包括彩色图像传感器,第一图像是手机通过彩色图像传感器采集的RGB图像。
物体测距装置利用TOF传感器获取裸数据(或称为原始数据),并根据裸数据计算第一图像中每个像素对应的灰度值和光波飞行时间对应的相位延迟,进而得到第一图像对应的第一相位图。基于TOF测距原理,在对目标物体进行测距时,通过调制光源发射高频红外调制信号照射目标物体,此后调制信号反射回到TOF传感器表面时,产生与距离相关的相位延迟。第一图像中每个像素都会对应第一相位图中的一个相位延迟,第一相位图能够指示目标物体距离物体测距装置的距离信息(参见上述式(2)进行理解)。
步骤602、物体测距装置识别第一图像中目标物体对应的目标区域,及在第一相位图中目标区域对应的第二相位图。
请参阅图7所示,图7为第一图像的目标区域及目标区域对应的第二相位图的示意图。物体测距装置识别第一图像中的目标区域,目标区域为第一图像中目标物体所对应的位置。物体测距装置确认第一图像中的目标区域,按照目标区域的位置确定第一相位图中目标区域对应的第二相位图。
物体测距装置识别目标区域的方法并不限定。示例性的,在一种可能的实现方式中,物体测距装置内置有物体识别模型,如该物体识别模型可以为神经网络模型,物体测距装置利用物体识别模型识别目标物体,并标记目标物体所在的位置信息。在另一种可能的实现方式中,该目标区域也可以为TOF传感器的对焦区域,例如,TOF传感器接收目标物体反射回来的光波进行自动对焦,例如,在第一图像中,目标物体可以通过一方框圈定,该方框区域为对焦区域。该目标区域可以理解为感兴趣区域(region of interest,ROI),ROI区域是从图像中选择的一个图像区域,这个区域是进行图像分析所关注的重点区域。
步骤603、物体测距装置根据目标物体的尺寸信息获取目标物体距离TOF传感器的估 计距离,其中,尺寸信息包括第一图像中目标物体的图像尺寸,或者,目标物体的实际物理尺寸。
在方式A中,目标物体的尺寸信息为目标物体的图像尺寸。
本申请实施例中,不限定目标物体的类别。示例性的,目标物体的类别以人脸为例进行示例性说明。请参阅图8所示,图8为不同距离(第一距离)下人脸所占像素个数的关系示意图。图8给出了成人和孩子在距离某一款所有参数都确定的相机在不同距离(第一距离)下所拍摄到人脸所占pixel的个数。第一距离即为图8中横轴所示出的多个距离,多个预设图像尺寸即为图8中纵轴所示出的多个尺寸。人脸所占像素个数即为人脸的图像尺寸。随着第一距离的增大,人脸所占像素的个数随之减少,相应地,随着第一距离的减小,人脸所占像素的个数随之增多。由此,可以通过人脸所占像素个数来粗略判断人脸的大概位置。
物体测距装置根据目标物体的图像尺寸,及预设关系确定估计距离。该预估距离可以理解为一个大致距离。物体测距装置预先存储有尺寸信息,尺寸信息包括多个第一距离与多个预设图像尺寸,及多个第一距离与多个预设图像尺寸之间的一一对应关系。目标物体的图像尺寸为多个预设图像尺寸中的目标预设图像尺寸,估计距离为与目标预设图像尺寸具有对应关系的第一距离。
示例性的,请参阅上述图8进行理解,图像尺寸=横向H(horizontal)像素×竖向V(vertical)。目标物体以孩子人脸为例,例如,图像尺寸为100个像素,100个像素对应的第一距离为0.6m,也即当目标物体的图像尺寸为100个像素时,能够根据预设关系得到估计距离为0.6m。
在这种实现方式中,物体测距装置可以依据第一图像中人脸所占像素的数量来判断人脸距离测距装置的一个大致距离(估计距离)。
在实现B中,目标物体的尺寸信息为目标物体的实际物理尺寸。目标物体的类别以人脸为例进行示例性说明。
物体测距装置根据第二相位图计算目标物体与TOF传感器之间的多个距离(也称为“第二距离”),多个第二距离中的每个第二距离对应一个目标物体的估计尺寸。
物体测距装置根据第二相位图进行计算,由于可能存在相位缠绕现象,即不能确定目标物体的实际距离对应哪个信号周期,故而针对不同的信号周期会计算出多个不同的距离。示例性的,物体测距装置对第二相位图进行还原计算出3个距离,这3个距离对应的位置是人脸可能出现的位置。请参阅图9进行理解,人脸可能出现的位置分别为25cm、75cm和125cm。例如,物体测距装置根据这3个距离计算出对应的3个人脸尺寸,可计算得到人脸宽度(估计尺寸)分别为5cm、15cm和25cm。即人脸位置为25cm时,对应的人脸的估计宽度是5cm;人脸位置为75cm时,对应的人脸的估计宽度是15cm;人脸位置为125cm时,对应的人脸的估计宽度是25cm。
对如何计算人脸宽度进行简要说明。示例性的,相机的视场角已知,如视场角为m度,在灰度图中,第一图像的宽度占p个像素,人脸的宽度占q个像素,由此,图9中α角如下述式(9)计算。
进一步的,根据
及第二距离,通过三角函数计算公式能够计算出人脸的估计宽度(估计尺寸)。需要说明的是,此处第二距离的数量仅是为了方便说明而举的例子,实际应用的过程中,第二距离的数量可能会更多。
物体测距装置将目标物体的实际物理尺寸与多个估计尺寸进行匹配,确定与实际物理尺寸相匹配的目标估计尺寸。
示例性的,基于经验值,人脸的实际物理尺寸为15cm(人脸大致宽度),将该目标物体的实际物理尺寸与多个估计尺寸(5cm、15cm和25cm)进行匹配,则目标估计尺寸为15cm。
物体测距装置确定目标估计尺寸对应的第二距离为估计距离D
E。
目标估计尺寸(15cm)是最接近真实的人脸宽度(即人脸的实际物理尺寸)的尺寸,因此选择15cm对应的75cm作为估计距离。
在这种实现方式中,物体测距装置能够根据第二相位图还原出目标物体可能的位置,能够基于多个可能的位置计算出目标物体的估计尺寸,进一步的,在多个估计尺寸中选择一个与目标物体的实际物理尺寸相匹配(最接近)的一个估计尺寸(目标估计尺寸),将目标估计尺寸对应的第二距离作为估计距离。
步骤604、物体测距装置根据估计距离和第二相位图计算目标区域中每个像素对应的解缠系数。
解缠系数用于指示目标物体的实际位置对应的信号周期。请参阅图3a进行理解,传统的单频测距技术能够计算出多个被测物体可能对应的位置,但是不能确定被测物体的真实位置对应哪个信号周期。本实施例中,被测物体的真实位置对应哪个信号周期可以用解缠系数来表示。由于物体测距装置在一个信号周期内能够测量的最大距离为一个模糊距离,故而,解缠系数也可以理解为:用于指示目标物体的实际位置位于第几个模糊距离内。
物体测距装置按照如下公式(10)计算解缠系数:
其中,N表示解缠系数,round表示四舍五入计算,D
E表示估计距离,U表示模糊距离,
表示相位延迟。
在一个具体的实施方式中,由于人脸是有深度的,因此目标区域中像素对应的相位延迟可能存在相位翻转。其中,第一图像中人脸对应的目标区域包括第一区域和第二区域,第一区域和第二区域在空间上连续,无深度跳变,也就是说,在灰度图(RGB图)中整个人脸区域是光滑的。
相位翻转是指第一相位延迟和第二相位延迟不在同一个信号周期,第一相位延迟是第一区域中多个像素对应的相位延迟,第二相位延迟是第二区域中多个像素对应的相位延迟。对相位翻转现象进行举例说明,例如,第一区域为人脸鼻尖区域对应的区域,第二区域为人脸耳朵对应的区域,鼻尖的位置相对于耳朵的位置距离物体测距装置的距离更近,若一 个信号周期是【0度,360度】,鼻尖区域的至少一个像素对应的相位延迟是355度,而耳朵区域的至少一个像素对应的相位延迟是365度,即鼻尖区域对应的相位延迟和耳朵区域对应的相位延迟不在一个信号周期,则表明目标区域存在相位翻转。
基于目标区域中像素对应的相位延迟是否存在相位翻转,包括下述情况1和情况2。
情况1、当目标区域中的多个像素对应的相位延迟不存在相位翻转时,目标区域内每个像素对应的解缠系数相同。在这种情况中,目标区域内所有的像素对应的解缠系数为同一个值,目标区域内多个像素的深度值接近估计距离D
E。
情况2、当目标区域中的多个像素对应的相位延迟存在相位翻转时,解缠系数包括第一解缠系数和第二解缠系数。其中,第一相位延迟与第一解缠系数有关,第二相位延迟与第二解缠系数有关。第一解缠系数用于计算第一区域对应的深度图,第二解缠系数用于计算第二区域对应的深度图。
示例性的,将第一相位延迟355度代入到上述(10)得到第一解缠系数N
1,而将相位延迟5度(第二相位延迟365度-360度)代入到上述式(10)得到第二解缠系数N
2。例如,N
1=0,表明鼻尖对应第一个信号周期,而N
2=1表明耳朵对应第二个信号周期。N1和N2指示出第一区域和第二区域对应的真实位置。
步骤605、物体测距装置根据解缠系数和第二相位图确定目标区域的深度图。
物体测距装置根据解缠系数和第二相位图计算目标区域内每个像素对应的实际距离。物体测距装置可以按照下式(11)进行计算每个像素对应的实际距离。
其中,
为相位延迟,N为解缠系数,U为模糊距离。
在上述情况1中,整个目标区域使用同一个解缠系数计算每个像素对应的实际距离。在上述情况2中,第一区域使用第一解缠系数计算第一区域内每个像素对应的实际距离,而第二区域使用第二解缠系数计算第二区域内每个像素对应的实际距离,即在目标区域内的不同区域使用不同的解缠系数。例如,N
1=0,表明鼻尖对应第一个信号周期,而N
2=1表明耳朵对应第二个信号周期,通过N1和N2指示出第一区域和第二区域对应的真实位置。相对于当前的单频测距技术中,物体测距装置不会计算解缠系数,若耳朵对应的相位延迟是365度,会直接将365度折算成5度(365度-360度),按照上述式(2)来计算距离,5度和365度对应的距离是不同的,由此,会造成人脸区域深度值不连贯,而本实施例中,通过N
1和N
2指示出第一区域和第二区域所对应的2个信号周期,2个信号周期能够指示第一区域和第二区域对应的真实位置,从而使得最终基于人脸对应的目标区域生成一个连贯的深度图。
依据上述式(11),物体测距装置可以计算出目标区域内每个像素所对应的实际距离,为了重建出真实场景中的三维信息,还需要进一步对数据进行处理。根据每个像素的二维坐标及每个像素对应的真实距离D
r求解出每个像素对应的三维坐标,请参阅下述式(12)到式(14)。
Z
w=D
r,式(14)。
其中,(u
i,v
i)表示第i个像素点,u
0,v
0表示光心在图像坐标系中的坐标,f
x表示水平方向上的焦距,f
y表示竖直方向上的焦距。(X
w,Y
w,Z
w)表示世界坐标系下的坐标。
本申请实施例中,测距装置根据所述目标物体的尺寸信息获取所述目标物体距离TOF传感器的大致距离(估计距离),能够根据估计距离和相位图计算目标区域中每个像素对应的解缠系数,解缠系数能够指示出目标物体对应的每个像素位于的信号周期,根据每个像素的解缠系数和相位图可以确定每个像素对应的真实距离,即得到目标区域的深度图。相对于传统方法,在单频测距技术中,不需要降低调制频率来增加模糊距离就能够得到目标物体对应的目标区域的深度图,从而保证测距精度。
在一个具体的实施例中,前述目标物体均以人脸为例进行举例说明,本申请实施例中,并不限定目标物体的类别,在不同的应用场景中,目标物体可以属于不同的类别,上述步骤403之前,上述方法还可以包括如下步骤。
物体测距装置利用机器视觉技术识别该目标物体所属的类别,并根据目标物体所属的类别查询数据库中已经存储的各类别对应的物体尺寸信息。
例如,目标物体的类别为人脸,物体测距装置查询数据库中人脸的尺寸信息。在上述方式A中,该尺寸信息包括如上述实施例中步骤603中的尺寸信息,尺寸信息a包括多个第一距离a与多个预设人脸图像尺寸,及多个第一距离a与多个预设人脸图像尺寸的对应关系。在上述方式B中,该人脸的尺寸信息为人脸的实际物理尺寸(如人脸宽度15cm)。
人脸测距的应用场景。1、物体测距装置为车载终端,车载终端可以精确检测驾驶员的头部位置,以判断驾驶员是否注意力足够集中、是否正疲劳驾驶,从而启动相应对策。2、物体测距装置为移动终端(如手机,平板电脑等),移动终端识别3D人脸相较于传统的2D人脸识别技术,生物活性检测准确、安全性高,从而使得本申请实施例中的物体测距方法应用于面容解锁、移动支付应用场景等。
又如,目标物体的类别为手部,物体测距装置查询数据库中手部的尺寸信息。在上述方式A中,该尺寸信息包括尺寸信息b,尺寸信息b包括多个第一距离b与多个预设手部图像尺寸,及多个第一距离b与多个预设手部图像尺寸的对应关系。在上述方式B中,该尺寸信息为手部的实际物理尺寸。
肢体测距的应用场景。1、物体测距装置为车载终端,物体测距装置检测用户的手部在运动过程的中各个位置,以控制车载娱乐系统或车用空调。2、物体测距装置为智能电视或电脑,物体测距装置检测用户的手部位置,输出相应的游戏界面,进而实现人机交互。
再如,目标物体的类别为机器零件,物体测距装置查询数据库中机器零件的尺寸信息。在上述方式A中,该尺寸信息包括尺寸信息c,尺寸信息c包括多个第一距离c与多个预设机器零件图像尺寸,及多个第一距离c与多个预设机器零件图像尺寸的对应关系。在上述方式B中,该尺寸信息为机器零件的实际物理尺寸。
机器零件测距的应用场景。1、物体测距装置为工业机器人,物体测距装置检测机器零件的位置,从而可以对机器零件进行精准定位安置。
需要说明的是,上述目标物体的类别及对应的应用场景仅是举例说明,并不造成对本申请的限定性说明。
请参阅图10所示,本申请实施例提供了一种物体测距装置1000,该物体测距装置用于执行上述方法实施例中物体测距装置所执行的方法。物体测距装置包括获取模块1001和处理模块1002。
获取模块1001,用于利用飞行时间TOF传感器获取第一图像及第一图像对应的第一相位图;
处理模块1002,用于识别第一图像中目标物体对应的目标区域,及在第一相位图中目标区域对应的第二相位图;
处理模块1002,还用于根据目标物体的尺寸信息获取目标物体距离TOF传感器的估计距离,其中,尺寸信息包括第一图像中目标物体的图像尺寸,或者,目标物体的实际物理尺寸;
处理模块1002,还用于根据估计距离和第二相位图计算目标区域中每个像素对应的解缠系数;
处理模块1002,还用于根据解缠系数和第二相位图确定目标区域的深度图。
可选地,获取模块1001的功能可以由收发器来执行。其中,收发器具有发送和/或接收的功能。可选地,收发器由接收器和/或发射器代替。
可选地,获取模块1001的功能也可以由处理器来执行。
可选地,处理模块1002为处理器,处理器是通用处理器或者专用处理器等。可选地,处理器包括用于实现接收和发送功能的收发单元。例如该收发单元是收发电路,或者是接口,或者是接口电路。用于实现接收和发送功能的收发电路、接口或接口电路是分开的部署的,可选地,是集成在一起部署的。上述收发电路、接口或接口电路用于代码或数据的读写,或者,上述收发电路、接口或接口电路用于信号的传输或传递。
进一步的,获取模块1001用于执行上述方法实施例中的步骤601,处理模块1002用于执行上述方法实施例中的步骤602至步骤605。
在一个具体的实施方式中,目标物体的尺寸信息为目标物体的图像尺寸;
处理模块1002,还用于根据目标物体的图像尺寸,及预设关系确定估计距离,预设关系指示多个第一距离与多个预设图像尺寸具有对应关系,目标物体的图像尺寸为多个预设图像尺寸中的目标预设图像尺寸,估计距离为与目标预设图像尺寸具有对应关系的第一距离。
在一个具体的实施方式中,处理模块1002还具体用于:
根据第二相位图计算目标物体与TOF传感器之间的多个第二距离,多个第二距离中的每个第二距离对应一个目标物体的估计尺寸;
将目标物体的实际物理尺寸与多个估计尺寸进行匹配,确定与实际物理尺寸相匹配的目标估计尺寸;
确定目标估计尺寸对应的第二距离为估计距离。
在一个具体的实施方式中,处理模块1002还具体用于:
确定目标物体的类别;
根据类别获取目标物体的尺寸信息。
在一个具体的实施方式中,目标物体的类别为人脸。
在一个具体的实施方式中,目标区域包括第一区域和第二区域;
当目标区域中的多个像素对应的相位延迟不存在相位翻转时,目标区域内每个像素对应的解缠系数相同;或者,当目标区域中的多个像素对应的相位延迟存在相位翻转时,解缠系数包括第一解缠系数和第二解缠系数,其中,相位翻转是指第一相位延迟和第二相位延迟不在同一个信号周期,第一相位延迟是第一区域中多个像素对应的相位延迟,第二相位延迟是第二区域中多个像素对应的相位延迟;第一相位延迟与第一解缠系数有关,第二相位延迟与第二解缠系数有关;第一解缠系数用于计算第一区域对应的深度图,第二解缠系数用于计算第二区域对应的深度图。
请参阅图11所示,本申请实施例提供了一种物体测距装置1100,物体测距装置用于执行上述方法实施例中物体测距装置所执行的方法,具体请参阅上述方法实施例的说明。物体测距装置包括但不限定于手机,电脑,平板电脑,车载终端、智能家居(如智能电视)、游戏设备、机器人等。本申请实施例中,物体测距装置以手机为例进行说明。物体测距装置1100包括处理器1101、存储器1102、输入单元1103、显示单元1104、TOF模组1105、通信单元1106和音频电路1107等部件。存储器1102可用于存储软件程序以及模块,处理器1101通过运行存储在存储器1102的软件程序以及模块,从而执行装置的各种功能应用以及数据处理。存储器1102可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。可选地,处理器1101包括但不限于各类型的处理器,如CPU、DSP、图像信号处理器中的一个或多个。
一个具体的实施例中,处理器1101用于执行上述图5中处理模块所执行的功能。
输入单元1103可用于接收输入的数字或字符信息,以及产生与装置的用户设置以及功能控制有关的键信号输入。具体地,输入单元1103可包括触控面板1131。触控面板1131,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1131上或在触控面板1131附近的操作)。
显示单元1104可用于显示各种图像信息。显示单元1104可包括显示面板1141,可选的,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1141。在某些实施例中,可以将触控面板1131与显示面板1141集成而实现装置的输入和输出功能。
TOF模组1105用于产生某一频率的发射信号,并接收被测物体(目标物体)反射回来的反射信号,并根据发射信号和反射信号生成裸数据,并将裸数据传输至处理器1101。处理器1101用于根据裸数据生成灰度图和相位图,并根据灰度图和相位图生成目标物体对应的深度图。其中,TOF模组1105的结构请参阅上述图5中TOF模组40的结构进行理解。
通信单元1106,用于建立通信信道,使物体测距装置通过通信信道以连接至远程服务器,并从远程服务器获取物体检测模型及场景识别模型。通信单元1106可以包括无线局域网模块、蓝牙模块、基带模块等通信模块,以及通信模块对应的射频(radio frequency,RF)电路,用于进行无线局域网络通信、蓝牙通信、红外线通信及/或蜂窝式通信系统通信。通信模块用于控制物体测距装置中的各组件的通信,并且可以支持直接内存存取。
可选地,通信单元1106中的各种通信模块一般以集成电路芯片的形式出现,并可进行 选择性组合,而不必包括所有通信模块及对应的天线组。例如,通信单元1106可以仅包括基带芯片、射频芯片以及相应的天线以在一个蜂窝通信系统中提供通信功能。经由通信单元1106建立的无线通信连接,物体测距装置可以连接至蜂窝网或因特网。
音频电路1107、扬声器1108和传声器1109可提供用户与手机之间的音频接口。音频电路1107可将接收到的音频数据转换后的电信号,传输到扬声器1108,由扬声器1108转换为声音信号输出。传声器1109将收集的声音信号转换为电信号,由音频电路1107接收后转换为音频数据,再将音频数据输出处理器1101处理后,经通信单元1106以发送给比如另一手机,或者将音频数据输出至存储器1102以便进一步处理。
虽然未示出,物体测距装置还可以包括更多的部件,如摄像头、电源等,具体的不详细说明。
本申请实施例还提供了一种计算机可读存储介质,用于储存计算机程序或指令,计算机程序或指令被执行时使得计算机执行上述方法实施例中物体测距装置的方法。
本申请实施例提供了一种芯片,芯片包括处理器和通信接口,通信接口例如是输入/输出接口、管脚或电路等。处理器用于读取指令以执行上述方法实施例中物体测距装置所执行的方法。
本申请实施例还提供了一种计算机程序产品,计算机程序产品中包括计算机程序代码,当计算机程序代码被计算机或处理器执行时,使得计算机或处理器实现上述方法实施例中物体测距装置执行的方法。
计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive,SSD)。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (15)
- 一种物体测距方法,其特征在于,包括:利用飞行时间TOF传感器获取第一图像及所述第一图像对应的第一相位图;识别所述第一图像中目标物体对应的目标区域,及在所述第一相位图中所述目标区域对应的第二相位图;根据所述目标物体的尺寸信息获取所述目标物体距离所述TOF传感器的估计距离,其中,所述尺寸信息包括所述第一图像中所述目标物体的图像尺寸,或者,所述目标物体的实际物理尺寸;根据所述估计距离和所述第二相位图计算所述目标区域中每个像素对应的解缠系数;根据解缠系数和所述第二相位图确定所述目标区域的深度图。
- 根据权利要求1所述的方法,其特征在于,所述目标物体的尺寸信息为所述目标物体的图像尺寸,所述根据目标物体的尺寸信息获取所述目标物体距离所述TOF传感器的估计距离,包括:根据所述目标物体的图像尺寸,及预设关系确定所述估计距离,所述预设关系指示多个第一距离与多个预设图像尺寸具有对应关系,所述目标物体的图像尺寸为所述多个预设图像尺寸中的目标预设图像尺寸,所述估计距离为与所述目标预设图像尺寸具有对应关系的第一距离。
- 根据权利要求1所述的方法,其特征在于,所述目标物体的尺寸信息为所述目标物体的实际物理尺寸,所述根据目标物体的尺寸信息获取所述目标物体距离所述TOF传感器的估计距离,包括:根据所述第二相位图计算所述目标物体与所述TOF传感器之间的多个第二距离,所述多个第二距离中的每个第二距离对应一个所述目标物体的估计尺寸;将所述目标物体的实际物理尺寸与多个所述估计尺寸进行匹配,确定与所述实际物理尺寸相匹配的目标估计尺寸;确定所述目标估计尺寸对应的第二距离为所述估计距离。
- 根据权利要求1-3中任一项所述的方法,其特征在于,所述根据所述目标物体的尺寸信息获取所述目标物体距离所述TOF传感器的估计距离之前,所述方法包括:确定所述目标物体的类别;根据所述类别获取所述目标物体的尺寸信息。
- 根据权利要求1-4中任一项所述的方法,其特征在于,所述目标物体的类别为人脸。
- 根据权利要求1-5中任一项所述的方法,其特征在于,所述目标区域包括第一区域和第二区域;当所述目标区域中的多个像素对应的相位延迟不存在相位翻转时,所述目标区域内每个像素对应的解缠系数相同;或者,当所述目标区域中的多个像素对应的相位延迟存在相位翻转时,所述解缠系数包括第一解缠系数和第二解缠系数,其中,所述相位翻转是指第一相位延迟和第二相位延迟不在 同一个信号周期,所述第一相位延迟是所述第一区域中多个像素对应的相位延迟,所述第二相位延迟是第二区域中多个像素对应的相位延迟;所述第一相位延迟与所述第一解缠系数有关,所述第二相位延迟与所述第二解缠系数有关;所述第一解缠系数用于计算所述第一区域对应的深度图,所述第二解缠系数用于计算所述第二区域对应的深度图。
- 一种物体测距装置,其特征在于,包括:获取模块,用于利用飞行时间TOF传感器获取第一图像及所述第一图像对应的第一相位图;处理模块,用于识别所述第一图像中目标物体对应的目标区域,及在所述第一相位图中所述目标区域对应的第二相位图;处理模块,还用于根据所述目标物体的尺寸信息获取所述目标物体距离所述TOF传感器的估计距离,其中,所述尺寸信息包括所述第一图像中所述目标物体的图像尺寸,或者,所述目标物体的实际物理尺寸;处理模块,还用于根据所述估计距离和所述第二相位图计算所述目标区域中每个像素对应的解缠系数;处理模块,还用于根据解缠系数和所述第二相位图确定所述目标区域的深度图。
- 根据权利要求7所述的物体测距装置,其特征在于,所述目标物体的尺寸信息为所述目标物体的图像尺寸;处理模块,还用于根据所述目标物体的图像尺寸,及预设关系确定所述估计距离,所述预设关系指示多个第一距离与多个预设图像尺寸具有对应关系,所述目标物体的图像尺寸为所述多个预设图像尺寸中的目标预设图像尺寸,所述估计距离为与所述目标预设图像尺寸具有对应关系的第一距离。
- 根据权利要求7所述的物体测距装置,其特征在于,所述处理模块还具体用于:根据所述第二相位图计算所述目标物体与所述TOF传感器之间的多个第二距离,所述多个第二距离中的每个第二距离对应一个所述目标物体的估计尺寸;将所述目标物体的实际物理尺寸与多个所述估计尺寸进行匹配,确定与所述实际物理尺寸相匹配的目标估计尺寸;确定所述目标估计尺寸对应的第二距离为所述估计距离。
- 根据权利要求7-9中任一项所述的物体测距装置,其特征在于,所述处理模块还具体用于:确定所述目标物体的类别;根据所述类别获取所述目标物体的尺寸信息。
- 根据权利要求7-10中任一项所述的物体测距装置,其特征在于,所述目标物体的类别为人脸。
- 根据权利要求7-11中任一项所述的物体测距装置,其特征在于,所述目标区域包括第一区域和第二区域;当所述目标区域中的多个像素对应的相位延迟不存在相位翻转时,所述目标区域内每 个像素对应的解缠系数相同;或者,当所述目标区域中的多个像素对应的相位延迟存在相位翻转时,所述解缠系数包括第一解缠系数和第二解缠系数,其中,所述相位翻转是指第一相位延迟和第二相位延迟不在同一个信号周期,所述第一相位延迟是所述第一区域中多个像素对应的相位延迟,所述第二相位延迟是第二区域中多个像素对应的相位延迟;所述第一相位延迟与所述第一解缠系数有关,所述第二相位延迟与所述第二解缠系数有关;所述第一解缠系数用于计算所述第一区域对应的深度图,所述第二解缠系数用于计算所述第二区域对应的深度图。
- 一种物体测距装置,其特征在于,包括处理器,所述处理器与至少一个存储器耦合,所述处理器用于读取所述至少一个存储器所存储的计算机程序,使得所述物体测距装置执行如权利要求1至6中任一项所述的方法。
- 一种计算机可读存储介质,其特征在于,用于储存计算机程序或指令,所述计算机程序或指令被执行时使得计算机或处理器执行如权利要求1至6中任一项所述的方法。
- 一种包括指令的计算机程序产品,其特征在于,当所述计算机程序产品中的指令被计算机或处理器执行时,使得所述计算机或所述处理器实现上述如权利要求1至6中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/128943 WO2023077412A1 (zh) | 2021-11-05 | 2021-11-05 | 一种物体测距方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117480408A true CN117480408A (zh) | 2024-01-30 |
Family
ID=86240416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180099316.9A Pending CN117480408A (zh) | 2021-11-05 | 2021-11-05 | 一种物体测距方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117480408A (zh) |
WO (1) | WO2023077412A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011365B (zh) * | 2023-10-07 | 2024-03-15 | 宁德时代新能源科技股份有限公司 | 尺寸测量方法、装置、计算机设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10916023B2 (en) * | 2018-09-14 | 2021-02-09 | Facebook Technologies, Llc | Depth measurement assembly with a structured light source and a time of flight camera |
US11668829B2 (en) * | 2019-03-18 | 2023-06-06 | Infineon Technologies Ag | Resolving distance measurement ambiguities using coded-modulation phase image frames |
CN110109133A (zh) * | 2019-05-05 | 2019-08-09 | 武汉市聚芯微电子有限责任公司 | 基于飞行时间的距离补偿方法和测距方法 |
US11150088B2 (en) * | 2019-05-13 | 2021-10-19 | Lumileds Llc | Depth sensing using line pattern generators |
US10929956B2 (en) * | 2019-07-02 | 2021-02-23 | Microsoft Technology Licensing, Llc | Machine-learned depth dealiasing |
CN112986972A (zh) * | 2019-12-13 | 2021-06-18 | 华为技术有限公司 | 探测物体位置的方法和装置 |
-
2021
- 2021-11-05 WO PCT/CN2021/128943 patent/WO2023077412A1/zh active Application Filing
- 2021-11-05 CN CN202180099316.9A patent/CN117480408A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023077412A1 (zh) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11987250B2 (en) | Data fusion method and related device | |
WO2020168742A1 (zh) | 一种车体定位方法及装置 | |
KR101862914B1 (ko) | 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치 | |
CN106405500B (zh) | 智能机器人跟随方法、跟随系统及用于跟随的发射装置 | |
WO2021120402A1 (zh) | 一种融合的深度测量装置及测量方法 | |
CN105518480A (zh) | 使用查找表进行深度图纠正 | |
WO2022126427A1 (zh) | 点云处理方法、点云处理装置、可移动平台和计算机存储介质 | |
US20220277467A1 (en) | Tof-based depth measuring device and method and electronic equipment | |
US11693484B2 (en) | Device control method, electronic device, and storage medium | |
US20220128659A1 (en) | Electronic device including sensor and method of operation therefor | |
CN112596069A (zh) | 距离测量方法及系统、计算机可读介质和电子设备 | |
CN117480408A (zh) | 一种物体测距方法及装置 | |
CN113820694B (zh) | 一种仿真测距的方法、相关装置、设备以及存储介质 | |
CN115908720A (zh) | 三维重建方法、装置、设备及存储介质 | |
KR20210007238A (ko) | 흔들림 보정을 통한 물체 인식 방법 및 그 전자 장치 | |
CN109242782B (zh) | 噪点处理方法及装置 | |
CN113052890A (zh) | 一种深度真值获取方法、装置、系统及深度相机 | |
CN115902882A (zh) | 采集数据的处理方法、装置、存储介质及电子设备 | |
CN112987022A (zh) | 测距方法及装置、计算机可读介质和电子设备 | |
CN116068503A (zh) | 毫米波雷达和激光雷达的联合标定方法、装置及终端设备 | |
CN109000565B (zh) | 一种测量方法、装置及终端 | |
CN112416001A (zh) | 一种车辆的自动跟随方法、装置和车辆 | |
CN112929832A (zh) | 位置追踪方法、装置、电子设备和可读存储介质 | |
CN112400082A (zh) | 基于用户的位置使用发光元件提供视觉效果的电子装置及其方法 | |
CN110602381B (zh) | 景深检测方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |