CN113219476A - 测距方法、终端及存储介质 - Google Patents
测距方法、终端及存储介质 Download PDFInfo
- Publication number
- CN113219476A CN113219476A CN202110772364.1A CN202110772364A CN113219476A CN 113219476 A CN113219476 A CN 113219476A CN 202110772364 A CN202110772364 A CN 202110772364A CN 113219476 A CN113219476 A CN 113219476A
- Authority
- CN
- China
- Prior art keywords
- depth map
- interference
- state
- abnormal pixel
- phase data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请实施例公开了一种测距方法、终端及存储介质,所述方法应用于配置TOF传感器和发射光源的终端,包括:在第一状态下通过TOF传感器采集灰度图和/或第一相位数据,并根据灰度图和/或第一相位数据判断是否存在干扰;其中,第一状态为关闭发射光源的状态;若判定存在干扰,则开启抗干扰模式,并通过TOF传感器基于抗干扰模式获取第一深度图;其中,抗干扰模式为第一状态和第二状态周期性切换的模式;第二状态为开启发射光源的状态;若第一深度图中存在异常像素点,则对异常像素点进行修复处理,获得第一深度图对应的修复后深度图;根据修复后深度图确定距离信息。
Description
技术领域
本发明涉及距离测量技术领域,尤其涉及一种测距方法、终端及存储介质。
背景技术
在飞行时间(Time of Flight,TOF)相机的接收信号中,由于干扰的存在,会使TOF相机的距离测量精度受到影响。为了克服这一影响,目前使用差分输出像素结构的TOF传感器来进行环境光干扰的消除。
然而,当干扰很强时,对测量精度的影响仍旧很明显,且由于其他设备发射的调制光信号的波长和调制周期相同或相近,因此并不能以消除这些周期性调制信号的干扰。
可见,由于干扰信号的原因,目前的基于TOF技术的测距方案,存在准确性差、精度低的缺陷。
发明内容
本申请实施例提供了一种测距方法、终端及存储介质,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供了一种测距方法,所述方法应用于配置TOF传感器和发射光源的终端,所述方法包括:
在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰;其中,所述第一状态为关闭所述发射光源的状态;
若判定存在干扰,则开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;
若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;
根据所述修复后深度图确定距离信息。
第二方面,本申请实施例提供了一种终端,所述终端配置TOF传感器和发射光源,包括:采集单元,判断单元,开启单元,获取单元,修复单元,确定单元,所述采集单元,用于在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据;其中,所述第一状态为关闭所述发射光源的状态;
所述判断单元,用于根据所述灰度图和/或所述第一相位数据判断是否存在干扰;
所述开启单元,用于若判定存在干扰,则开启抗干扰模式;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;
所述获取单元,用于通过所述TOF传感器基于所述抗干扰模式获取第一深度图;
所述修复单元,用于若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;
所述确定单元,用于根据所述修复后深度图确定距离信息。
第三方面,本申请实施例提供了一种终端,所述终端包括处理器、存储有所述处理器可执行指令的存储器、TOF传感器以及发射光源,当所述指令被所述处理器执行时,实现如第一方面所述的测距方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有程序,所述程序被处理器执行时,实现如第一方面所述的测距方法。
本申请实施例提供了一种测距方法、终端及存储介质,在第一状态下通过TOF传感器采集灰度图和/或第一相位数据,并根据灰度图和/或第一相位数据判断是否存在干扰;其中,第一状态为关闭发射光源的状态;若判定存在干扰,则开启抗干扰模式,并通过TOF传感器基于抗干扰模式获取第一深度图;其中,抗干扰模式为第一状态和第二状态周期性切换的模式;第二状态为开启发射光源的状态;若第一深度图中存在异常像素点,则对异常像素点进行修复处理,获得第一深度图对应的修复后深度图;根据修复后深度图确定距离信息。由此可见,在本申请的实施例中,在开启抗干扰模式之后,终端可以对发射光源进行周期性开关控制,从而利用在发射光源工作时和关闭时所采集到的不同相位数据进行干扰消除处理,还可以进一步对消除干扰后的深度图进行异常像素点的修复处理,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
附图说明
图1为本申请实施例提出的测距方法的实现流程示意图一;
图2为本申请实施例提出的测距方法的实现流程示意图二;
图3为本申请实施例提出的测距方法的实现流程示意图三;
图4为本申请实施例提出的测距方法的实现流程示意图四;
图5为本申请实施例提出的测距方法的实现流程示意图五;
图6为本申请实施例提出的测距方法的实现流程示意图六;
图7为本申请实施例提出的测距方法的实现流程示意图七;
图8为本申请实施例提出的测距方法的实现流程示意图八;
图9为本申请实施例提出的终端的组成结构示意图一;
图10为本申请实施例提出的终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。还需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
飞行时间(Time of Flight,TOF)技术在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间(介质/距离/时间均为已知或可测量),从而进一步理解离子或媒介某些性质的技术。具体地,TOF技术主要利用TOF传感器发出经调制的近红外光,遇物体后反射,TOF传感器通过计算光线发射和反射时间差或相位差来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
在TOF相机的接收信号中,除了TOF相机自身发射光信号经过场景反射后的接收信号外,还包含一部分其他干扰信号,正是由于干扰的存在,会使TOF相机的距离测量精度受到影响。其中,这一部分其他干扰信号包括:环境干扰信号(例如太阳等自然环境光信号、其它设备的调制光信号等)、TOF相机发射信号在场景内多次反射的回波信号等。
为了克服其他干扰信号对测距精度的影响,目前使用差分输出像素结构的TOF传感器来进行环境光干扰的消除。然而,一方面,对于使用差分输出像素结构的TOF传感器,由于难以控制信号的占空比在理想的50%,因此当环境光干扰很强时,对测量精度的影响仍旧很明显。另一方面,多个TOF相机同时使用,或环境中还有其他发射调制光的光电TOF传感器时,由于其他设备发射的调制光信号的波长和调制周期相同或相近,即使在TOF传感器中使用了差分输出像素结构,也难以消除这些周期性调制信号的干扰。
可见,由于干扰信号的原因,目前的基于TOF技术的测距方案,存在准确性差、精度低的缺陷。
为了解决上述问题,在本申请的实施例中,在开启抗干扰模式之后,终端可以对发射光源进行周期性开关控制,从而利用在发射光源工作时和关闭时所采集到的不同相位数据进行干扰消除处理,还可以进一步对消除干扰后的深度图进行异常像素点的修复处理,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种测距方法,图1为本申请实施例提出的测距方法的实现流程示意图一,如图1所示,在本申请的实施例中,终端进行测距的方法可以包括以下步骤:
步骤101、在第一状态下通过TOF传感器采集灰度图和/或第一相位数据,并根据灰度图和/或第一相位数据判断是否存在干扰;其中,第一状态为关闭发射光源的状态。
在本申请的实施例中,终端可以先控制TOF传感器在第一状态下采集灰度图和/或第一相位数据,然后可以根据所述灰度图和/或所述第一相位数据判断是否存在干扰,以确定是否执行抗干扰处理。
需要说明的是,在本申请的实施例中,中终端可以为任何具备通信和存储功能的终端设备,例如:平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer,PC)、笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(Personal DigitalAssistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置等终端设备。例如,终端可以为TOF相机。
需要说明的是,在本申请的实施例中,终端可以配置有TOF传感器和发射光源,其中,发射光源在调制信号控制作用下发出调制后的近红外光照射到目标上,TOF传感器可以通过接收目标反射的光信号来输出深度图像,从而可以实现距离的测量。
进一步地,在本申请的实施例中,第一状态可以为关闭所述发射光源的状态,即当终端工作在第一状态时,发射光源是不发光的。
可以理解的是,在本申请的实施例中,终端工作在第一状态时,可以通过TOF传感器进行灰度图和/或第一相位数据的采集。其中,可以通过TOF传感器采集获取到一帧或者多帧灰度图,也可以通过TOF传感器采集获取到一个或者多个第一相位数据。
可选地,在本申请的实施例中,终端可以在所述第一状态下,控制所述TOF传感器按照预设帧率采集所述灰度图。即终端可以控制发射光源不发光,并控制TOF传感器按照预设帧率进行至少一次采集处理,获得至少一帧灰度图。
示例性的,在本申请中,在发射光源不发光时,预设帧率为m(帧/秒),那么终端通过TOF传感器按照预设帧率进行采集处理,在2秒中可以获得2m帧灰度图,其中,m为大于0的数。
可选地,在本申请的实施例中,终端可以在所述第一状态下,控制所述TOF传感器按照第一采集帧率采集所述第一相位数据。即终端可以控制发射光源不发光,并控制TOF传感器按照第一采集帧率进行至少一次采集处理,获得至少一个第一相位数据。
示例性的,在本申请中,终端通过TOF传感器按照第一采集帧率进行n次采集处理,可以获得n个第一相位数据,分别为P1f[1],……,P1f[n],其中,n为大于1的整数。
可以理解的是,在本申请的实施例中,终端可以预先对预设帧率和第一采集帧率进行设置和存储,对于预设帧率和第一采集帧率的具体取值本申请不进行具体限定。
需要说明的是,在本申请的实施例中,终端在在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据之后,可以进一步根据灰度图和/或第一相位数据进行是否存在干扰的判断,即判断是否存在环境干扰和/或回波信号干扰。
进一步地,在本申请的实施例中,终端在根据所述灰度图判断是否存在干扰时,可以先计算所述灰度图对应的第一均值参数和第一波动参数;然后再根据所述第一均值参数和/或所述第一波动参数判断是否存在干扰。
具体地,在本申请的实施例中,第一均值参数可以表征灰度图的整体灰度水平,具体可以为灰度图中的至少一个区域中的像素对应的至少一个灰度均值,第一波动参数可以表征灰度图的灰度变化情况,具体可以为灰度图对应的标准差。
可选地,在本申请的实施例中,终端在根据所述第一均值参数判断是否存在干扰时,可以将第一均值参数与第一灰度阈值进行比较,如果第一均值参数大于第一灰度阈值,便可以认为存在干扰。
可选地,在本申请的实施例中,终端在根据所述第一波动参数判断是否存在干扰时,可以将第一波动参数与第一噪声阈值进行比较,如果第一波动参数大于第一噪声阈值,便可以认为存在干扰。
可选地,在本申请的实施例中,终端在判断是否存在干扰时,可以将第一均值参数与第一灰度阈值进行比较,同时将第一波动参数与第一噪声阈值进行比较,如果第一均值参数大于第一灰度阈值,且第一波动参数大于第一噪声阈值,便可以认为存在干扰。
也就是说,在本申请的实施例中,终端在根据第一均值参数和/或第一波动参数判断是否存在干扰时,既可以基于第一均值参数或第一波动参数来进行是否存在干扰的判断,也可以结合第一均值参数和第一波动参数来进行是否存在干扰的判断。
进一步地,在本申请的实施例中,终端在根据所述第一相位数据判断是否存在干扰时,可以先根据所述第一相位数据生成第一幅度图;然后确定所述第一幅度图对应的第二均值参数和第二波动参数;最终便可以根据所述第二均值参数和/或所述第二波动参数判断是否存在干扰。
可以理解的是,在本申请的实施例中,第一幅度图可以对信号的强度进行表征,第一幅度图即可以作为背景图的强度图。
具体地,在本申请的实施例中,第二均值参数可以表征至少一帧第一幅度图的平均水平,具体可以为至少一帧第一幅度图的均值,第二波动参数可以表征至少一帧第一幅度图的变化情况,具体可以为至少一帧第一幅度图对应的标准差。
可选地,在本申请的实施例中,终端在根据所述第二均值参数和/或所述第二波动参数判断是否存在干扰时,可以将第二均值参数与深度阈值进行比较,和/或,将第二波动参数与第二噪声阈值进行比较,如果满足以下两个条件中的至少一个条件,则可以认为存在干扰:第二均值参数大于深度阈值,和/或,将第二波动参数大于第二噪声阈值。
可以理解的是,在本申请的实施例中,终端可以选择基于采集的灰度图判断是否存在干扰,也可以选择基于采集的第一相位数据判断是否存在干扰,还可以结合灰度图和第一相位数据判断是否存在干扰。
也就是说,在本申请的实施例中,终端可以在第一状态下,利用发射光源不发光的条件,通过TOF传感器进行灰度图和/或第一相位数据,从而可以根据灰度图和/或第一相位数据进行是否存在干扰的判断。其中,基于第一相位数据可以进一步获得对应的第一幅度图,从而可以利用第一状态下采集的灰度图和/或第一幅度图,判断是否存在干扰。
需要说明的是,在本申请的实施例中,为了防止误判断,终端可以通过上述方法,根据灰度图和/或第一相位数据多次进行是否存在干扰的判断,并结合多个判断结果最终确定是否存在干扰。
步骤102、若判定存在干扰,则开启抗干扰模式,并通过TOF传感器基于抗干扰模式获取第一深度图;其中,抗干扰模式为第一状态和第二状态周期性切换的模式;第二状态为开启发射光源的状态。
在本申请的实施例中,终端在在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰之后,如果判定存在干扰,那么终端可以选择开启抗干扰模式,然后通过TOF传感器基于该抗干扰模式在即第一深度图。
需要说明的是,在本申请的实施例中,抗干扰模式用于对发射光源进行周期性开关控制,以达到消除环境干扰的目的。
具体地,在本申请的实施例中,抗干扰模式可以为第一状态和第二状态周期性切换的工作模式,其中,第一状态表征发射光源关闭,第二状态为开启发射光源的状态,即表征发射光源开启。
也就是说,在本申请中,基于抗干扰模式,终端可以控制发射光源周期性的关闭和开启,同时在抗干扰模式下,终端通过TOF传感器进行相位数据的采集,从而可以获得发射光源关闭时所对应的相位数据,以及发射光源开启时多对应的相位数据,进而可以基于不同状态对应的不同相位数据进行干扰的消除处理。
进一步地,在本申请的实施例中,终端在通过所述TOF传感器基于所述抗干扰模式获取第一深度图时,可以在所述第一状态下,控制所述TOF传感器按照第二采集帧率采集第二相位数据;同时可以在所述第二状态下,控制所述TOF传感器按照所述第二采集帧率采集第三相位数据;最后便可以根据所述第二相位数据和所述第三相位数据生成所述第一深度图。
可以理解的是,在本申请的实施例中,终端可以预先对第二采集帧率进行设置和存储,其中,第一采集帧率与第二采集帧率可以相同,也可以不同,对于第二采集帧率的具体取值本申请不进行具体限定。
需要说明的是,在本申请的实施例中,在第一状态下,即发射光源关闭的状态下,终端中的TOF传感器可以按照第二采集帧率进行采集处理,获得第二相位数据。其中,由于第二相位数据是在第一状态下采集的,因此可以认为第二相位数据可以对环境中的干扰信号进行表征。
可以理解的是,在本申请中,发射光源不工作时,TOF传感器在按照第二采集帧率进行相位数据采集时,每进行一次采集处理,便可以获得一个第二相位数据。
需要说明的是,在本申请的实施例中,在第二状态下,即发射光源开启的状态下,终端中的TOF传感器可以按照第二采集帧率进行采集处理,获得第三相位数据。其中,由于第三相位数据是在第二状态下采集的,因此可以认为第三相位数据可以对环境中的干扰信号以及发射光源发射的调制信号进行表征。
可以理解的是,在本申请中,发射光源工作时,TOF传感器在按照第二采集帧率进行相位数据采集时,每进行一次采集处理,便可以获得一个第三相位数据。
进一步地,在本申请的实施例中,正是由于第二相位数据可以对环境中的干扰信号进行表征,第三相位数据可以对环境中的干扰信号以及发射光源发射的调制信号进行表征。因此终端可以根据所述第二相位数据和所述第三相位数据进行干扰的消除处理,从而生成消除干扰后的第一深度图。
可以理解的是,在本申请的实施例中,第一深度图可以为基于抗干扰模式完成干扰消除处理后输出的深度图。
具体地,在本申请的实施例中,终端在根据所述第二相位数据和所述第三相位数据生成所述第一深度图时,可以先计算所述第三相位数据与所述第二相位数据之间的相位差值数据;然后再基于所述相位差值数据生成所述第一深度图像。
可以理解的是,在本申请中,除去第三相位数据中的、与干扰信号对应的部分数据,便可以实现干扰的消除,因此,终端可以对第三相位数据与第二相位数据进行差值运算,获得两者之间的相位差值数据,该相位差值数据即为消除干扰后的、与发射光源发射的调制信号相对应的另一部分数据。
可以理解的是,在本申请中,终端在剔除第三相位数据中的、干扰信号对应的部分数据,获得消除干扰后的相位差值数据之后,便可以利用相位差值数据生成第一深度图,相应地,第一深度图也为消除干扰后的深度图。
进一步地,在本申请的实施例中,终端还可以基于所述抗干扰模式,通过所述TOF传感器采集至少两个调制频率对应的至少两个深度图;然后对所述至少两个深度图进行融合处理,生成所述第一深度图。
也就是说,在本申请的实施例中,基于所述抗干扰模式,终端在通过所述TOF传感器获取第一深度图时,可以控制发射光源在不同的调制频率下发射调制信号,从而可以按照上述第一深度图的获取方式采集不同调制频率对应的不同的第二相位数据(对应于第一状态)与第三相位数据(对应于第二状态),进而获得不同调制频率对应的不同深度图;最终可以对消除干扰后的、不同调制频率对应的不同深度图进行融合处理,从而得到多频工作模式下的、消除干扰后的第一深度图。
示例性的,在本申请中,终端控制发射光源在调制频率1下发射调制信号(第二状态),TOF传感器采集获得i个第三相位数据,表示为P3[i],其中,i为大于等于1的整数;接着,终端可以控制发射光源不工作(第一状态),TOF传感器采集获得i个第二相位数据,表示为P2[i];然后,终端可以通过以下公式计算获得消除干扰后的相位差值数据P[i]:
P[i]=P3[i]-P2[i] (1)
进而可以利用相位差值数据P[i]计算获得深度数据,从而可以得到消除环境干扰的深度测量数据,即调制频率1对应的、去除干扰的深度图。
进一步地,在本申请的实施例中,终端可以按照上述方法,依次控制发射光源在调制频率2、调制频率3下发射调制信号,最终便可以分别获得调制频率2、调制频率3对应的、去除干扰的深度图,从而便可以通过对多个调制频率对应的深度图进行融合处理,获得最终的第一深度图。
需要说明的是,在本申请的实施例中,TOF传感器采集P3[i]的采集帧率与采集P2[i]的采集帧率是相同的。其中,TOF传感器可以通过第一状态与第二状态的不断切换,依次轮流进行P3[i]和P2[i]的采集;也可以先在第一状态下进行P2[i]的采集,然后切换至第二状态进行P3[i]的采集;还可以先在第二状态进行P3[i]的采集,然后切换至第一状态下进行P2[i]的采集。
也就是说,在本申请中,对于工作在多个调制频率下的终端,可以对每个调制频率分别执行上述的处理,再对处理后的各频率下深度图进行融合,最终得到多频工作下的深度图。
由此可见,本申请提出的测距方法,终端可以对发射光源进行周期性开关控制,在发射光源工作时采集叠场景反射和环境干扰的综合接收信号S1,在发射光源不工作时采集仅包含环境干扰的接收信号S2,然后可以利用差分方法(S1-S2)得到消除环境干扰后的深度图。
步骤103、若第一深度图中存在异常像素点,则对异常像素点进行修复处理,获得第一深度图对应的修复后深度图。
在本申请的实施例中,如果判定存在干扰,则开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图之后,如果第一深度图中存在异常像素点,那么终端可以选择对异常像素点进行修复处理,进而可以获得第一深度图对应的修复后深度图。
需要说明的是,在本申请的实施例中,终端在消除了环境中的大部分干扰,获得第一深度图之后,对于程度较弱的环境干扰,利用上述步骤102所提出的干扰消除可能无法有效去除,第一深度图中可能会存在部分异常像素点,因此终端可以进一步对第一深度图中的异常像素点进行修复处理,从而可以获得消除了微弱干扰的、精度更高的修复后深度图。
进一步地,在本申请的实施例中,终端在对所述异常像素点进行修复处理时,终端可以在同一帧第一深度图中确定所述异常像素点对应的非异常像素点,然后可以根据所述非异常像素点的深度值对所述异常像素点进行空域修复处理。
可选地,在本申请的实施例中,终端在根据所述非异常像素点的深度值对所述异常像素点进行空域修复处理时,可以先确定异常像素点对应的多个非异常像素点的多个深度值,然后使用多个深度值的均值、中值、最小值、最大值中的任意一个对该异常像素点进行修复处理。
进一步地,在本申请的实施例中,终端在对所述异常像素点进行修复处理时,终端可以在连续多帧第一深度图中确定所述异常像素点对应的非异常像素点,然后可以根据所述非异常像素点的深度值对所述异常像素点进行空域修复处理。
可选地,在本申请的实施例中,终端在根据所述非异常像素点的深度值对所述异常像素点进行空域修复处理时,可以先确定异常像素点在连续多帧第一深度图中所对应的多个非异常像素点的多个深度值,然后使用多个深度值的均值、中值、最小值、最大值中的任意一个对该异常像素点进行修复处理。
需要说明的是,在本申请的实施例中,在进行异常点的修复处理时,终端既可以采用空域修复的方式,即使用邻域非异常像素点的深度值对异常像素点进行修复;也可以采用时域修复的方式,即使用异常像素点在时域上的对应的非异常像素点的深度值对其进行修复。
可以理解的是,在本申请中,在进行异常点的修复处理时,终端还可以采用空域修复与时域修复相结合的方式进行异常像素点的修复。具体地,终端可以先采用空域修复进行异常像素点的修复,然后再采用时域修复进行异常像素点的修复;或者,终端可以先采用时域修复进行异常像素点的修复,然后再采用空域修复进行异常像素点的修复。
由此可见,在本申请的实施例中,对于抗干扰模式无法消除的微弱干扰,终端可以选择在消除大部分环境干扰获得第一深度图像之后,通过时域修复和/或空域修复的方式对第一深度图中存在的异常像素点进行修复处理,最终获得测距精度更高的修复后深度图。
步骤104、根据修复后深度图确定距离信息。
在本申请的实施例中,如果第一深度图中存在异常像素点,则对异常像素点进行修复处理,获得第一深度图对应的修复后深度图之后,终端可以根据修复后深度图确定距离信息,从而完成测距处理。
可以理解的是,在本申请的实施例中,终端先利用上述步骤102的方法,对环境中的大部分干扰进行消除处理,获得第一深度图像;再利用上述步骤103的方法修复第一深度图像中的异常像素点,以对环境中的微弱干扰再次进行消除处理,最终便可以获得精度较高的修复后深度图,从而可以通过精度较高的修复后深度图获得准确性更高的距离信息。
本申请实施例提供了一种测距方法,在第一状态下通过TOF传感器采集灰度图和/或第一相位数据,并根据灰度图和/或第一相位数据判断是否存在干扰;其中,第一状态为关闭发射光源的状态;若判定存在干扰,则开启抗干扰模式,并通过TOF传感器基于抗干扰模式获取第一深度图;其中,抗干扰模式为第一状态和第二状态周期性切换的模式;第二状态为开启发射光源的状态;若第一深度图中存在异常像素点,则对异常像素点进行修复处理,获得第一深度图对应的修复后深度图;根据修复后深度图确定距离信息。由此可见,在本申请的实施例中,在开启抗干扰模式之后,终端可以对发射光源进行周期性开关控制,从而利用在发射光源工作时和关闭时所采集到的不同相位数据进行干扰消除处理,还可以进一步对消除干扰后的深度图进行异常像素点的修复处理,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
基于上述实施例,本申请的再一实施例提出了一种测距方法,图2为本申请实施例提出的测距方法的实现流程示意图二,如图2所示,进一步地,在本申请的实施例中,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,即步骤103之前,终端进行测距的方法还可以包括以下步骤:
步骤105、计算一帧第一深度图中的每一个像素点对应的深度值和强度参数。
步骤106、根据每一个像素点对应的深度值和强度参数判断一帧第一深度图中是否存在异常像素点。
在本申请的实施例中,如果判定存在干扰,那么在开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图之后,终端可以先判断第一深度图中是否存在所述异常像素点。
进一步地,在本申请的实施例中,终端可以选择使用单帧深度图进行是否存在所述异常像素点的判断。具体地,在判断第一深度图中是否存在所述异常像素点时,终端可以先计算一帧第一深度图中的每一个像素点对应的深度值和强度参数;然后再根据所述每一个像素点对应的深度值和所述强度参数判断所述一帧第一深度图中是否存在所述异常像素点。
需要说明的是,在本申请的实施例中,强度参数可以是幅度值或者强度值。相应地,终端可以对一帧第一深度图中的每一个像素点对应的幅度值或者强度值进行计算。
可选地,在本申请的实施例中,终端在确定出单帧第一深度图中的每一个像素点对应的深度值和强度参数之后,在对其中的一个像素点进行是否异常的判断时,可以将该一个像素点的深度值和强度参数与该一个像素点相邻的邻域像素点的深度值和强度参数进行比较,从而根据比较结果确定该一个像素点是否为异常像素点。
示例性的,在本申请中,如果比较结果为该一个像素点的深度值超出其邻域像素点的深度值一定阈值范围,且该一个像素点的强度参数与其邻域像素点的强度参数之间的差异较小,则可以确定该一个像素点为异常像素点。例如,像素点1对应的深度值和幅度值(或强度值)分别为A1和B1,其相邻的邻域像素点2的深度值和幅度值(或强度值)分别为A2和B2,相邻的邻域像素点3的深度值和幅度值(或强度值)分别为A3和B3,相邻的邻域像素点4的深度值和幅度值(或强度值)分别为A4和B4,如果A1与A2、A3、A4的差值均大于一个阈值,且B1与B2、B3、B4的差值均小于一个阈值,那么便可以将该像素点1确定为第一深度图中的异常像素点。
也就是说,在本申请中,为了提高异常像素点检测的准确性,终端可以选择将一个像素点的深度值和强度参数与相邻的k个邻域像素点的k个深度值和k个强度参数进行比较,并根据比较结果确定该一个像素点是否为异常像素点。其中,k为大于1的整数。
图3为本申请实施例提出的测距方法的实现流程示意图三,如图3所示,进一步地,在本申请的实施例中,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,即步骤103之前,终端进行测距的方法还可以包括以下步骤:
步骤107、计算连续多帧第一深度图中的同一像素点对应的深度波动参数和强度波动参数。
步骤108、根据同一像素点对应的深度波动参数和强度波动参数判断多帧第一深度图中是否存在异常像素点。
在本申请的实施例中,如果判定存在干扰,那么在开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图之后,终端可以先判断第一深度图中是否存在所述异常像素点。
进一步地,在本申请的实施例中,终端可以选择使用连续多帧深度图进行是否存在所述异常像素点的判断。具体地,在判断第一深度图中是否存在所述异常像素点时,终端可以先计算连续多帧第一深度图中的同一像素点对应的深度波动参数和强度波动参数;然后再根据所述同一像素点对应的深度波动参数和所述强度波动参数判断所述多帧第一深度图中是否存在所述异常像素点。
需要说明的是,在本申请的实施例中,强度波动参数可以表征同一个像素点在连续多帧第一深度图中的幅度值的波动情况(幅度值波动参数),或者强度值的波动情况(强度值波动参数)。
可选地,在本申请的实施例中,终端在确定出连续多帧第一深度图中的同一像素点对应的深度波动参数和强度波动参数之后,可以将深度波动参数和强度波动参数分别与深度波动阈值和强度波动阈值进行比较,从而根据比较结果确定该同一像素点是否为异常像素点。
示例性的,在本申请中,连续多帧第一深度图中的同一个像素点1对应的深度波动参数和强度波动参数分别为C1和D1,如果C1大于一个深度波动阈值C0,且D1小于一个强度波动阈值D0,那么可以认为该像素点1为异常像素点。
需要说明的是,在本申请的实施例中,在进行是否存在所述异常像素点的判断时,既可以采用单帧深度图进行异常像素点的确定,例如,可以利用邻域的深度值和强度参数(幅度值或强度值)进行异常像素点的确认,其中,判断条件可以包括但不限于:像素点的深度值超过其邻域深度图测量值范围一定阈值,且强度参数差异不大等;也可以采用连续多帧深度图进行异常像素点的确定,例如,可以利用像素点在多帧深度图内的距离值波动情况和强度值波动情况(或幅度值波动情况)进行异常像素点的确认,其中,判断条件包括但不限于:像素点的深度值波动参数在时域上变化较大,且强度值波动参数(或幅度值波动参数)在时域上变化较小等。
可以理解的是,在本申请中,在进行是否存在所述异常像素点的判断时,终端还可以采用单帧深度图与连续多帧深度图相结合的方式进行异常像素点的确定。具体地,终端可以先采用单帧深度图进行异常像素点的确定,然后再采用连续多帧深度图进行异常像素点的确定;或者,终端可以先采用连续多帧深度图进行异常像素点的确定,然后再采用单帧深度图进行异常像素点的确定。
由此可见,在本申请中,当环境干扰相对较弱时,终端利用上述步骤102所提出的干扰消除的方法消除了环境中的大部分干扰之后,还可能存在部分微小的干扰,即第一深度图中会存在部分异常像素点,为了进一步提高测距精度,终端还可以再对第一深度图进行是否存在所述异常像素点的判断,从而可以在确定出异常像素点之后,通过对异常像素点进行修复处理来进一步消除部分微小的干扰。
进一步地,在本申请的实施例中,图4为本申请实施例提出的测距方法的实现流程示意图四,如图4所示,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之后,即步骤102之后,终端进行测距的方法还可以包括以下步骤:
步骤109、若第一深度图中不存在异常像素点,则根据第一深度图确定距离信息。
在本申请的实施例中,如果判定存在干扰,则开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图之后,如果第一深度图中不存在异常像素点,那么终端可以直接利用第一深度图进行距离信息的确定。
可以理解的是,在本申请的实施例中,终端先利用上述步骤102的方法,对环境中的大部分干扰进行消除处理,获得第一深度图像;如果第一深度图中不存在异常像素点,即环江中不存在微弱干扰,那么终端便不需要再执行上述步骤103提出的异常像素点的修复流程,而是直接根据第一深度图确定距离信息,以完成测距处理。
进一步地,在本申请的实施例中,图5为本申请实施例提出的测距方法的实现流程示意图五,如图5所示,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,即步骤103之前,终端进行测距处理的方法还可以包括以下步骤:
步骤110、在第二状态下通过TOF传感器采集第四相位数据。
步骤111、根据第四相位数据生成第一深度图。
在本申请的实施例中,在第二状态下,终端还可以直接通过所述TOF传感器采集第四相位数据,然后根据所述第四相位数据生成所述第一深度图。
可以理解的是,在本申请的实施例中,终端也可以选择直接在正常的工作模式下,即在常规的发射光源开启的第二状态下,执行常规的相位数据的采集。具体地,终端可以控制发射光源在至少两个调制频率下发射调制信号,然后通过所述TOF传感器采集至少两个调制频率对应的至少两个第四相位数据,进而可以基于至少两个第四相位数据获得至少两个调制频率对应的至少两个深度图,接着可以对至少两个深度图进行融合处理,从而得到多频工作模式下的第一深度图。
需要说明的是,在本申请中,跳过上述步骤101的是否存在干扰的判断流程和上述步骤102的抗干扰模式下的深度图的获取流程,终端在常规工作模式下获取的第一深度图是没有经过消除干扰处理的深度图。
可以理解的是,在本申请的实施例中,虽然终端在常规工作模式下获取的第一深度图是没有经过消除干扰处理的深度图。然而由于终端可以采用上述步骤103的异常像素点的修复处理流程进行干扰的消除,因此可以保证最终获得的修复后图像仍然具有较高的精度。
进一步地,在本申请的实施例中,图6为本申请实施例提出的测距方法的实现流程示意图六,如图6所示,所述在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰之后,即步骤101之后,且所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,即步骤103之前,终端进行测距处理的方法还可以包括以下步骤:
步骤112、若判断不存在干扰,则在第二状态下通过TOF传感器采集第五相位数据。
步骤113、根据第五相位数据生成第一深度图。
在本申请的实施例中,终端在在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰之后,如果判定不存在干扰,那么终端便可以第二状态下通过所述TOF传感器采集第五相位数据,然后可以根据所述第五相位数据生成所述第一深度图。
可以理解的是,在本申请的实施例中,如果判定不存在干扰,那么终端可以直接在正常的工作模式下,即在常规的发射光源开启的第二状态下,执行常规的相位数据的采集。具体地,终端可以控制发射光源在至少两个调制频率下发射调制信号,然后通过所述TOF传感器采集至少两个调制频率对应的至少两个第五相位数据,进而可以基于至少两个第五相位数据获得至少两个调制频率对应的至少两个深度图,接着可以对至少两个深度图进行融合处理,从而得到多频工作模式下的第一深度图。
需要说明的是,在本申请中,如果是由于环境干扰相对较弱所导致上述步骤101的是否存在干扰的判断流程失效,即判定不存在干扰,那么跳过上述步骤102的抗干扰模式下的深度图的获取流程,终端在常规工作模式下获取的第一深度图是没有经过消除干扰处理的深度图。然而由于终端可以采用上述步骤103的异常像素点的修复处理流程进行干扰的消除,因此可以保证最终获得的修复后图像仍然具有较高的精度。
本申请实施例提供了一种测距方法,在开启抗干扰模式之后,终端可以对发射光源进行周期性开关控制,从而利用在发射光源工作时和关闭时所采集到的不同相位数据进行干扰消除处理,还可以进一步对消除干扰后的深度图进行异常像素点的修复处理,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
基于上述实施例,本申请的另一实施例提出一种测距方法,一方面,终端可以对发射光源进行周期性开关控制,在发射光源工作时采集叠场景反射和环境干扰的综合接收信号S1,在发射光源不工作时采集仅包含环境干扰的接收信号S2,然后可以利用差分方法(S1-S2)得到消除环境干扰后的深度图。再一方面,终端可以利用发射光源不发光条件下(第一状态下)采集的第二幅度图和/或采集的灰度图,判断是否存在环境的干扰,进而确定是否开启抗干扰模式以进行干扰的消除处理。又一方面,当环境干扰在单帧深度图上表现为一些孤立的异常像素点时,终端可以先利用邻域的深度测量值和强度值进行异常像素点的确认,再利用邻域非异常像素点的深度测量值对异常像素点进行修复。另一方面,当环境干扰在时间在存在一定的变化时,终端可以利用异常像素点在多帧深度图内的距离测量值和强度值的波动情况,进行环境干扰的判断,再利用空域(该异常像素点的邻域像素点)和/或时域(该异常像素点的多帧测量值)的方法对受环境干扰的异常像素点进行修复。
由此可见,在本申请中,终端(如TOF相机)可以在不增加硬件结构和成本的前提下,仅通过软件控制发射光源的工作状态来进行抗干扰模式下的深度图像的采集,同时结合图像和视频的信号处理技术,大幅度消除环境干扰对测距精度的影响,进一步提高深度图的修复精度和可靠性。
示例性的,图7为本申请实施例提出的测距方法的实现流程示意图七,如图7所示,终端进行测距的方法可以包括以下步骤:
步骤201、在发射光源关闭时,采集灰度图和/或第一相位数据。
在本申请的实施例中,终端可以先控制TOF传感器在射光源不发光时采集灰度图和/或第一相位数据。其中,终端可以控制发射光源不发光,并控制TOF传感器按照预设帧率进行至少一次采集处理,获得至少一帧灰度图。终端可以控制发射光源不发光,并控制TOF传感器按照第一采集帧率进行至少一次采集处理,获得至少一个第一相位数据。
需要说明的是,在本申请的实施例中,终端可以预先对预设帧率和第一采集帧率进行设置,其中,预设帧率和第一采集帧率的具体取值可以相同,也可以不同。
可选地,在本申请中,终端可以选择按照m1(帧/秒)的预设帧率采集灰度图,或者,选择按照m2(帧/秒)的第一采集帧率采集第一相位数据,其中,m1、m2均大于0。
可选地,在本申请中,终端可以选择按照m3(帧/秒)的预设帧率采集灰度图,同时,按照m3(帧/秒)的第一采集帧率采集第一相位数据,其中,m3大于0。
步骤202、根据灰度图和/或第一相位数据判断是否存在干扰,如果存在,则执行步骤203,否则执行步骤204。
在本申请的实施例中,在判断是否存在干扰时,终端可以选择基于采集的灰度图判断是否存在干扰,也可以选择基于采集的第一相位数据判断是否存在干扰,还可以结合灰度图和第一相位数据判断是否存在干扰。
步骤203、开启抗干扰模式。
在本申请的实施例中,抗干扰模式用于对发射光源进行周期性开关控制,以达到消除环境干扰的目的。
步骤204、在发射光源开启时,采集第五相位数据。
步骤205、根据第五相位数据获取第一深度图。
在本申请的实施例中,如果果判定不存在干扰,那么终端便可以在常规的发射光源开启的状态下,执行常规的相位数据的采集,获得第五相位数据,然后可以根据所述第五相位数据生成所述第一深度图。
步骤206、在发射光源关闭时,采集第二相位数据;在发射光源开启时,采集第三相位数据。
步骤207、计算第三相位数据与第二相位数据之间的相位差值数据。
步骤208、根据相位差值数据获取第一深度图像。
在本申请的实施例中,基于所述抗干扰模式,终端可以对发射光源进行周期性开关控制,在发射光源工作时采集第三相位数据,在发射光源不工作时采集第二相位数据,然后可以利用差分方法计算第三相位数据与第二相位数据之间的相位差值数据,从而可以基于相位差值数据得到消除环境干扰后的第一深度图像。
步骤209、判断第一深度图像中是否存在异常像素点,如果是,则执行步骤210,否则执行步骤212。
在本申请的实施例中,在进行是否存在所述异常像素点的判断时,终端,既可以采用单帧深度图进行异常像素点的确定,也可以采用连续多帧深度图进行异常像素点的确定,还可以采用单帧深度图与连续多帧深度图相结合的方式进行异常像素点的确定。
步骤210、对异常像素点进行修复处理,获得修复后深度图。
在本申请的实施例中,在进行异常点的修复处理时,终端既可以采用空域修复的方式,即使用邻域非异常像素点的深度值对异常像素点进行修复;也可以采用时域修复的方式,即使用异常像素点在时域上的对应的非异常像素点的深度值对其进行修复;还可以采用空域修复与时域修复相结合的方式进行异常像素点的修复。
步骤211、根据修复后深度图确定距离信息。
步骤212、根据第一深度图确定距离信息。
在本申请的实施例中,如果第一深度图中不存在异常像素点,那么终端可以直接利用第一深度图进行距离信息的确定。
示例性的,图8为本申请实施例提出的测距方法的实现流程示意图八,如图8所示,终端进行测距的方法可以还包括以下步骤:
步骤213、在发射光源开启时,采集第四相位数据。
步骤214、根据第四相位数据生成第一深度图。
在本申请的实施例中,终端也可以选择直接在正常的工作模式下,即在常规的发射光源开启的状态下,执行常规的相位数据的采集,获得第四相位数据,进而可以基于第四相位数据获得第一深度图。
步骤209、判断第一深度图像中是否存在异常像素点,如果是,则执行步骤210,否则执行步骤212。
步骤210、对异常像素点进行修复处理,获得修复后深度图。
步骤211、根据修复后深度图确定距离信息。
步骤212、根据第一深度图确定距离信息。
本申请实施例提供了一种测距方法,在开启抗干扰模式之后,终端可以对发射光源进行周期性开关控制,从而利用在发射光源工作时和关闭时所采集到的不同相位数据进行干扰消除处理,还可以进一步对消除干扰后的深度图进行异常像素点的修复处理,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
基于上述实施例,在本申请的另一实施例中,图9为本申请实施例提出的终端的组成结构示意图一,如图9所示,本申请实施例提出的终端10可以包括采集单元11,判断单元12,开启单元13,获取单元14,修复单元15,确定单元16,所述采集单元11,用于在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据;其中,所述第一状态为关闭所述发射光源的状态;
所述判断单元12,用于根据所述灰度图和/或所述第一相位数据判断是否存在干扰;
所述开启单元13,用于若判定存在干扰,则开启抗干扰模式;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;
所述获取单元14,用于通过所述TOF传感器基于所述抗干扰模式获取第一深度图;
所述修复单元15,用于若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;
所述确定单元16,用于根据所述修复后深度图确定距离信息。
在本申请的实施例中,进一步地,图10为本申请实施例提出的终端的组成结构示意图二,如图10所示,本申请实施例提出的终端10还可以包括处理器17、存储有处理器17可执行指令的存储器18,进一步地,终端10还可以包括通信接口19,和用于连接处理器17、存储器18以及通信接口19的总线110、TOF传感器111以及发射光源112。
在本申请的实施例中,上述处理器17可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field ProgRAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。终端10还可以包括存储器18,该存储器18可以与处理器17连接,其中,存储器18用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器18可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。
在本申请的实施例中,总线110用于连接通信接口19、处理器17以及存储器18以及这些器件之间的相互通信。
在本申请的实施例中,存储器18,用于存储指令和数据。
进一步地,在本申请的实施例中,上述处理器17,用于在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰;其中,所述第一状态为关闭所述发射光源的状态;若判定存在干扰,则开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;根据所述修复后深度图确定距离信息。
在实际应用中,上述存储器18可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器17提供指令和数据。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种终端,在第一状态下通过TOF传感器采集灰度图和/或第一相位数据,并根据灰度图和/或第一相位数据判断是否存在干扰;其中,第一状态为关闭发射光源的状态;若判定存在干扰,则开启抗干扰模式,并通过TOF传感器基于抗干扰模式获取第一深度图;其中,抗干扰模式为第一状态和第二状态周期性切换的模式;第二状态为开启发射光源的状态;若第一深度图中存在异常像素点,则对异常像素点进行修复处理,获得第一深度图对应的修复后深度图;根据修复后深度图确定距离信息。由此可见,在本申请的实施例中,在开启抗干扰模式之后,终端可以对发射光源进行周期性开关控制,从而利用在发射光源工作时和关闭时所采集到的不同相位数据进行干扰消除处理,还可以进一步对消除干扰后的深度图进行异常像素点的修复处理,能够在最大程度上消除环境干扰对测距精度的影响,获得精度更高的深度图,进而可以提高测距处理的准确性和可靠性。
本申请实施例提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上所述的测距方法。
具体来讲,本实施例中的一种测距方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种测距方法对应的程序指令被一电子设备读取或被执行时,包括如下步骤:
在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰;其中,所述第一状态为关闭所述发射光源的状态;
若判定存在干扰,则开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;
若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;
根据所述修复后深度图确定距离信息。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (16)
1.一种测距方法,其特征在于,所述方法应用于配置TOF传感器和发射光源的终端,所述方法包括:
在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰;其中,所述第一状态为关闭所述发射光源的状态;
若判定存在干扰,则开启抗干扰模式,并通过所述TOF传感器基于所述抗干扰模式获取第一深度图;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;
若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;
根据所述修复后深度图确定距离信息。
2.根据权利要求1所述的方法,其特征在于,所述在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,包括:
在所述第一状态下,控制所述TOF传感器按照预设帧率采集所述灰度图;和/或;
在所述第一状态下,控制所述TOF传感器按照第一采集帧率采集所述第一相位数据。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述灰度图判断是否存在干扰,包括:
计算所述灰度图对应的第一均值参数和第一波动参数;
根据所述第一均值参数和/或所述第一波动参数判断是否存在干扰。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述第一相位数据判断是否存在干扰,包括:
根据所述第一相位数据生成第一幅度图;
确定所述第一幅度图对应的第二均值参数和第二波动参数;
根据所述第二均值参数和/或所述第二波动参数判断是否存在干扰。
5.根据权利要求1所述的方法,其特征在于,所述通过所述TOF传感器基于所述抗干扰模式获取第一深度图,包括:
在所述第一状态下,控制所述TOF传感器按照第二采集帧率采集第二相位数据;
在所述第二状态下,控制所述TOF传感器按照所述第二采集帧率采集第三相位数据;
根据所述第二相位数据和所述第三相位数据生成所述第一深度图。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第二相位数据和所述第三相位数据生成所述第一深度图,包括:
计算所述第三相位数据与所述第二相位数据之间的相位差值数据;
基于所述相位差值数据生成所述第一深度图像。
7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:
基于所述抗干扰模式,通过所述TOF传感器采集至少两个调制频率对应的至少两个深度图;
对所述至少两个深度图进行融合处理,生成所述第一深度图。
8.根据权利要求1所述的方法,其特征在于,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,所述方法还包括:
计算一帧第一深度图中的每一个像素点对应的深度值和强度参数;
根据所述每一个像素点对应的深度值和所述强度参数判断所述一帧第一深度图中是否存在所述异常像素点。
9.根据权利要求1所述的方法,其特征在于,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,所述方法还包括:
计算连续多帧第一深度图中的同一像素点对应的深度波动参数和强度波动参数;
根据所述同一像素点对应的深度波动参数和所述强度波动参数判断所述多帧第一深度图中是否存在所述异常像素点。
10.根据权利要求1所述的方法,其特征在于,所述对所述异常像素点进行修复处理,包括:
在同一帧第一深度图中确定所述异常像素点对应的非异常像素点,并根据所述非异常像素点的深度值对所述异常像素点进行空域修复处理;和/或;
在连续多帧第一深度图中确定所述异常像素点对应的非异常像素点,并根据所述非异常像素点的深度值对所述异常像素点进行空域修复处理。
11.根据权利要求8-10任一项所述的方法,其特征在于,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,所述方法还包括:
在所述第二状态下通过所述TOF传感器采集第四相位数据;
根据所述第四相位数据生成所述第一深度图。
12.根据权利要求8-10任一项所述的方法,其特征在于,所述在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据,并根据所述灰度图和/或所述第一相位数据判断是否存在干扰之后,且所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之前,所述方法还包括:
若判断不存在干扰,则在所述第二状态下通过所述TOF传感器采集第五相位数据;
根据所述第五相位数据生成所述第一深度图。
13.根据权利要求8或9所述的方法,其特征在于,所述若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图之后,所述方法还包括:
若所述第一深度图中不存在所述异常像素点,则根据所述第一深度图确定所述距离信息。
14.一种终端,其特征在于,所述终端配置TOF传感器和发射光源,包括:采集单元,判断单元,开启单元,获取单元,修复单元,确定单元,
所述采集单元,用于在第一状态下通过所述TOF传感器采集灰度图和/或第一相位数据;其中,所述第一状态为关闭所述发射光源的状态;
所述判断单元,用于根据所述灰度图和/或所述第一相位数据判断是否存在干扰;
所述开启单元,用于若判定存在干扰,则开启抗干扰模式;其中,所述抗干扰模式为所述第一状态和第二状态周期性切换的模式;所述第二状态为开启所述发射光源的状态;
所述获取单元,用于通过所述TOF传感器基于所述抗干扰模式获取第一深度图;
所述修复单元,用于若所述第一深度图中存在异常像素点,则对所述异常像素点进行修复处理,获得所述第一深度图对应的修复后深度图;
所述确定单元,用于根据所述修复后深度图确定距离信息。
15.一种终端,其特征在于,所述终端包括处理器、存储有所述处理器可执行指令的存储器、TOF传感器以及发射光源,当所述指令被所述处理器执行时,实现如权利要求1-13任一项所述的方法。
16.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时,实现如权利要求1-13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110772364.1A CN113219476B (zh) | 2021-07-08 | 2021-07-08 | 测距方法、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110772364.1A CN113219476B (zh) | 2021-07-08 | 2021-07-08 | 测距方法、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113219476A true CN113219476A (zh) | 2021-08-06 |
CN113219476B CN113219476B (zh) | 2021-09-28 |
Family
ID=77081216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110772364.1A Active CN113219476B (zh) | 2021-07-08 | 2021-07-08 | 测距方法、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113219476B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113727033A (zh) * | 2021-08-12 | 2021-11-30 | 荣耀终端有限公司 | 数据获取方法及装置 |
CN114881908A (zh) * | 2022-07-07 | 2022-08-09 | 武汉市聚芯微电子有限责任公司 | 一种异常像素识别方法、装置、设备以及计算机存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109709571A (zh) * | 2019-02-01 | 2019-05-03 | 武汉市聚芯微电子有限责任公司 | Tof测距方法和装置 |
US20190181171A1 (en) * | 2017-12-13 | 2019-06-13 | Magic Leap, Inc. | Global shutter pixel circuit and method for computer vision applications |
CN109991583A (zh) * | 2019-03-14 | 2019-07-09 | 深圳奥比中光科技有限公司 | 一种抗干扰的距离测量方法及深度相机 |
CN110072044A (zh) * | 2019-05-30 | 2019-07-30 | Oppo广东移动通信有限公司 | 深度相机的控制方法及控制装置、终端及可读存储介质 |
CN111580117A (zh) * | 2019-02-19 | 2020-08-25 | 光宝电子(广州)有限公司 | 飞时测距感测系统的控制方法 |
CN111830489A (zh) * | 2020-07-22 | 2020-10-27 | 浙江光珀智能科技有限公司 | 一种多台tof相机抗干扰方法及系统 |
CN112099036A (zh) * | 2020-11-10 | 2020-12-18 | 深圳市汇顶科技股份有限公司 | 距离测量方法以及电子设备 |
-
2021
- 2021-07-08 CN CN202110772364.1A patent/CN113219476B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190181171A1 (en) * | 2017-12-13 | 2019-06-13 | Magic Leap, Inc. | Global shutter pixel circuit and method for computer vision applications |
CN109709571A (zh) * | 2019-02-01 | 2019-05-03 | 武汉市聚芯微电子有限责任公司 | Tof测距方法和装置 |
CN111580117A (zh) * | 2019-02-19 | 2020-08-25 | 光宝电子(广州)有限公司 | 飞时测距感测系统的控制方法 |
CN109991583A (zh) * | 2019-03-14 | 2019-07-09 | 深圳奥比中光科技有限公司 | 一种抗干扰的距离测量方法及深度相机 |
CN110072044A (zh) * | 2019-05-30 | 2019-07-30 | Oppo广东移动通信有限公司 | 深度相机的控制方法及控制装置、终端及可读存储介质 |
CN111830489A (zh) * | 2020-07-22 | 2020-10-27 | 浙江光珀智能科技有限公司 | 一种多台tof相机抗干扰方法及系统 |
CN112099036A (zh) * | 2020-11-10 | 2020-12-18 | 深圳市汇顶科技股份有限公司 | 距离测量方法以及电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113727033A (zh) * | 2021-08-12 | 2021-11-30 | 荣耀终端有限公司 | 数据获取方法及装置 |
WO2023016005A1 (zh) * | 2021-08-12 | 2023-02-16 | 荣耀终端有限公司 | 数据获取方法及装置 |
CN114881908A (zh) * | 2022-07-07 | 2022-08-09 | 武汉市聚芯微电子有限责任公司 | 一种异常像素识别方法、装置、设备以及计算机存储介质 |
CN114881908B (zh) * | 2022-07-07 | 2022-09-30 | 武汉市聚芯微电子有限责任公司 | 一种异常像素识别方法、装置、设备以及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113219476B (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113219476B (zh) | 测距方法、终端及存储介质 | |
US20120287249A1 (en) | Method for obtaining depth information and apparatus using the same | |
US10841491B2 (en) | Reducing power consumption for time-of-flight depth imaging | |
CN108270970B (zh) | 一种图像采集控制方法及装置、图像采集系统 | |
CN112867939B (zh) | 光探测和测距的直流偏置和噪声功率的实时估计 | |
US10302424B2 (en) | Motion contrast depth scanning | |
EP3513552B1 (en) | Systems and methods for improved depth sensing | |
CN111123912B (zh) | 行车定位坐标的标定方法和装置 | |
CN105651203A (zh) | 一种自适应条纹亮度的高动态范围三维形貌测量方法 | |
CN107358175B (zh) | 虹膜采集方法及电子装置 | |
US10616561B2 (en) | Method and apparatus for generating a 3-D image | |
CN104281288A (zh) | 具有可调整追踪参数的导航装置 | |
CN103837828A (zh) | 一种摄像模组马达的行程曲线测试方法、系统及移动终端 | |
JP6876445B2 (ja) | データ圧縮装置、制御方法、プログラム及び記憶媒体 | |
CN109031333B (zh) | 距离测量方法和装置、存储介质、电子设备 | |
KR101790864B1 (ko) | 주파수 변조 방식의 라이다 센서 시스템에서 멀티패스에 의한 상호 간섭 제거 방법 및 그 장치 | |
CN113191270B (zh) | 抛洒事件检测方法、装置、电子设备及存储介质 | |
CN114697478A (zh) | 深度相机 | |
CN110189380B (zh) | 标定数据的优化方法、结构光模组及存储介质 | |
CN108919217B (zh) | 一种点云数据处理方法、装置、控制器及雷达传感器 | |
CN115512281A (zh) | 一种结合视频相机和激光雷达的入侵物监测方法和系统 | |
CN112950709B (zh) | 一种位姿预测方法、位姿预测装置及机器人 | |
CN111562588B (zh) | 用于检测大气颗粒的存在的方法、装置和计算机程序 | |
CN109831672B (zh) | 一种时空脉冲阵列的运动估计方法、电子设备及存储介质 | |
CN107454316B (zh) | 运动检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |