CN111580067B - 基于飞行时间测距的运算装置、感测装置及处理方法 - Google Patents

基于飞行时间测距的运算装置、感测装置及处理方法 Download PDF

Info

Publication number
CN111580067B
CN111580067B CN201910541119.2A CN201910541119A CN111580067B CN 111580067 B CN111580067 B CN 111580067B CN 201910541119 A CN201910541119 A CN 201910541119A CN 111580067 B CN111580067 B CN 111580067B
Authority
CN
China
Prior art keywords
intensity information
phases
pixels
difference
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910541119.2A
Other languages
English (en)
Other versions
CN111580067A (zh
Inventor
魏守德
陈韦志
吴峻豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lite On Technology Corp
Original Assignee
Lite On Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lite On Technology Corp filed Critical Lite On Technology Corp
Priority to US16/660,823 priority Critical patent/US11467258B2/en
Publication of CN111580067A publication Critical patent/CN111580067A/zh
Application granted granted Critical
Publication of CN111580067B publication Critical patent/CN111580067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

本发明提供一种基于飞行时间测距的运算装置、感测装置及处理方法。在这方法中,取得至少一像素所对应至少二个相位的强度信息,而这强度信息系利用那些相位在时间上延迟感测调制光所得。依据那些相位的强度信息之间的差异,决定是否放弃这像素所对应的那些相位的强度信息。藉此,可降低动态模糊对深度资讯估测的影响。

Description

基于飞行时间测距的运算装置、感测装置及处理方法
技术领域
本发明涉及一种光学量测技术,且特别是有关于一种基于飞行时间(Time ofFlight,ToF)测距的运算装置、感测装置及处理方法。
背景技术
随着科技的发展,光学三维量测技术已逐渐成熟,其中飞行时间测距是目前一种常见的主动式深度感测技术。ToF测距技术的基本原理是,调制光(例如,红外光、或雷射光等)经发射后遇到物体将被反射,而藉由被反射的调制光的反射时间差或相位差来换算被拍摄物体的距离,即可产生相对于物体的深度信息。
值得注意的是,请参照图1A的时序图,ToF测距技术在感测调制光的时间被称为曝光时间,其类似于相机快门时间。例如,逻辑1代表进行曝光/感测;逻辑0代表停止曝光。其中,当曝光时间增长时,接收到调制光的数据量亦会随着增加。然而,较长的曝光时间恐会容易造成动态模糊(motion blur)现象。例如,图1B所示是待测物体运动所造成的残影,且图1C所示是车灯移动所造成的光轨。然而,当利用ToF测距技术计算深度信息时,若遭遇到动态模糊情况,将导致深度距离不准确、或画面模糊的情况。因此,如何提供一种简便且能有效降低动态模糊影响的方法成为目前相关领域待努力的目标之一。
发明内容
本发明实施例是针对一种基于飞行时间测距的运算装置、感测装置及处理方法,其能有效避免动态模糊所造成无效的深度计算。
根据本发明的实施例,基于飞行时间测距的运算装置包括内存及处理器。内存记录至少一像素所对应至少二个相位的强度信息以及用于运算装置的处理方法所对应的程序代码,而这强度信息系利用那些相位在时间上延迟感测调制光所得。处理器耦接内存,并经配置用以执行程序代码,且这处理方法包括下列步骤:取得至少二个相位的强度信息。依据那些相位的强度信息之间的差异,决定是否放弃这像素所对应至少二个相位的强度信息。
根据本发明的实施例,基于飞行时间测距的感测装置包括调制光发射电路、调制光接收电路、内存以及处理器。调制光发射电路发射调制光。调制光接收电路利用至少二个相位在时间延迟上以接收这调制光。内存记录至少一个像素所对应至少二相位的强度信息以及用于感测装置的处理方法所对应的程序代码。处理器耦接调制光接收电路及内存,并经配置用以执行程序代码,且这处理方法包括下列步骤。取得至少二个相位的强度信息,而这强度信息系利用那些相位在时间上延迟感测调制光所得。依据那些相位的强度信息之间的差异,决定是否放弃这像素所对应的那些相位的强度信息。
根据本发明的实施例,基于飞行时间测距的处理方法包括下列步骤:取得至少一像素所对应至少二个相位的强度信息,而这强度信息系利用那些相位在时间上延迟感测调制光所得。依据那些相位的强度信息之间的差异,决定是否放弃这像素所对应的那些相位的强度信息。
基于上述,本发明实施例基于飞行时间测距的运算装置、感测装置及处理方法,依据两相位的强度信息之间的差异来评估是否发生动态模糊现象,并据以将有动态模糊现象的像素放弃,且重新拍摄或仅采用有效的像素。藉此,可有效降低动态模糊对于深度信息估测的影响。
附图说明
包含附图以便进一步理解本发明,且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例,并与描述一起用于解释本发明的原理。
图1A是一范例说明曝光时间与调制光讯号的时序图;
图1B及1C是二范例说明动态模糊现象;
图2是依据本发明一实施例的测距系统的示意图;
图3A是依据本发明一实施例的调制光接收电路的电路示意图;
图3B是依据图3A的实施例的讯号波形示意图;
图4是依据本发明一实施例基于飞行时间测距的处理方法的流程图;
图5A~5D是一范例说明本地(local)的动态模糊现象;
图6A~6D是一范例说明全局(global)的动态模糊现象;
图7是依据本发明第一实施例基于飞行时间测距的处理方法的流程图;
图8是依据本发明第二实施例基于飞行时间测距的处理方法的流程图;
图9是依据本发明第三实施例基于飞行时间测距的处理方法的流程图;
图10A及10B是一范例说明放弃无效数据的感测示意图。
附图标号说明
10:测距系统;
100:感测装置;
110:调制光发射电路;
120:调制光接收电路;
122:光电传感器;
130:处理器;
140:讯号处理电路;
150:内存;
160:运算装置;
170:姿态传感器;
CA、CB:电容;
QA、QB:改变的电荷量;
CS:控制讯号;
CSB:反相控制讯号;
DS:感测讯号;
EM:调制光;
MS:调制讯号;
NA、NB:节点;
REM:被反射的调制光;
SW1、SW2:开关;
VA、VB:电压讯号;
TA:目标物体;
S410~S430、S710~S790、S810~S890、S910~S950:步骤。
具体实施方式
现将详细地参考本发明的示范性实施例,示范性实施例的实例说明于附图中。只要有可能,相同组件符号在图式和描述中用来表示相同或相似部分。
图2是依据本发明一实施例的测距系统10的示意图。请参照图2,测距系统10包括基于ToF的感测装置100及目标物体TA。
感测装置100包括但不仅限于调制光发射电路110、调制光接收电路120、处理器130、讯号处理电路140、内存150与姿态传感器170。感测装置100可应用于诸如三维模型建模、物体辨识、车用辅助系统、定位、产线测试或误差校正等领域。感测装置100可能是独立装置,或经模块化而装载于其他装置,非用以限制本发明的范畴。
调制光发射电路110例如是雷射二极管或准直光产生装置,且调制光接收电路120例如是摄像装置或光源感应装置(至少包括光传感器、读取电路等)。讯号处理电路140耦接调制光发射电路110与调制光接收电路120。讯号处理电路140用以提供调制讯号MS给调制光发射电路110且提供控制讯号CS至调制光接收电路120。调制光发射电路110用以依据调制讯号MS发出调制光EM,而这调制光EM例如红外光、雷射光或其他波段的准直光。例如,调制讯号MS为脉冲讯号,且调制讯号MS上升的边缘对应调制光EM的触发时间。调制光EM遇到目标物体TA后将会被反射,而调制光接收电路120可接收被反射的调制光REM。调制光接收电路120依据控制讯号CS对被反射的调制光REM解调制,以产生感测讯号DS。
更具体而言,图3A是依据本发明一实施例的调制光接收电路120的电路示意图。请参照图3A,为了方便说明,本图式以单位/单一像素的电路为例。调制光接收电路120中对应于单位/单一像素的电路包括光电感应组件122、电容CA、电容CB、开关SW1与开关SW2。光电传感器122例如是光电二极管(photodiode)或具有类似用以感测被反射调制光REM的功能的其他光感测组件。光电传感器122一端接收共同参考电压(例如,接地GND),且其另一端耦接开关SW1与开关SW2的其中一端。开关SW1的另一端通过节点NA耦接电容CA且受控于控制讯号CS的反相讯号CSB。开关SW2的另一端通过节点NB耦接电容CB且受控于控制讯号CS。调制光接收电路120输出节点NA上的电压(或电流)讯号VA与节点NB上的电压(或电流)讯号VB作为感测讯号DS。在另一实施例中,调制光接收电路120也可以选择输出电压讯号VA与电压讯号VB的差值作为感测讯号DS(可作为强度(intensity)信息)。
图3A的实施例仅作为举例说明,调制光接收电路120的电路架构并不限于此。调制光接收电路120可以具有多个光电传感器122,或是更多电容或开关。本领域具有通常知识者可依据通常知识与实际需求而做适当调整。
图3B是依据图3A的实施例的讯号波形示意图。请接着参照图3A与图3B,当反相控制讯号CSB为低电平(例如,逻辑0)时,开关SW1导通,此时控制讯号CS会处于高电平(例如,逻辑1),开关SW2不导通。相反而言,当控制讯号CS为低电平(例如,逻辑0)时,开关SW2导通,此时反相控制讯号CSB处于高电平(例如,逻辑1),开关SW1不导通。此外,光电传感器122的导通即可使光电传感器122接收到被反射的调制光REM。当光电传感器122与开关SW1都导通时,电容CA进行放电(或充电),图3B中的QA表示电容CA所改变的电荷量,节点NA上的电压讯号VA会相应地改变。当光电传感器122与开关SW2都导通时,电容CB进行放电(或充电),图3B中的QB表示电容CB所改变的电荷量,节点NB上的电压讯号VB会相应地改变。
处理器130耦接调制光接收电路120。处理器130可以是中央处理单元(CentralProcessing Unit,CPU),或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application-Specific Integrated Circuit,ASIC)或其他类似组件或上述组件的组合。在本发明实施例中,处理器130可依据感测讯号DS计算控制讯号CS与被反射的调制光REM之间的相位差,且依据这相位差来进行距离量测。例如,请参照图3B,依据电压讯号VA与电压讯号VB之间的差异,处理器130可以计算出控制讯号CS与被反射的调制光REM之间的相位差。需说明的是,在一些实施例中,处理器130可能内建或电性连接有模拟至数字转换器(Analogy-to-Digital,ADC),且通过模拟至数字转换器将感测讯号DS转换成数字形式的讯号。
内存150耦接处理器130,内存150可以是任何型态的固定或可移动随机存取内存(Random Access Memory,RAM)、闪存(Flash Memory)、传统硬盘(Hard Disk Drive,HDD)、固态硬盘(Solid-State Disk,SSD)、非挥发性(non-volatile)内存或类似组件或上述组件的组合的储存器。在本实施例中,内存150用于储存缓冲的或永久的数据(例如,感测讯号DS对应的强度信息、阈值等)、程序代码、软件模块、操作系统、应用程序、驱动程序等数据或档案,且其详细内容待后续实施例详述。值得注意的是,内存150所记录的程序代码是用于感测装置100的处理方法,且后续实施例将详加说明这处理方法。
姿态侦测器170耦接处理器130,姿态侦测器170可以是重力传感器(G-sensor)/加速度计(Accelerometer)、惯性(Inertial)传感器、陀螺仪(Gyroscope)、磁力传感器(Magnetometer)或其组合,并用以侦测诸如加速度、角速度、方位等运动或姿态,并据以产生姿态信息(例如,记录有三轴的重力加速度、角速度或磁力等数据)。
需说明的是,在一些实施例中,处理器130及内存150可能被独立出来而成为运算装置160。这运算装置160可以是桌面计算机、笔记本电脑、服务器、智能型手机、平板计算机的装置。运算装置160与感测装置100更具有可相互通讯的通讯收发器(例如,支持Wi-Fi、蓝芽、以太网络(Ethernet)等通讯技术的收发器),使运算装置160可取得来自感测装置100的感测讯号DS或对应的强度信息(可记录在内存150中以供处理器130存取)。
为了方便理解本发明实施例的操作流程,以下将举诸多实施例详细说明本发明实施例中感测装置100及/或运算装置160的运作流程。下文中,将搭配感测装置100及运算装置160中的各项组件及模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整,且并不仅限于此。
图4是依据本发明一实施例基于飞行时间测距的处理方法的流程图。请参照图4,处理器130取得至少一个像素所对应至少二个相位的强度信息(步骤S410)。具体而言,在图3B的实施例中,调制讯号MS与控制讯号CS同步,但讯号处理电路140还可以让调制讯号MS与控制讯号CS之间不同步。也就是说,控制讯号CS与调制讯号MS之间可具有参考相位。而讯号处理电路140会依据不同的参考相位将调制讯号MS或控制讯号CS的相位延迟或提前,使得调制讯号MS与控制讯号CS具有相位差/相位延迟。
在连续波(Continuous Wave,CW)量测机制中,相位差例如是0度、90度、180度及270度,即四相位方法。不同相位即会对应到不同起始及结束时间点的电荷累计时间区间。换句而言,调制光接收电路120利用四个相位在时间延迟上以接收被反射的调制光REM。而利用那些相位在时间上延迟感测被反射的调制光REM即可得到对应于不同相位的感测讯号DS,且感测讯号DS将可进一步作为强度信息。这强度信息可能记录单一像素(一个像素对应到图3A的电路)所累计的电荷量或进一步转换成强度值。即,各像素的强度信息系利用那些相位在时间上延迟感测被反射的调制光REM所得。
接着,处理器130依据至少二个相位的强度信息之间的差异,决定是否放弃这像素所对应至少二个相位的强度信息(步骤S430)。具体而言,经实验可知,动态模糊现象将造成不同相位之间的强度信息产生差异。举例而言,图5A~5D是一范例说明本地(local)的动态模糊现象。请参照图5A,图中所示是目标物体TA(以椅子为例)与感测装置100皆为静止状态(例如,无晃动、无跳动等运动)下依据感测讯号DS所生成的影像(以分辨率为240×180为例)。请参照图5B,图中所示是相同时间点所对应任两个相位对应强度值相减(即,强度信息的差异)所产生的影像。请参照图5C是图5B经尺度调整后的影像,且可观察到所有像素的强度差异大致相同并等于或趋近于零。接着,假设目标物体TA移动。请参照图5D,图中所示是相同时间点所对应任两个相位对应强度值相减(即,强度信息的差异)所产生的影像,与图5C相比可观察到部分像素的强度差异较大。
图6A~6D是一范例说明全局(global)的动态模糊现象。请参照图6A,图中所示是目标物体TA(以椅子为例)与感测装置100皆为静止状态下依据感测讯号DS所生成的影像(以分辨率为240×180为例)。请参照图6B,图中所示是相同时间点所对应任两个相位对应强度值相减(即,强度信息的差异)所产生的影像。请参照图6C是图6B经尺度调整后的影像,且可观察到所有像素的强度差异大致相同并等于或趋近于零。接着,假设感测装置100移动。请参照图6D,图中所示是相同时间点所对应任两个相位对应强度值相减(即,强度信息的差异)所产生的影像,与图6C相比可观察到部分像素的强度差异较大。
由此可知,无论是产生本地或全局的动态模糊现象,两个相位的强度信息之间的差异将增加。相反而言,若无动态模糊现象,则两个相位的强度信息的差异将等于或趋近于零。因此,两个相位的强度信息之间的差异将可用于评估是否发生动态模糊现象。
在一实施例中,针对各像素,处理器130可判断至少两个相位的强度信息之间的差异是否大于差异阈值,且若这差异大于差异阈值,则处理器130放弃这像素所对应的那些相位的强度信息。具体而言,无可避免地,两相位的强度信息的差异可能不会刚好等于零。因此,本发明实施例提升了宽容度,使处理器130可预设或经使用者设定有差异阈值(例如,10、20、或40等)。若差异小于这差异阈值,则处理器130可视为未发生动态模糊现象。相反而言,若差异大于这差异阈值,则处理器130可直接视为发生动态模糊现象、或需进一步通过其他信息来评估。值得注意的是,那些强度值差异大于差异阈值的像素的强度信息可能会影响后续深度信息估测的结果。因此,本发明实施例会依据一些条件来放弃任一像素具有低于差异阈值的四个相位的强度信息。若处理器130放弃那些相位的强度信息,则将判断采用这像素于不同时间点所对应的那些相位的强度信息或是采用未放弃的其他像素所对应不同相位的强度信息。若任一像素于当前时间点所对应至少二个相位的强度信息被放弃,则需要再次通过调制光接收电路120感测以重新取得这像素于不同时间点(后续的时间点)所对应的那些相位的强度信息,并再评估是否采用这些强度信息。或者,若仅部分像素于当前时间点所对应的那些相位的强度信息被放弃,则未放弃的那些像素(或是受保留的像素)所对应不同相位的强度信息将被采用。此外,处理器130可依据最后采用的强度信息来计算深度信息
需说明的是,针对任一个像素,处理器130可将任两个相位(例如,0度与180度、180度与270度等)的差异来与差异阈值(其数值需对应调整)比较。在其他实施例中,处理器130亦可挑选差异最大的两个相位的数值来与差异阈值(其数值需对应调整)比较。或者,处理器130亦可能是随机挑选更多个相位的强度信息来比较。而若取得超过两个差异,则可进一步平均或以特定线性组合来与差异阈值比较。
以下将接着详细说明那些放弃条件及对应的处理方式:
图7是依据本发明第一实施例基于飞行时间测距的处理方法的流程图。请参照图7,针对各像素,处理器130取得至少两个相位的强度信息(步骤S710),并判断强度信息之间的差异是否大于差异阈值(步骤S730),而其详细说明可分别参酌步骤S410、S430的说明,故在此不再赘述。接着,若这差异未大于这差异阈值,则处理器130可基于这像素于当前时间点所对应的所有相位的强度信息来计算深度信息(步骤S735)。例如,0度与180度的差异作为实数部,90度与270度的差异作为虚数部;而实数部与虚数部所形成的角度即可作为相位差
Figure GDA0003718401490000091
且距离(即作为深度信息)为
Figure GDA0003718401490000092
其中c为光速常数,f为取样频率。
另一方面,若这差异大于差异阈值,则处理器130可放弃/取消/不使用这像素于当前时间点的四个相位的强度信息(步骤S780),即不使用这像素当次累计电荷时间区间中的强度信息。处理器130可在下次通过调制光接收电路120感测时适性调整其侦测那些相位的调制光的曝光时间。由于缩短曝光时间可改善动态模糊现象,处理器130可进一步通知调制光接收电路120将曝光时间降低以重新拍摄/感测/接收被反射的调制光REM(步骤S790),从而取得这像素于不同时间点反应于调制光REM所得到至少二个相位的强度信息。
图8是依据本发明第二实施例基于飞行时间测距的处理方法的流程图。请参照图8,步骤S810、S830、S835、S880及S890的详细内容可参酌步骤S710、S730、S735、S780及S790的说明,在此不再赘述。与第一实施例不同处在,若两相位的强度信息之间的差异大于差异阈值,则处理器130会依据姿态传感器170所取得的姿态信息来判断造成这差异的动态模糊为全局或本地(步骤S850)。以三轴加速度感测值Xout、Yout及Zout为例,若
Figure GDA0003718401490000093
为1g,则表示感测装置100为静止状态且这差异是本地的动态模糊所造成(例如,目标物体TA移动);若其值不为1g,则表示感测装置100不为静止状态且这差异是全局的动态模糊所造成。需说明的是,依据姿态传感器170的类型,其判断静止状态的条件可能不同,应用本发明实施例者可自行调整对应参数,非用以限制本发明的范畴。
若经判断为全局的动态模糊,则处理器130会直接放弃这像素于当前时间点所对应的那些相位的强度信息,并通过调制光接收电路120拍摄以重新取得这像素下一次电荷累计时间区间内至少二个相位的强度信息(步骤S855)。另一方面,若经判断为本地的动态模糊,则处理器130可进一步依据模糊像素数量来决定是否通过调制光接收电路120重新取得这像素于不同时间点所对应至少二个相位的强度信息。这模糊像素数量是反应于一像素经判断有动态模糊而据这累计的数量。换句而言,若对应于某一像素的强度信息之间的差异大于差异阈值,则累计模糊像素数量,且经评估所有像素后即可得到最终的模糊像素数量。
值得注意的是,经实验可知,不同差异阈值将对应不同模糊像素数量。换句而言,不同差异阈值,一张感测影像中经判断有动态模糊的像素占所有像素的比例可能不同。以240×180分辨率为例,表(1)是不同差异阈值对应的模糊像素数量及其所占比例:
表(1)
差异阈值 模糊像素数量 比例
20 1329 3.076388889%
30 1071 4.479166665%
40 801 1.868055554%
表(1)中实验所得的模糊像素数量例如可用来作为比对的数量阈值,但这数量阈值可能依据不同差异阈值、不同分辨率或其他条件而被调整,本发明实施例不加以限制。处理器130可判断当前时间点(或取样区间内)得到的模糊像素数量是否大于设定的数量阈值(步骤S870)。而若这模糊像素数量大于设定的数量阈值,则处理器130可放弃这像素于当前时间点所对应的那些相位的强度信息(步骤S880),并通过调制光接收电路120拍摄以重新取得这像素不同时间点(例如,下一个取样时间点或后续取样区间)所对应至少二个相位的强度信息(步骤S890)。相反而言,若当前时间区间内得到的模糊像素数量未大于设定的数量阈值,则处理器130直接依据这像素当前时间点所取得的复数个相位的强度信息来计算深度信息(步骤S835),即保留这像素对应的强度信息。
在一实施例中,步骤S890中调整曝光时间的长度可与模糊像素数量及数量阈值之间的差异相关。例如,调整的曝光时间可依据公式(1)、(2)得出:
Figure GDA0003718401490000101
Figure GDA0003718401490000102
其中,exposure_time′为调整的曝光时间,exposure_time为原曝光时间,blur_pixels为模糊像素数量,且threshold为数量阈值。
需说明的是,在其他实施例中,调制光接收电路120亦可直接减少特定长度或随机数长度的曝光时间。
图9是依据本发明第三实施例基于飞行时间测距的处理方法的流程图。请参照图9,步骤S910、S930、S935及S880的详细内容可参酌步骤S710、S730、S735及S780的说明,在此不再赘述。与第一实施例不同处在,若任一像素的至少两个相位的强度信息之间的差异大于差异阈值,则处理器130可仅放弃/取消/不使用这像素于当前时间点所对应的那些相位的强度信息(步骤950),而受放弃的像素是经判断有动态模糊(例如,这像素在两相位之间的强度差异大于差异阈值)。处理器130可记录这些受放弃的像素在感测影像中的位置、索引或代码。而在步骤S935中,处理器130将依据未放弃的像素的强度信息来计算深度信息。需说明的是,所有像素中排除受放弃的像素后所剩余的像素即为未放弃的像素。而排除掉受放弃的像素的强度信息将可降低动态模糊的影像,且经判断未受动态模糊影响的像素的强度信息仍可继续供后续深度信息计算使用。藉此,可避免多次重新拍摄,并进而提升效率。
图10A及10B是一范例说明放弃无效数据的感测示意图。请先参照图10A,图中所示为所有像素皆保留的影像。请接着参照图10B,假设差异阈值为40,则差异超过40的像素将被放弃,且处理器130可将这些受放弃的像素的强度设为零或忽略不计。
需说明的是,前述三个实施例中各步骤可依据实际需求而互换、增加、或改变。例如,在第一实施例的步骤S730中更进一步增加步骤S870的判断模糊像素数量的机制。
综上所述,本发明实施例基于飞行时间测距的运算装置、感测装置及处理方法,可基于任两相位的强度信息之间的差异、模糊像素数量、姿态信息或其组合来判断是否发生动态模糊现象。若经评估有动态模糊现象,可重新拍摄、或放弃部分有动态模糊的像素的强度信息。藉此,可以简便的方式来降低动态模糊现象对后续深度信息估测的影响。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种基于飞行时间测距的运算装置,其特征在于,包括:
内存,记录至少一像素所对应至少二相位的强度信息以及用于所述运算装置的处理方法所对应的程序代码,其中所述强度信息系利用所述至少二相位在时间上延迟感测调制光所得,其中所述内存更记录姿态信息,所述姿态信息系对应于感测所述至少二相位的调制光的装置;以及
处理器,耦接所述内存,并经配置用以执行所述程序代码,所述处理方法包括:
取得所述至少二相位的强度信息;
依据所述至少二相位的强度信息之间的差异,决定是否放弃所述像素所对应所述至少二相位的强度信息;
判断所述差异是否大于差异阈值;
反应于所述差异大于所述差异阈值,放弃所述像素所对应所述至少二相位的强度信息,依据所述姿态信息判断造成所述差异的动态模糊为全局或本地,并判断是否重新取得所述像素于不同时间点所对应至少二相位的强度信息;
反应于全局的动态模糊,重新取得所述像素于不同时间点所对应至少二相位的强度信息;以及
反应于本地的动态模糊,依据模糊像素数量来决定是否重新取得所述像素于不同时间点所对应至少二相位的强度信息,其中所述模糊像素数量是反应于所述像素经判断有动态模糊而累计的数量。
2.根据权利要求1所述基于飞行时间测距的运算装置,其特征在于,所述处理方法还包括:
适性调整侦测所述至少二相位的调制光的曝光时间,以重新取得所述像素于不同时间点所对应至少二相位的强度信息。
3.根据权利要求1所述基于飞行时间测距的运算装置,其特征在于,所述处理方法还包括:
依据复数个所述像素所对应不同相位的强度信息来计算深度信息。
4.根据权利要求1所述基于飞行时间测距的运算装置,其特征在于,所述处理方法还包括:
反应于所述模糊像素数量大于数量阈值,放弃所述像素所对应所述至少二相位的强度信息,并重新取得所述像素于不同时间点所对应至少二相位的强度信息。
5.根据权利要求1所述基于飞行时间测距的运算装置,其特征在于,所述处理方法还包括:
反应于所述差异大于所述差异阈值,放弃至少一所述像素所对应不同相位的强度信息,其中受放弃的所述至少一像素是判断有动态模糊;以及
依据未放弃的复数个所述像素所对应不同相位的强度信息来计算深度信息。
6.一种基于飞行时间测距的感测装置,其特征在于,包括:
调制光发射电路,发射调制光;
调制光接收电路,利用至少二相位在时间延迟上以接收所述调制光;
内存,记录至少一像素所对应至少二相位的强度信息以及用于所述感测装置的处理方法所对应的程序代码;
姿态传感器,感测所述感测装置的姿态,并据以产生姿态信息;以及
处理器,耦接所述调制光接收电路及所述内存,并经配置用以执行所述程序代码,所述处理方法包括:
取得所述至少二相位的强度信息,其中所述强度信息系利用所述至少二相位在时间上延迟感测所述调制光所得;
依据所述至少二相位的强度信息之间的差异,决定是否放弃所述像素所对应所述至少二相位的强度信息;
判断所述差异是否大于差异阈值;以及
反应于所述差异大于所述差异阈值,放弃所述像素所对应所述至少二相位的强度信息,依据所述姿态信息判断造成所述差异的动态模糊为全局或本地,并判断是否重新取得所述像素于不同时间点所对应至少二相位的强度信息;
反应于全局的动态模糊,通过所述调制光接收电路重新取得所述像素于不同时间点所对应至少二相位的强度信息;以及
反应于本地的动态模糊,依据模糊像素数量来决定是否重新取得所述像素于不同时间点所对应至少二相位的强度信息,其中所述模糊像素数量是反应于所述像素经判断有动态模糊而累计的数量。
7.根据权利要求6所述基于飞行时间测距的感测装置,其特征在于,所述处理方法还包括:
适性调整所述调制光接收电路侦测所述至少二相位的调制光的曝光时间,以重新取得所述像素于不同时间点所对应至少二相位的强度信息。
8.一种基于飞行时间测距的处理方法,其特征在于,包括:
取得至少一像素所对应至少二相位的强度信息,其中所述强度信息系利用所述至少二相位在时间上延迟感测调制光所得;
依据所述至少二相位的强度信息之间的差异,决定是否放弃所述像素所对应所述至少二相位的强度信息;
判断所述差异是否大于差异阈值;
取得姿态信息,所述姿态信息系对应于感测所述至少二相位的调制光的装置;以及
反应于所述差异大于所述差异阈值,放弃所述像素所对应所述至少二相位的强度信息,依据所述姿态信息判断造成所述差异的动态模糊为全局或本地;
反应于全局的动态模糊,放弃所述像素所对应所述至少二相位的强度信息,并重新取得所述像素于不同时间点所对应至少二相位的强度信息;以及
反应于本地的动态模糊,依据模糊像素数量来决定是否重新取得所述像素于不同时间点所对应至少二相位的强度信息,其中所述模糊像素数量是反应于所述像素经判断有动态模糊而累计的数量。
9.根据权利要求8所述基于飞行时间测距的处理方法,其特征在于,决定是否放弃所述像素所对应所述至少二相位的强度信息的步骤之后,更包括:
适性调整侦测所述至少二相位的调制光的曝光时间,以重新取得所述像素于不同时间点所对应至少二相位的强度信息。
10.根据权利要求8所述基于飞行时间测距的处理方法,其特征在于,决定是否放弃所述像素所对应所述至少二相位的强度信息的步骤包括:
反应于放弃所述像素所对应所述至少二相位的强度信息,判断是否重新取得所述像素于不同时点所对应至少二相位的强度信息;以及
依据复数个所述像素所对应不同相位的强度信息来计算深度信息。
11.根据权利要求8所述基于飞行时间测距的处理方法,其特征在于,判断所述差异是否大于所述差异阈值的步骤之后,更包括:
反应于所述模糊像素数量大于数量阈值,放弃所述像素所对应所述至少二相位的强度信息,并重新取得所述像素于不同时间点所对应至少二相位的强度信息。
12.根据权利要求10所述基于飞行时间测距的处理方法,其特征在于,判断所述差异是否大于所述差异阈值的步骤之后,更包括:
反应于所述差异大于所述差异阈值,放弃至少一所述像素所对应不同相位的强度信息,其中受放弃的所述至少一像素是经判断有动态模糊;以及
依据未放弃的复数个所述像素所对应不同相位的强度信息来计算深度信息。
CN201910541119.2A 2019-02-19 2019-06-21 基于飞行时间测距的运算装置、感测装置及处理方法 Active CN111580067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/660,823 US11467258B2 (en) 2019-02-19 2019-10-23 Computation device, sensing device and processing method based on time of flight

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962807246P 2019-02-19 2019-02-19
US62/807,246 2019-02-19

Publications (2)

Publication Number Publication Date
CN111580067A CN111580067A (zh) 2020-08-25
CN111580067B true CN111580067B (zh) 2022-12-02

Family

ID=72110768

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910263049.9A Pending CN111580117A (zh) 2019-02-19 2019-04-02 飞时测距感测系统的控制方法
CN201910341808.9A Active CN111586306B (zh) 2019-02-19 2019-04-25 防过曝光电路结构及应用该电路的电子装置
CN201910435784.3A Active CN111586307B (zh) 2019-02-19 2019-05-23 曝光方法及应用该方法的影像感测装置
CN201910541119.2A Active CN111580067B (zh) 2019-02-19 2019-06-21 基于飞行时间测距的运算装置、感测装置及处理方法
CN201910971700.8A Active CN111624612B (zh) 2019-02-19 2019-10-14 飞行时间相机模块的验证方法及其验证系统

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201910263049.9A Pending CN111580117A (zh) 2019-02-19 2019-04-02 飞时测距感测系统的控制方法
CN201910341808.9A Active CN111586306B (zh) 2019-02-19 2019-04-25 防过曝光电路结构及应用该电路的电子装置
CN201910435784.3A Active CN111586307B (zh) 2019-02-19 2019-05-23 曝光方法及应用该方法的影像感测装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910971700.8A Active CN111624612B (zh) 2019-02-19 2019-10-14 飞行时间相机模块的验证方法及其验证系统

Country Status (2)

Country Link
CN (5) CN111580117A (zh)
TW (2) TWI741291B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954230B (zh) * 2021-02-08 2022-09-09 深圳市汇顶科技股份有限公司 深度测量方法、芯片和电子设备
CN113298778B (zh) * 2021-05-21 2023-04-07 奥比中光科技集团股份有限公司 一种基于飞行时间的深度计算方法、系统及存储介质
CN113219476B (zh) * 2021-07-08 2021-09-28 武汉市聚芯微电子有限责任公司 测距方法、终端及存储介质
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103181156A (zh) * 2011-07-12 2013-06-26 三星电子株式会社 模糊处理装置及方法
EP2978216A1 (de) * 2014-07-24 2016-01-27 Espros Photonics AG Bildsensor
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002139818A (ja) * 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd レンズ付きフイルムユニット
CN101252802B (zh) * 2007-02-25 2013-08-21 电灯专利信托有限公司 用于低输入电压的电荷泵电子镇流器
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
US8699008B2 (en) * 2009-02-27 2014-04-15 Panasonic Corporation Distance measuring device
CN102735910B (zh) * 2011-04-08 2014-10-29 中山大学 最大峰值电压侦测电路
WO2013009099A2 (ko) * 2011-07-12 2013-01-17 삼성전자 주식회사 블러 처리 장치 및 방법
EP2728374B1 (de) * 2012-10-30 2016-12-28 Technische Universität Darmstadt Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
AT513589B1 (de) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
US9019480B2 (en) * 2013-02-26 2015-04-28 Jds Uniphase Corporation Time-of-flight (TOF) system, sensor pixel, and method
US9681123B2 (en) * 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
WO2015190015A1 (ja) * 2014-06-09 2015-12-17 パナソニックIpマネジメント株式会社 測距装置
TWI545951B (zh) * 2014-07-01 2016-08-11 晶相光電股份有限公司 感測器以及感測方法
JP6280002B2 (ja) * 2014-08-22 2018-02-14 浜松ホトニクス株式会社 測距方法及び測距装置
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
CN104677277B (zh) * 2015-02-16 2017-06-06 武汉天远视科技有限责任公司 一种测量物体几何属性或距离的方法及系统
CN106152947B (zh) * 2015-03-31 2019-11-29 北京京东尚科信息技术有限公司 测量物体尺寸的设备、方法和装置
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
WO2017013857A1 (ja) * 2015-07-22 2017-01-26 パナソニックIpマネジメント株式会社 測距装置
US9716850B2 (en) * 2015-09-08 2017-07-25 Pixart Imaging (Penang) Sdn. Bhd. BJT pixel circuit capable of cancelling ambient light influence, image system including the same and operating method thereof
TWI575248B (zh) * 2015-09-10 2017-03-21 義明科技股份有限公司 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
TWI557393B (zh) * 2015-10-08 2016-11-11 微星科技股份有限公司 雷射測距校正方法與應用此方法的裝置
US10057526B2 (en) * 2015-11-13 2018-08-21 Pixart Imaging Inc. Pixel circuit with low power consumption, image system including the same and operating method thereof
US9762824B2 (en) * 2015-12-30 2017-09-12 Raytheon Company Gain adaptable unit cell
US10516875B2 (en) * 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
CN107040732B (zh) * 2016-02-03 2019-11-05 原相科技股份有限公司 影像感测电路及方法
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
KR20180021509A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
JP6862751B2 (ja) * 2016-10-14 2021-04-21 富士通株式会社 距離測定装置、距離測定方法及びプログラム
CN108616726A (zh) * 2016-12-21 2018-10-02 光宝电子(广州)有限公司 基于结构光的曝光控制方法及曝光控制装置
US20180189977A1 (en) * 2016-12-30 2018-07-05 Analog Devices Global Light detector calibrating a time-of-flight optical system
US10557921B2 (en) * 2017-01-23 2020-02-11 Microsoft Technology Licensing, Llc Active brightness-based strategy for invalidating pixels in time-of-flight depth-sensing
WO2018142878A1 (ja) * 2017-02-06 2018-08-09 パナソニックIpマネジメント株式会社 3次元モーション取得装置、及び3次元モーション取得方法
CN116482647A (zh) * 2017-02-17 2023-07-25 北阳电机株式会社 物体捕捉装置
EP3644281A4 (en) * 2017-06-20 2021-04-28 Sony Interactive Entertainment Inc. CALIBRATION DEVICE, CALIBRATION CHART, CHART PATTERN GENERATING DEVICE, AND CALIBRATION PROCEDURE
EP3783304A1 (en) * 2017-06-22 2021-02-24 Hexagon Technology Center GmbH Calibration of a triangulation sensor
TWI622960B (zh) * 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法
CN108401098A (zh) * 2018-05-15 2018-08-14 绍兴知威光电科技有限公司 一种tof深度相机系统及其降低外部误差的方法
CN112363150A (zh) * 2018-08-22 2021-02-12 Oppo广东移动通信有限公司 标定方法、标定控制器、电子装置及标定系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103181156A (zh) * 2011-07-12 2013-06-26 三星电子株式会社 模糊处理装置及方法
EP2978216A1 (de) * 2014-07-24 2016-01-27 Espros Photonics AG Bildsensor
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备

Also Published As

Publication number Publication date
CN111586306A (zh) 2020-08-25
CN111624612A (zh) 2020-09-04
TW202032154A (zh) 2020-09-01
CN111586306B (zh) 2022-02-01
CN111624612B (zh) 2023-04-07
TWI696841B (zh) 2020-06-21
CN111586307A (zh) 2020-08-25
CN111580067A (zh) 2020-08-25
CN111586307B (zh) 2021-11-02
CN111580117A (zh) 2020-08-25
TW202032155A (zh) 2020-09-01
TWI741291B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN111580067B (zh) 基于飞行时间测距的运算装置、感测装置及处理方法
US20230176223A1 (en) Processing system for lidar measurements
US11209528B2 (en) Time-of-flight depth image processing systems and methods
US9784822B2 (en) Time of flight sensor binning
CN109564287B (zh) 光飞行型测距装置
US10473461B2 (en) Motion-sensor device having multiple light sources
US11272157B2 (en) Depth non-linearity compensation in time-of-flight imaging
WO2016075945A1 (ja) 光飛行型測距装置
CN110596727B (zh) 输出精度信息的测距装置
CN109903324B (zh) 一种深度图像获取方法及装置
CN110622038B (zh) 光传感器、电子设备、运算装置及对光传感器与检测对象物之间的距离进行测量的方法
JPWO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP5218513B2 (ja) 変位センサ
EP2690464A1 (en) Depth sensing apparatus and method
US11423572B2 (en) Built-in calibration of time-of-flight depth imaging systems
CN112114328A (zh) 飞时测距装置
JP5809627B2 (ja) 動画像から静止画像を取得するためのシステム及び方法
CN111522024B (zh) 解决多路径损坏的图像处理系统、方法和成像设备
TWI707152B (zh) 基於飛行時間測距的運算裝置、感測裝置及處理方法
CN108768637B (zh) 一种量子密钥分配干涉环间断式相位补偿控制方法及系统
CN113498473A (zh) 使用动态视觉传感器和图案投影的三维成像和感测
CN112415487B (zh) 基于飞行时间测距的运算装置、感测装置及处理方法
US11467258B2 (en) Computation device, sensing device and processing method based on time of flight
JPWO2019050024A1 (ja) 距離測定方法および距離測定装置
US11301065B2 (en) Navigation system, navigation device and frame rate adjusting method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant