CN112415487B - 基于飞行时间测距的运算装置、感测装置及处理方法 - Google Patents
基于飞行时间测距的运算装置、感测装置及处理方法 Download PDFInfo
- Publication number
- CN112415487B CN112415487B CN201910782087.5A CN201910782087A CN112415487B CN 112415487 B CN112415487 B CN 112415487B CN 201910782087 A CN201910782087 A CN 201910782087A CN 112415487 B CN112415487 B CN 112415487B
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth information
- current
- time
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims 7
- 230000003068 static effect Effects 0.000 abstract description 23
- 239000008186 active pharmaceutical agent Substances 0.000 description 13
- 238000005259 measurement Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 13
- 239000003990 capacitor Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明提供一种基于飞行时间测距的运算装置、感测装置及处理方法。在此方法中，取得至少一像素所对应的强度信息，而此强度信息相关于通过时间差或相位差感测调变光所得的讯号强度。依据当前时间点的强度信息计算那些像素中一个待评估像素的当前深度信息。依据待评估像素的当前深度信息与其在至少一先前时间点所对应的先前深度信息之间的差异，决定是否使用当前深度信息作为待评估像素在当前时间点的输出。藉此，可降低噪声对深度信息估测的影响，且同时考虑非静态物体的情况。
Description
技术领域
本发明涉及一种光学量测技术，且特别是有关于一种基于飞行时间(Time ofFlight，ToF)测距的运算装置、感测装置及处理方法。
背景技术
随着科技的发展，光学三维量测技术已逐渐成熟，其中飞行时间测距是目前一种常见的主动式深度感测技术。ToF测距技术的基本原理是，调变光(例如，红外光、或雷射光等)经发射后遇到物体将被反射，而藉由被反射的调变光的反射时间差或相位差来换算被拍摄物体的距离，即可产生相对于物体的深度信息(即，相对距离)。
值得注意的是，由于诸如发光源(用于发射调变光)对波形的变化、或传感器(用于感测调变光)的热噪声(thermal noise)等物理限制，发光源与传感器可能造成噪声发生。针对静态物体，此等噪声更造成不同时间点量测的距离产生差异。另一方面，当利用ToF测距技术计算深度信息时，若遭遇到动态模糊情况，将导致深度距离不准确、或画面模糊的情况。因此，如何提供一种简便且能有效降低噪声及动态模糊影响的方法成为目前相关领域待努力的目标之一。
发明内容
本发明是针对一种基于飞行时间测距的运算装置、感测装置及处理方法，其能有效减少噪声对于深度计算结果的影响，更考虑到动态模糊的情况。
根据本发明的实施例，基于飞行时间测距的运算装置包括内存及处理器。内存记录至少一像素所对应的强度信息以及用于运算装置的处理方法所对应的程序代码，而此强度信息相关于通过时间差或相位差感测调变光所得的讯号强度。处理器耦接内存，并经配置用以执行程序代码，且此处理方法包括下列步骤：依据当前时间点的强度信息计算那些像素中的一个待评估像素的当前深度信息。依据待评估像素的当前深度信息与其在至少一个先前时间点所对应的先前深度信息之间的差异，决定是否使用当前深度信息作为待评估像素在当前时间点的输出，且此先前深度信息相关于至少一个先前时间点所取得的强度信息。
根据本发明的实施例，基于飞行时间测距的处理方法包括下列步骤：取得至少一像素所对应的强度信息，而此强度信息相关于通过飞行时间测距技术感测所得的讯号强度。依据当前时间点的强度信息计算各像素的当前深度信息。依据那些像素中一个待评估像素的当前深度信息与其先前深度信息之间的差异，决定是否使用当前深度信息作为待评估像素在当前时间点的输出，且此先前深度信息相关于至少一个先前时间点所取得的强度信息。
根据本发明的实施例，基于飞行时间测距的感测装置包括前述基于飞行时间测距的运算装置、调变光发射电路及调变光接收电路。调变光发射电路用以发射调变光。调变光接收电路耦接运算装置，并用以接收调变光以产生感测讯号。
基于上述，本发明实施例基于飞行时间测距的运算装置、感测装置及处理方法，针对各像素，判断前后时间点之间关于深度信息的差异来评估拍摄的物体是否为静态，并据以对静态物体对应的像素消除噪声，且保留非静态物体(即，动态物体)对应像素的深度信息。藉此，可有效降低噪声对于深度信息估测的影响，且同时考虑非静态物体的情况。
附图说明
包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
图1是依据本发明一实施例的测距系统的示意图。
图2A是依据本发明一实施例的调变光接收电路的电路示意图。
图2B是依据图2A的实施例的讯号波形示意图。
图3是依据本发明一实施例基于飞行时间测距的处理方法的流程图。
图4A是一范例说明感测所得的影像。
图4B是一范例说明噪声的影响与消除噪声的结果。
图5是依据本发明第一实施例基于飞行时间测距的处理方法的流程图。
图6是依据本发明第二实施例基于飞行时间测距的处理方法的流程图。
附图标号说明
10：测距系统；
100：感测装置；
110：调变光发射电路；
120：调变光接收电路；
122：光电传感器；
130：处理器；
140：讯号处理电路；
150：内存；
160：运算装置；
410、430：量测值；
CA、CB：电容；
QA、QB：改变的电荷量；
CS：控制讯号；
CSB：反相控制讯号；
DS：感测讯号；
EM：调变光；
MS：调变讯号；
NA、NB：节点；
REM：被反射的调变光；
SW1、SW2：开关；
VA、VB：电压讯号；
TA：目标物体；
S310～S330、S510～S570、S610～S673：步骤。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在图式和描述中用来表示相同或相似部分。
图1是依据本发明一实施例的测距系统10的示意图。请参照图1，测距系统10包括基于ToF的感测装置100及目标物体TA。
感测装置100包括但不仅限于调变光发射电路110、调变光接收电路120、处理器130、讯号处理电路140及内存150。感测装置100可应用于诸如三维模型建模、物体辨识、车用辅助系统、定位、产线测试或误差校正等领域。感测装置100可能是独立装置，或经模块化而装载于其他装置，非用以限制本发明的范畴。
调变光发射电路110例如是垂直腔面发射雷射数组(VCSEL)、发光二极管(LED)、雷射二极管或准直光产生装置，且调变光接收电路120例如是摄像装置或光源感应装置(至少包括光传感器、读取电路等)。讯号处理电路140耦接调变光发射电路110与调变光接收电路120。讯号处理电路140用以提供调变讯号MS给调变光发射电路110且提供控制讯号CS至调变光接收电路120。调变光发射电路110用以依据调变讯号MS发出调变光EM，而此调变光EM例如红外光、雷射光或其他波段的准直光。例如，调变讯号MS为脉冲讯号，且调变讯号MS上升的边缘对应调变光EM的触发时间。调变光EM遇到目标物体TA后将会被反射，而调变光接收电路120可接收被反射的调变光REM。调变光接收电路120依据控制讯号CS对被反射的调变光REM解调变，以产生感测讯号DS。
更具体而言，图2A是依据本发明一实施例的调变光接收电路120的电路示意图。请参照图2A，为了方便说明，本图式以单位/单一像素的电路为例。调变光接收电路120中对应于单位/单一像素的电路包括光电感应组件122、电容CA、电容CB、开关SW1与开关SW2。光电传感器122例如是光电二极管(photodiode)或具有类似用以感测被反射调变光REM的功能的其他光感测组件。光电传感器122一端接收共同参考电压(例如，接地GND)，且其另一端耦接开关SW1与开关SW2的其中一端。开关SW1的另一端通过节点NA耦接电容CA且受控于控制讯号CS的反相讯号CSB。开关SW2的另一端通过节点NB耦接电容CB且受控于控制讯号CS。调变光接收电路120输出节点NA上的电压(或电流)讯号VA与节点NB上的电压(或电流)讯号VB作为感测讯号DS。在另一实施例中，调变光接收电路120也可以选择输出电压讯号VA与电压讯号VB的差值作为感测讯号DS(可作为强度(intensity)信息)。
图2A的实施例仅作为举例说明，调变光接收电路120的电路架构并不限于此。调变光接收电路120可以具有多个光电传感器122，或是更多电容或开关。本领域具有通常知识者可依据通常知识与实际需求而做适当调整。
图2B是依据图2A的实施例的讯号波形示意图。请接着参照图2A与图2B，当反相控制讯号CSB为低准位(例如，逻辑0)时，开关SW1导通，此时控制讯号CS会处于高准位(例如，逻辑1)，开关SW2不导通。相反而言，当控制讯号CS为低准位(例如，逻辑0)时，开关SW2导通，此时反相控制讯号CSB处于高准位(例如，逻辑1)，开关SW1不导通。此外，光电传感器122的导通即可使光电传感器122接收到被反射的调变光REM。当光电传感器122与开关SW1都导通时，电容CA进行放电(或充电)，图2B中的QA表示电容CA所改变的电荷量，节点NA上的电压讯号VA会相应地改变。当光电传感器122与开关SW2都导通时，电容CB进行放电(或充电)，图2B中的QB表示电容CB所改变的电荷量，节点NB上的电压讯号VB会相应地改变。
处理器130耦接调变光接收电路120。处理器130可以是中央处理单元(CentralProcessing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application-Specific Integrated Circuit，ASIC)或其他类似组件或上述组件的组合。于本发明实施例中，处理器130可依据感测讯号DS计算控制讯号CS与被反射的调变光REM之间的相位差，且依据此相位差来进行距离量测。例如，请参照图2B，依据电压讯号VA与电压讯号VB之间的差异，处理器130可以计算出控制讯号CS与被反射的调变光REM之间的相位差。需说明的是，在一些实施例中，处理器130可能内建或电性连接有模拟至数字转换器(Analogy-to-Digital，ADC)，且通过模拟至数字转换器将感测讯号DS转换成数字形式的讯号。
内存150耦接处理器140，内存150可以是任何型态的固定或可移动随机存取内存(Random Access Memory，RAM)、闪存(Flash Memory)、传统硬盘(Hard Disk Drive，HDD)、固态硬盘(Solid-State Disk，SSD)、非挥发性(non-volatile)内存或类似组件或上述组件的组合的储存器。于本实施例中，内存150用于储存缓冲的或永久的数据(例如，感测讯号DS对应的强度信息、阈值、深度信息等)、程序代码、软件模块、操作系统、应用程序、驱动程序等数据或档案，且其详细内容待后续实施例详述。值得注意的是，内存150所记录的程序代码是用于感测装置100的处理方法，且后续实施例将详加说明此处理方法。
需说明的是，在一些实施例中，处理器130及内存150可能被独立出来而成为运算装置160。此运算装置160可以是计算机、笔记本电脑、服务器、智能型手机、平板计算机的装置。运算装置160与感测装置100更具有可相互通讯的通讯收发器(例如，支持Wi-Fi、蓝芽、以太网络(Ethernet)等通讯技术的收发器)，使运算装置160可取得来自感测装置100的感测讯号DS或对应的强度信息(可储存在内存140中以供处理器130存取)。
为了方便理解本发明实施例的操作流程，以下将举诸多实施例详细说明本发明实施例中感测装置100及/或运算装置160的运作流程。下文中，将搭配感测装置100及运算装置160中的各项组件及模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随著调整，且并不仅限于此。
图3是依据本发明一实施例基于飞行时间测距的处理方法的流程图。请参照图3，处理器130依据当前时间点的强度信息计算调变光接收电路120的至少一个像素中的一个待评估像素(即，当前时间点的影像中的某一像素)的当前深度信息(步骤S310)。具体而言，在图2B的实施例中，调变讯号MS与控制讯号CS同步，但讯号处理电路140还可以让调变讯号MS与控制讯号CS之间不同步。也就是说，控制讯号CS与调变讯号MS之间可具有参考相位。而讯号处理电路140会依据不同的参考相位将调变讯号MS或控制讯号CS的相位延迟或提前，使得调变讯号MS与控制讯号CS具有相位差/相位延迟。
在连续波(Continuous Wave，CW)量测机制中，相位差例如是0度、90度、180度及270度，即四相位方法。不同相位即会对应到不同起始及结束时间点的电荷累计时间区间。换句而言，调变光接收电路120利用四个相位在时间延迟上以接收被反射的调变光REM。而利用那些相位在时间上延迟感测被反射的调变光REM即可得到对应于不同相位的感测讯号DS，且这些感测讯号DS将可进一步作为强度信息。各像素的强度信息可能记录其对应调变光接收电路120(如图2A所示)所累计的电荷量或进一步转换成强度值。即，各像素的强度信息系利用那些相位在时间上延迟(即，相位差或时间差)感测被反射的调变光REM所得的讯号强度(即，ToF技术)。
处理器130会每间隔固定或不固定的时间(例如，取样时间)取得待评估像素的强度信息。本文中，将以取得强度信息的各取样时间点简称为时间点。当前时间点即是代表当前的取样时间点；先前时间点则是代表当前的取样时间点之前的取样时间点、或是比当前时间点更早的取样时间点。
接着，处理器130依据待评估像素的当前深度信息与其先前深度信息之间的差异，决定是否使用当前深度信息作为待评估像素在当前时间点的输出(步骤S330)。具体而言，经实验可知，诸如调变光EM及调变光接收电路120的噪声现象将造成不同时间点之间的强度信息产生差异。举例而言，图4A是一范例说明感测所得的影像。请参照图4A，图中所示是拍摄场景中的目标物体TA与感测装置100皆为静止状态(例如，无晃动、无跳动等运动)下依据感测讯号DS所生成的影像。图4B是一范例说明噪声的影响与消除噪声的结果。请参照图4B，图中所示量测值410是在每个不同时间点对感测讯号DS量测所得的量测值(即，强度信息)。由此可知，针对静态的物体TA，量测值410将随时间大幅变化。若将量测值410在各取样时间点分别与至少一个先前时间点(以10个取样时间点为例)的先前量测值做平均运算，则可得到变化相对小(较稳定)的量测值430。虽然对量测值的平均可消除噪声，但将数值平均方式应用在物体TA或感测装置100处于非静态下，恐会造成不正确的量测结果。
为了解决此问题，本发明实施例将先依拍摄目标物体TA取得的各像素的感测结果判断目标物体TA是否属于静态物体，并排除应用数值平均方式在目标物体TA非静态物体的情况，以避免将拍摄动态目标物体TA取得的强度或深度信息变化判读为噪声。换句而言，处理器130将基于动态评估结果，来决定当前时间点的一个影像中的各像素是否应用数值平均方式来得出其深度信息。而针对非静态物体，当前时间点得出的当前深度信息才能代表物体TA的相对距离。也就是说，当前深度信息与其先前深度信息之间的差异将是决定是否使用当前深度信息或是数值平均结果作为代表此像素在当前时间点的输出的关键因素之一。需说明的是，此处先前深度信息是相关于至少一个先前时间点(或某一时间区间内)所取得的强度信息。
以下将接着详细说明如何得出动态评估结果及对应的处理方式：
图5是依据本发明第一实施例基于飞行时间测距的处理方法的流程图。请参照图5，处理器130自内存150或调变光接收电路120输入t+1时间点的待评估像素(步骤S510)。具体而言，处理器130取得当前时间点待评估像素所对应的深度信息。接着，处理器130会依据同一个待评估像素在不同时间点取得信息之间的差异，判断要采用哪一个时间点的深度信息。
针对一个待评估像素，处理器130判断其t+1时间点的当前深度信息与t时间点(即，先前时间点)的先前深度信息之间的差异是否大于噪声阈值(步骤S530)。具体而言，由实验观察得出噪声是影响针对静态物体的感测结果的主要原因之一。也就是说，不同时间点对静态物体量测的结果之间的差异应是受噪声所影响。若不同时间点对静态物体量测的结果之间的差异过大，则此差异应非仅受噪声影响，更可能是非静态物体所造成。本发明实施例藉由噪声阈值来判断此待评估像素在当前时间点是否属于静态物体。此噪声阈值代表噪声所造成的最大深度变异。此外，由于调变光MS的强度、物体TA的相对距离都会影响感测讯号DS的强度，并据以造成不同程度的噪声程度，因此噪声阈值相关于此待评估像素在当前时间点的强度信息。也就是说，针对不同时间点，处理器130会依据此待评估像素对应的深度信息来改变噪声阈值。
值得注意的是，本发明实施例是使用至少一个先前时间点的深度信息的平均值作为先前深度信息。即，这些先前时间点的深度信息经累计/加总后除以其个数的结果。这些先前时间点所感测到的都属于静态物体，且其深度信息的变化不大，故本发明实施例取这些深度信息的平均值来作为比对的依据。
需说明的是，本发明实施例不限制先前时间点的个数。例如，处理器130可能使用最后一次侦测到非静态物体的时间点的下一个取样时间点之后到当前时间点的上一个取样时间点之间的所有取样时间点的平均值，或是使用特定个数的先前时间点的平均值。
接着，若当前深度信息与其先前深度信息之间的差异大于噪声阈值，则处理器130判断此待评估像素的感测结果属于非静态物体，且处理器130将对此待评估像素更新成t+1时间点的深度信息(步骤S535)。处理器130可使用当前时间点的当前深度信息作为此待评估像素在当前时间点的输出。换句而言，针对感测出非静态物体的像素，处理器130不会/禁能使用数值平均结果来作为当前时间点的输出。此输出即可代表待评估像素在当前时间点感测到物体TA的距离(即，深度信息)，并可供其他组件或应用程序(例如，相机程序、测距程序等)使用。
另一方面，若当前深度信息与其先前深度信息之间的差异未大于噪声阈值，则处理器130判断此待评估像素的感测结果属于静态物体，且处理器130将对此待评估像素更新成平均深度信息(步骤S550)。针对平均深度信息，处理器130可依据当前深度信息及先前深度信息决定待评估像素在当前时间点的输出。
在本发明实施例中，若当前深度信息与其先前深度信息之间的差异未大于噪声阈值，则处理器130将此待评估像素的当前深度信息累积到累计信息。此累计信息是相关于此待评估像素在至少一个先前时间点对应的深度信息的加总。例如，若t-5至t时间点经判断属于静态物体，上述累计信息则是取t-5至t时间点的深度信息的数值的加总。在当前的t+1时间点，当前深度信息累积到累计信息即是t-5至t+1时间点的深度信息的数值的加总。接着，处理器130将此累计信息的平均结果作为待评估像素在当前时间点的输出。平均结果(即，平均深度信息)是针对此待评估像素的深度信息的数值在时域上进行平均运算，以作为消除噪声的基础算法：
Dt^'＝(D1+D2+D3+…Dt)/t…(1)
D1为第一时间点所得到的深度信息。依此类推，Dt为第t时间点所得到的深度信息的数值，且Dt’为t时间点的输出。即，深度信息的数值的加总除以个数。
需说明的是，本发明实施例不限制累计信息中先前时间点的个数。例如，处理器130可能使用最后一次侦测到非静态物体的时间点的下一个取样时间点之后到当前时间点的上一个取样时间点之间的所有取样时间点，或是使用特定个数的先前时间点。此外，在其他实施例中，处理器130亦可直接使用当前深度信息或先前深度信息中的一者来作为待评估像素在当前时间点的输出。
接着，处理器130可显示经步骤S353或S550更新后的深度信息(步骤S570)。例如，处理器130通过显示器呈现包括所有像素的输出的影像。此更新的深度信息即是前述当前时间点的输出。依此类推，处理器130可对影像中所有像素进行深度信息的更新。需说明的是，针对每个时间点，处理器130会重复进行第一实施例的流程，以得出各时间的输出。
图6是依据本发明第二实施例基于飞行时间测距的处理方法的流程图。在此实施例中，将进一步评估拍摄的影像是否存在全局动态模糊(global motion blur)的现象，即感测装置100在拍摄时移动而非静止状态，并据以判断将采用的深度信息，藉此可有效降低全局动态模糊对深度信息估测的影响。请参照图6，处理器130自内存150或调变光接收电路120输入t+1时间点的影像(即，当前时间点的影像)(步骤S610)。
针对影像中的单一待评估像素，处理器130判断其t+1时间点的当前深度信息与t时间点(即，先前时间点)的先前深度信息之间的差异是否小于噪声阈值(步骤S630)。需说明的是，步骤S630所述动态评估结果的判断流程可参酌步骤S530的内容，于此不再赘述。若此差异未小于噪声阈值(例如，差异大于噪声阈值)，则代表感测结果属于非静态物体，则处理器130将依据步骤S535更新成t+1时间点的深度信息，且进一步累计全局动态计数值(步骤S631)。此全局动态计数值将于后续说明其用途。另一方面，若此差异小于噪声阈值(例如，差异未大于噪声阈值)，则代表感测结果属于静态物体，则处理器130将依据步骤S550更新成平均深度信息(步骤S633)。
处理器130会判断是否完成对此影像中所有像素的评估(步骤S650)。例如，所有像素是否皆已得出动态评估结果并据以更新深度信息。若影像中尚有像素未评估或未更新，则针对此像素返回步骤S630，亦即针对这些尚有未评估的像素各别进行上述步骤S630至S650的流程。
若所有像素皆已更新深度信息，则处理器130判断当前时间点(即，t+1时间点)的影像是否有全局(global)的动态模糊(motion blur)发生。具体而言，若感测装置100移动，则感测结果会有全局动态模糊发生。而当前时间点所取得的所有像素也将受到全局动态模糊的影响。本发明实施例是基于全局动态计数值来判断是否有全局动态模糊发生。处理器130可加总此影像中所有像素经判断其差异大于噪声阈值的模糊数量(即，全局动态计数值)，并依据此模糊数量所占一张影像中所有像素数量的比例决定全局的动态模糊的发生。也就是说，此模糊数量代表一张影像中经判断有非静态物体的像素的个数，且模糊数量的多寡将是全局动态模糊的判断依据。
在本实施例中，每当一个像素在步骤S631经判断有非静态物体，则处理器130会将全局动态计数值加一。接着，处理器130判断所有像素经更新深度信息之后所得的全局动态计数值相对于全部像素所占的比例是否大于比例阈值(步骤S670)。此全局动态计数值即是前述模糊数量。换句而言，若对应于某一像素的深度信息在不同时间点之间的差异大于噪声阈值，则累计全局动态计数值，且经评估所有像素后即可得到最终的模糊数量(即，累计后的全局动态计数值)。
值得注意的是，比例阈值是用于判断全局动态模糊的参考基准。例如，比例阈值为20％、30％或40％等。以240×180分辨率的影像为例，若将作为比对的比例阈值设定为20％，则影像画面中模糊像素的数量则为8640。然而，比例阈值、模糊数量可能依据不同分辨率或其他条件而被调整，本发明实施例不加以限制。
若全局动态计数值所占的比例未大于比例阈值，则代表全局的动态模糊未发生，且处理器130将维持影像中所有像素对应的输出(步骤S671)。即，采用步骤S631及S633更新后的深度信息作为输出。
另一方面，若全局动态计数值所占的比例大于比例阈值，则代表全局的动态模糊的发生，处理器130将影像中所有像素对应的输出变更成对应的当前深度信息，即可显示t+1时间点的影像(步骤S673)。因此，在步骤S673中，原先经步骤S633更新为平均深度信息的像素将变更成使用当前深度信息(t+1时间点)作为输出。另一方面，经步骤S631更新为t+1时间点的像素将继续使用当前深度信息作为输出。
需说明的是，第二实施例是利用模糊数量来判断全局动态模糊的发生。在其他实施例中，处理器130亦可通过额外装载在感测装置100上的姿态侦测器(例如，重力传感器(G-sensor)/加速度计(Accelerometer)、惯性(Inertial)传感器、陀螺仪(Gyroscope)、磁力传感器(Magnetometer)或其组合)评估感测装置100的姿态信息(例如，三轴的重力加速度、角速度或磁力等数据)，并据以得出感测装置100是否移动(即，全局动态模糊的发生)。
综上所述，本发明实施例基于飞行时间测距的运算装置、感测装置及处理方法，可基于当前时间点与先前时间点的深度信息差异来判断是否有非静态物体，并据以对静态物体使用数值平均来消除噪声，且对非静态物体使用当前深度信息作为输出。此外，若经评估有全局的动态模糊现象，本发明实施例可将影像中所有像素的输出都更新成当前深度信息。藉此，可以简便的方式来降低噪声及动态模糊对深度信息估测的影响。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种基于飞行时间测距的运算装置，其特征在于，包括：
内存，记录至少一像素所对应的强度信息以及用于所述运算装置的处理方法所对应的程序代码，其中所述强度信息相关于通过时间差或相位差感测调变光所得的讯号强度；以及
处理器，耦接所述内存，并经配置用以执行所述程序代码，所述处理方法包括：
依据当前时间点的所述强度信息计算所述至少一像素中待评估像素的当前深度信息；以及
依据所述待评估像素的所述当前深度信息与其在至少一先前时间点所对应的先前深度信息之间的差异，决定是否使用所述当前深度信息作为所述待评估像素在所述当前时间点的输出，包括
判断所述差异是否大于噪声阈值；
反应于所述差异未大于所述噪声阈值，依据所述当前深度信息及所述先前深度信息决定所述待评估像素在所述当前时间点的所述输出；
判断所述当前时间点的影像是否有全局的动态模糊发生，其中所述影像包括所有所述至少一像素；
反应于所述全局的动态模糊未发生，维持所述影像中所有所述至少一像素对应的所述输出；以及
反应于所述全局的动态模糊的发生，将所述影像中所有所述至少一像素对应的所述输出由依据所述当前深度信息及所述先前深度信息所决定变更成使用对应的所述当前深度信息。
2.根据权利要求1所述的基于飞行时间测距的运算装置，其特征在于，所述处理方法还包括：
反应于所述差异大于所述噪声阈值，使用所述当前深度信息作为所述待评估像素在所述当前时间点的所述输出。
3.根据权利要求2所述的基于飞行时间测距的运算装置，其特征在于，所述处理方法还包括：
反应于所述差异未大于所述噪声阈值，将所述当前深度信息累积到累计信息，其中所述累计信息相关于所述待评估像素在所述至少一先前时间点所对应的所述先前深度信息的加总；以及
将所述累计信息的平均结果作为所述待评估像素在所述当前时间点的所述输出。
4.根据权利要求2所述的基于飞行时间测距的运算装置，其特征在于，所述处理方法还包括：
加总所述影像中所有所述至少一像素经判断所述差异大于所述噪声阈值的模糊数量；以及
依据所述模糊数量所占的比例决定所述全局的动态模糊的发生。
5.根据权利要求2所述的基于飞行时间测距的运算装置，其特征在于，所述噪声阈值相关于所述当前时间点的所述强度信息。
6.一种基于飞行时间测距的处理方法，其特征在于，包括：
取得至少一像素所对应的强度信息，其中所述强度信息相关于通过时间差或相位差感测一调变光所得的讯号强度；
依据当前时间点的所述强度信息计算所述至少一像素中待评估像素的当前深度信息；以及
依据所述待评估像素的所述当前深度信息与其在至少一先前时间点所对应的先前深度信息之间的差异，决定是否使用所述当前深度信息作为所述待评估像素在所述当前时间点的输出，包括：
判断所述差异是否大于噪声阈值；
反应于所述差异未大于所述噪声阈值，依据所述当前深度信息及所述先前深度信息决定所述待评估像素在所述当前时间点的所述输出；
判断所述当前时间点的影像是否有全局的动态模糊发生，其中所述影像包括所有所述至少一像素；
反应于所述全局的动态模糊未发生，维持所述影像中所有所述至少一像素对应的所述输出；以及
反应于所述全局的动态模糊的发生，将所述影像中所有所述至少一像素对应的所述输出由依据所述当前深度信息及所述先前深度信息所决定变更成使用对应的所述当前深度信息。
7.根据权利要求6所述的基于飞行时间测距的处理方法，其特征在于，决定是否使用所述当前深度信息作为所述待评估像素在所述当前时间点的所述输出的步骤包括：
反应于所述差异大于所述噪声阈值，使用所述当前深度信息作为所述待评估像素在所述当前时间点的所述输出。
8.根据权利要求7所述的基于飞行时间测距的处理方法，其特征在于，依据所述当前深度信息及所述先前深度信息决定所述待评估像素在所述当前时间点的所述输出的步骤包括：
将所述当前深度信息累积到累计信息，其中所述累计信息相关于所述待评估像素在所述至少一先前时间点所对应的所述先前深度信息的加总；以及
将所述累计信息的平均结果作为所述待评估像素在所述当前时间点的所述输出。
9.根据权利要求7所述的基于飞行时间测距的处理方法，其特征在于，判断所述当前时间点的所述影像是否有全局的动态模糊发生的步骤包括：
加总所述影像中所有所述至少一像素经判断所述差异大于所述噪声阈值的模糊数量；以及
依据所述模糊数量所占的比例决定所述全局的动态模糊的发生。
10.根据权利要求7所述的基于飞行时间测距的处理方法，其特征在于，所述噪声阈值相关于所述当前时间点的所述强度信息。
11.一种基于飞行时间测距的感测装置，其特征在于，包括：
如权利要求1至5任一项所述基于飞行时间测距的运算装置；
调变光发射电路，发射调变光；以及
调变光接收电路，耦接所述运算装置，并接收所述调变光以产生感测讯号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910782087.5A CN112415487B (zh) | 2019-08-23 | 2019-08-23 | 基于飞行时间测距的运算装置、感测装置及处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910782087.5A CN112415487B (zh) | 2019-08-23 | 2019-08-23 | 基于飞行时间测距的运算装置、感测装置及处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112415487A CN112415487A (zh) | 2021-02-26 |
| CN112415487B true CN112415487B (zh) | 2024-04-16 |
Family
ID=74779334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910782087.5A Active CN112415487B (zh) | 2019-08-23 | 2019-08-23 | 基于飞行时间测距的运算装置、感测装置及处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112415487B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101909142A (zh) * | 2009-06-05 | 2010-12-08 | 瑞昱半导体股份有限公司 | 影像处理装置及影像处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9625569B2 (en) * | 2012-12-17 | 2017-04-18 | pmdtechnologies ag | Time-of-flight camera with motion detection |
| US20150193947A1 (en) * | 2014-01-06 | 2015-07-09 | Qualcomm Incorporated | System and method to generate high dynamic range images with reduced ghosting and motion blur |
| JP6855746B2 (ja) * | 2016-10-18 | 2021-04-07 | 株式会社リコー | 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法 |
| KR102320198B1 (ko) * | 2017-04-05 | 2021-11-02 | 삼성전자주식회사 | 깊이 영상 보정 방법 및 장치 |
-
2019
- 2019-08-23 CN CN201910782087.5A patent/CN112415487B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101909142A (zh) * | 2009-06-05 | 2010-12-08 | 瑞昱半导体股份有限公司 | 影像处理装置及影像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112415487A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230176223A1 (en) | Processing system for lidar measurements | |
| CN111580067B (zh) | 基于飞行时间测距的运算装置、感测装置及处理方法 | |
| CN109903324B (zh) | 一种深度图像获取方法及装置 | |
| US20210116572A1 (en) | Light ranging apparatus | |
| CN110596725B (zh) | 基于插值的飞行时间测量方法及测量系统 | |
| US9400917B2 (en) | Real-time dynamic reference image generation for range imaging system | |
| US20200267367A1 (en) | Depth non-linearity compensation in time-of-flight imaging | |
| CN111149350B (zh) | 使用事件相机生成静态图像 | |
| US20210405158A1 (en) | Depth sensing using optical time-of-flight techniques through a transmissive cover | |
| US20190383906A1 (en) | Distance-measuring apparatus that outputs precision information | |
| KR20120025858A (ko) | 깊이 센싱 장치 및 방법 | |
| CN112946675A (zh) | 一种基于时间融合的距离测量方法、系统和设备 | |
| JP6988071B2 (ja) | 距離測定装置及び距離測定方法 | |
| CN112114328B (zh) | 飞时测距装置 | |
| JP2016017799A (ja) | 光飛行型測距装置 | |
| KR20100088543A (ko) | 광학 네비게이션 시스템 및 광학 네비게이션 실행 방법 | |
| TWI707152B (zh) | 基於飛行時間測距的運算裝置、感測裝置及處理方法 | |
| CN112415487B (zh) | 基于飞行时间测距的运算装置、感测装置及处理方法 | |
| CN111522024B (zh) | 解决多路径损坏的图像处理系统、方法和成像设备 | |
| JPWO2019050024A1 (ja) | 距離測定方法および距離測定装置 | |
| CN110554397A (zh) | 距离图像生成摄像机和距离图像生成方法 | |
| US11467258B2 (en) | Computation device, sensing device and processing method based on time of flight | |
| CN113497892B (zh) | 摄影装置、测距装置及方法、以及存储介质、计算机装置 | |
| US20150334304A1 (en) | Image acquisition method and device | |
| CN118119966A (zh) | 用于获得暗电流图像的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |