CN107278272B - 时空压缩飞行时间成像技术 - Google Patents

时空压缩飞行时间成像技术 Download PDF

Info

Publication number
CN107278272B
CN107278272B CN201680012398.8A CN201680012398A CN107278272B CN 107278272 B CN107278272 B CN 107278272B CN 201680012398 A CN201680012398 A CN 201680012398A CN 107278272 B CN107278272 B CN 107278272B
Authority
CN
China
Prior art keywords
radiation
information
range
sensor
albedo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012398.8A
Other languages
English (en)
Other versions
CN107278272A (zh
Inventor
O·梅纳什
A·布龙斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107278272A publication Critical patent/CN107278272A/zh
Application granted granted Critical
Publication of CN107278272B publication Critical patent/CN107278272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes

Abstract

各实施例总体上涉及一种装置、方法、系统、和/或其他技术,用于:至少部分地基于环境恢复传感器测量信息来确定估计的环境电磁(EM)辐射信息;至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、感测矩阵信息、以及所述估计的环境EM辐射信息来确定估计的反照率信息;以及至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、范围恢复发射器调制信息、以及感测矩阵信息来确定估计的范围信息。

Description

时空压缩飞行时间成像技术
技术领域
本文描述的实施例总体上涉及用于反照率和/或范围图像的压缩感测的技术。
背景技术
各种导航系统可以使用遥感系统来测量到一个或多个物体的距离,以便确保正确的导航(即碰撞避让和/或检测)。例如,各种交通工具(例如地面交通工具、空中交通工具、有轨交通工具、船舶等)可以利用这种导航系统进行自动导航、碰撞、和/或避让。然而,传统的遥感系统可能需要检测、采集、和/或处理大量的信息。因此,需要改进的系统、方法、和/或装置。
附图说明
图1展示了用于确定估计环境EM辐射信息、估计反照率(albedo)信息、和/或估计范围信息的成像系统的实施例。
图2展示了用于确定估计环境EM辐射信息、估计反照率信息、和/或估计范围信息的成像系统的详细实施例。
图3A-3B展示了用于对电磁辐射发射器设备进行调制和对电磁辐射传感器设备进行调制的时序图的实施例。
图4展示了第一逻辑流程图的实施例。
图5展示了第二逻辑流程图的实施例。
图6展示了计算系统的实施例。
图7展示了计算架构的示例性实施例。
具体实施方式
各实施例总体上涉及用于确定估计环境EM辐射信息、估计反照率信息、和/或估计范围信息的装置、系统、和/或方法。更具体地,实施例可以涉及使用压缩飞行时间进行软或硬实时范围图估计的成像装置、系统和/或方法。可以包括但不限于任何未知物体和/或表面的介质可以由从电磁(EM)辐射发射器设备发射的一个或多个结构化二进制模式序列照亮。环境EM辐射和/或经反射的EM辐射可以由EM辐射传感器设备收集,从而产生不完全的压缩测量结果集合,所述压缩测量结果集合可以使用压缩或压缩感测技术来重新构造,以确定反照率图估计(例如,估计反照率信息的聚合等)和/或范围图估计(例如,估计范围信息的聚合等)。
在一些实施例中,反照率图估计可以包括但不限于由具有特定分辨率的二维矩阵表示的二维(2D)反照率图像,其中二维矩阵中的每个元素(其对应于反照率图像中的像素)可以表示估计反照率。类似地,范围图估计可以包括但不限于由具有特定分辨率的二维矩阵表示的2D范围图像,其中二维矩阵中的每个元素(其对应于范围图像中的像素)可以表示估计范围或深度。在一些实施例中,2D范围图像和/或2D反照率图像可以以特定频率连续地更新或刷新。
在一些实施例中,反照率图像可以表示物体的实际亮度,而与到EM辐射传感器设备的距离无关。换句话说,反照率图像可以表示EM辐射的量或物体反射的总EM辐射的分率。例如,在一些实施例中,具有高反照率(接近一(1))的物体可能非常亮,并且具有低反照率(接近零(0))的物体可能较暗。
为了便于以软或硬实时方式确定反照率图估计和/或范围图估计,在一些实施例中,成像装置、系统、和/或方法可以包括但不限于飞行时间成像设备、可操作地耦合到飞行时间成像设备的EM辐射发射器设备、和/或可操作地耦合到飞行时间成像设备的EM辐射传感器设备。
在一些实施例中,飞行时间成像设备可以被配置为用于向EM辐射发射器设备提供反照率恢复发射器调制信息和/或范围恢复发射器调制信息,以发射经空间和时域调制的EM辐射(例如,来自扫描激光(Light Amplification by Stimulated Emission ofRadiation:LASER)源的光子等)。特别地,并且在一些实施例中,在反照率发射器恢复调制信息和/或范围发射器恢复调制信息中标识的一个或多个发射周期期间,EM辐射可以沿竖直轴(例如,y轴等)用空间调制函数I(y)进行空间调制并且用时间发射器调制函数m(t)进行时域调制,其中光轴(例如,光轴垂直于EM辐射发射器设备等)可以与水平轴(例如,x轴等)对齐,使得EM辐射传感器设备可以检测或采集对称图像。另外或替代地,在一些实施例中,EM辐射还可以沿水平轴(例如,x轴等)用空间调制函数I(x)进行空间调制并且用时间发射器调制函数m(t)进行时域调制。另外或替代地,在一些实施例中,EM辐射可以进一步沿竖直轴和水平轴(例如,x轴和y轴等)用空间调制函数I(x,y)进行空间调制并且用时间发射器调制函数m(t)进行时域调制。
在一些实施例中,飞行时间成像设备可以被进一步配置为用于向EM辐射传感器设备(例如,单个光子检测器设备、单个光子计数感测设备等)提供传感器调制信息。特别地,并且在一些实施例中,在由反照率恢复传感器测量信息和/或范围恢复传感器测量信息表示的一个或多个时间周期期间,EM辐射传感器设备可以通过一个或多个时间传感器调制函数n(t)进行时域调制,以采集由环境EM辐射传感器测量信息表示的环境EM辐射、以及所反射的EM辐射的至少一部分。
在一些实施例中,飞行时间成像设备可以被配置为用于至少部分地基于环境EM辐射传感器测量信息来确定估计环境EM辐射信息。在一些实施例中,飞行时间成像设备可以进一步配置为用于至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、以及所述估计环境EM辐射信息来确定估计反照率信息,其中聚合的估计范围信息可以表示由一个或多个2D反照率图像表示的反照率图估计。
在一些实施例中,飞行时间成像设备可以被进一步配置为用于至少部分地基于范围恢复传感器测量信息、估计反照率信息、以及范围恢复发射器调制信息来确定估计范围信息,其中聚合的估计范围信息可以表示可由一个或多个2D范围图像表示的范围图估计。
可以理解,通过采用反照率信息和范围信息是可压缩的先验知识,与传统的反照率和/或范围感测技术相比,可以利用压缩感测技术来确定使用每像素少得多的EM辐射投影(例如,每像素较小数量级的EM辐射投影等)的一个或多个2D反照率图像和/或2D范围图像。这种技术优点可以进一步实现更长的曝光时间来采集传感器测量信息并导致更高的信噪比(SNR)或更高的更新频率/更高的帧速率。
另外,在其中EM辐射传感器设备包括单个光子检测器设备的一些实施例中,与被配置为用于使用全方位省EM辐射源和雪崩光电二极管或PIN光电二极管阵列(其可能体积大、功耗大、昂贵且分辨率有限)获取反照率信息和/或范围信息的传统设备相比,可以实现大的功率、空间和/或成本节约。此外,通过消除通常嵌入在EM辐射传感器设备中的数字微镜设备(DMD)的空间需求,并且在EM辐射发射器设备中并入一维微机电系统(MEMS)镜,EM辐射传感器设备的分辨率可以不再受限制,并且因此可以在保持较低的功耗的同时实现较高的空间分辨率。这些仅仅是可以通过上述装置、系统和/或方法实现的几个技术优点。鉴于下面进一步公开的详细讨论,对于本领域技术人员而言,其他技术优点可以变得明显。
还可以理解,各实施例还涉及用于执行这些操作的装置、系统和/或方法。该装置可以是为了所需目的而特别构造的,或者它可以包括通过存储在计算机中的由计算机程序或应用选择性地激活或重新配置的通用计算机。本文呈现的过程不是固有地与特定计算机或其他装置相关。各种通用机器可以与根据本文的教导编写的程序一起使用,或者可以证明构造更专用的装置来执行所需方法是方便的。各种这些机器的所需结构将从所给出的描述中显现。
现在参考附图,其中,贯穿附图相同的参考号用来指代相同的元件。在以下描述中,出于解释的目的,阐述了许多具体的细节以便提供对其的彻底理解。然而,可能明显的是,可以在没有这些具体细节的情况下实践新颖的实施例。在其他情况下,以框图形式示出众所周知的结构和设备,以便有助于其说明。意图是覆盖与所要求保护的主题一致的所有修改、等同物和替代物。
图1展示了用于处理信息并且以软或硬实时方式确定估计环境EM辐射信息、反照率图估计和/或范围图估计的成像系统100的示例性实施例。在一些实施例中,成像系统100可以包括但不限于飞行时间成像设备110、可操作地耦合和/或连接到飞行时间成像设备110的EM辐射发射器设备122、以及也可操作地耦合和/或连接到时间飞行设备110的EM辐射传感器设备124。
在一些实施例中,飞行时间成像设备110可以进一步包括但不限于处理单元112和可操作地耦合到处理单元112的存储器114,其中处理单元112可以包括但不限于处理器电路系统。此外,飞行时间成像设备110可以包括但不限于可操作地耦合到存储器114的一个或多个I/O端口120、和/或用于对和/或从EM辐射发射器设备122和/或EM辐射传感器设备124发送和/或接收信息(例如,以数字信号编码的信息等)的处理单元112。存储器114可以包括但不限于操作系统116和飞行时间应用118。
在一些实施例中,操作系统116可以是管理硬件资源(例如,存储器114、处理单元112、I/O端口120等)和/或软件资源(例如信号量、互斥体、句柄、应用、进程、线程等)的任何类型的软件。操作系统116的示例可以包括但不限于基于
Figure BDA0001389487860000051
的操作系统、
Figure BDA0001389487860000052
操作系统、基于
Figure BDA0001389487860000053
的操作系统、基于实时微控制器操作系统
Figure BDA0001389487860000055
的操作系统、基于实时Vx
Figure BDA0001389487860000054
的操作系统等。
在一些实施例中,飞行时间成像设备110可以进一步包括但不限于专用集成电路(ASIC)和/或现场可编程门阵列(FPGA),其中处理单元112、存储器114、操作系统116、和/或飞行时间应用118的至少一部分可以使用硬件描述语言(HDL)、门级布置工具(例如,网表等)、和/或路由工具来实现为专用电路系统。
在一些实施例中,相对于图2进一步讨论的飞行时间应用118一般可以被安排成用于至少部分地基于提供给EM辐射发射器设备122和EM辐射传感器设备124和/或从其接收的信息以软或硬实时方式来确定估计环境EM辐射信息、反照率图估计和/或范围图估计。
在一些实施例中,I/O端口120可以包括诸如收发器的电路系统,所述电路系统用于将信息作为一个或多个分组、帧或被发送到可操作耦合到的设备(例如,EM辐射发射器设备122、EM辐射传感器设备124等)和/或从其接收的以信号编码的任何其他信息单元进行通信。实施例并不局限于这种方式。
可以理解,虽然相对于附图提供和讨论了说明性实施方式,但成像系统110可以通过任何类型的计算设备或嵌入式计算设备实现,其可以包括但不限于计算机、台式计算机、笔记本电脑、平板电脑、包括蜂窝电话的电话、智能电话、个人数字助理、现场可编程门阵列(FGPA)夹层卡(FMC)、数字信号处理(DSP)子卡、服务器、机架式服务器、刀片服务器、或任何其他类型的服务器。实施例并不局限于这种方式。
在一些实施例中,EM辐射发射器设备122可以包括但不限于数字到模拟(D/A)转换器设备162,所述D/A转换器设备被可操作地耦合到发射器设备164,以将从飞行时间成像设备110接收的信息转换为模拟信号来控制发射器设备164。发射器设备164可以包括但不限于用于向镜设备166发射EM光谱(例如,可见光、红外线、紫外线、γ射线、X射线、微波、无线电波等)中具有相关联的EM辐射强度的EM辐射的电路系统和/或光学器件。发射器设备164可以被配置为根据相对于图2、图3A和图3B进一步讨论的时间发射器调制函数m(t)发射EM辐射。
在一些实施例中,EM辐射发射器设备122可以进一步包括但不限于D/A转换器设备160,所述D/A转换器设备用于将从飞行时间成像设备110接收的信息转换为模拟信号来控制镜设备166。镜设备166可以包括但不限于可操作地耦合到一个或多个镜的电路系统和/或光学器件,所述一个或多个镜用于将由发射器设备164发射的EM辐射的大部分(例如,由发射器设备164发射的EM辐射的约80%或更多等)(如果不是全部)以一个或多个角度或相位朝向具有相关联的焦点中心(fC1)140的EM辐射发射器设备122中的孔或开口偏转。
在一些实施例中,相对于图2、图3A和图3B进一步讨论的,镜设备166可以被配置为用于将由发射器设备164发射的EM辐射作为结构化模式偏转,所述结构化模式可以包括但不限于用于重新构造具有图像尺寸宽度(W)×高度(R)(例如,640(W)×480(R)分辨率图像等)的2D反照率图像和/或2D范围图像)的沿着竖直轴ΙK[y]在一个或多个不同位置170(例如,W个不同竖直位置等)处的一个或多个经空间调制的投影150(例如,K个经空间调制的投影等)。
另外或替代地,镜设备166还可以被配置为用于将由发射器设备164发射的EM辐射作为结构化模式偏转,所述结构化模式可以包括但不限于用于重新构造2D反照率图像和/或2D范围、或两者(即作为2D编码模式的水平和竖直轴ΙK[x,y])的沿着水平轴线ΙK[x]在一个或多个不同位置处的一个或多个经空间调制的投影。实施例并不局限于这种方式。
因此,在一些实施例中,在一个或多个时间周期内,EM辐射发射器设备122可以被配置为用于发射一个或多个经空间调制的投影150,其中每个经空间调制的投影可以包括一个或多个EM辐射带(例如,亮和/或暗带,亮、暗、和/或灰色带,渐变带等),其中这些带的强度可以是感测矩阵(I)中的一个或多个元素和最大EM辐射发射强度P(例如,以瓦为单位的标量值等)的函数。
作为示例,EM辐射发射器设备122可以实现为扫描LASER设备,所述扫描LASER设备可以包括但不限于LASER发射器设备和一维MEMS扫描镜设备,所述一维MEMS扫描镜设备被配置为用于根据一个或多个经空间调制的投影ΙK[y](例如,K个不同的经空间调制的投影等)沿着竖直轴(例如,y轴等)在为W个不同竖直位置170的一个或多个垂直位置处发射带的结构化模式。此外,沿着y轴的单个经空间调制的投影中的带的强度(例如,I1[y]等)可以是相对于图2进一步讨论的感测矩阵或降维矩阵(I)的行(例如,第1行、第2行、…、第K行等)中的一个或多个伪随机数(例如,R个伪随机数等)的值(例如,零和一之间的值等)的函数。扫描LASER设备可以相对于时间发射器调制函数m(t)进行进一步调制,使得可以在由时间发射器调制函数m(t)标识的并相对于图2、与3A和图3B进一步讨论的一个或多个时间周期内发射所述一个或多个经空间调制的投影IK[y]。
在一些实施例中,EM辐射传感器设备124可以包括但不限于数字到模拟(D/A)转换器设备152,所述D/A转换器设备被可操作地耦合到检测器设备156和飞行时间成像设备110,以将从飞行时间成像设备110接收的信息转换为模拟信号来控制检测器设备156。在一些实施例中,检测器设备156可以包括二进制门(例如,金属氧化物半导体场效应晶体管(MOSFET)等)(未示出)和/或电子快门设备(未示出),以在相对于图2、图3A和图3B进一步讨论的一个或多个时间周期内根据时间传感器调制函数n(t)对EM辐射的偏转进行调制。另外或替代地,检测器设备156可以被配置为用于通过对提供给检测器设备156的功率进行调制,在一个或多个时间周期内根据时间传感器调制函数n(t)对EM辐射的检测进行调制。EM辐射可以包括但不限于环境EM辐射148、由EM辐射发射器设备122发射并反射回的EM辐射、或任何其他EM辐射源。
为了检测EM辐射,检测器设备156可以包括但不限于用于通过有限视野(例如,60度、80度等)内的孔和相关联的焦点中心(fC2)142接收EM辐射的电路系统和/或光学器件。另外或替代地,检测器设备156还可以包括但不限于通过用于全方位接收EM辐射的孔的电路系统和/或光学器件。在一些实施例中,EM辐射传感器设备124可以进一步包括但不限于可操作地耦合到检测器设备156和飞行时间成像设备110的模拟到数字(A/D)转换器设备154,并且可以将由检测器设备156生成的表示所检测到的EM辐射的信号转换成传送到飞行时间成像设备110的数字信号。
在一些实施例中,EM辐射发射器设备122和EM辐射传感器设备124的孔可以被定位成距介质中的一个或多个物体(例如,物体130)的一个或多个表面基本上相同的距离(例如,小于一(1)mm的差异等)。在其中EM辐射发射器设备122与焦点中心(fC1)140相关联并且EM辐射传感器设备124与焦点中心(fC2)142相关联的实施例中,EM辐射发射器设备122和EM辐射传感器设备124可以被定位成使得从EM辐射发射器设备122和EM辐射传感器设备124的孔到物体130的一个或多个表面的距离、即到表面(ds)144的距离可以小于距离在焦点中心(fC1)140与焦点中心(fC2)142之间的距离,即焦点中心距离(fcd)146。
另外或替代地,在其中EM辐射发射器设备122和EM辐射传感器设备124的孔共享联合焦点中心147、或者EM辐射传感器设备124被配置为具有全方位接收EM辐射的电路系统和/或光学器件的实施例中,EM辐射发射器设备122和EM辐射传感器设备124可以相对于焦点中心(fC1)140与焦点中心(fC2)142之间的距离进行定位,而不管与表面(ds)144的距离如何。
图2展示了用于确定估计环境EM辐射信息、估计反照率信息、和/或估计范围信息的成像系统100的详细实施例。在一些实施例中,飞行时间应用118可以进一步包括但不限于管理部件220、发射器部件222、传感器部件224、和/或计算部件226。可以理解,飞行时间应用118和/或飞行时间应用118的一个或多个部件可以被实现为一个或多个动态链接库、静态库、功能、类。另外或替代地,飞行时间应用118的至少一部分和/或飞行时间应用118的一个或多个部件还可以利用诸如逻辑门、电路等的硬件部件来实现。实施方式并不局限于这种方式。
在一些实施例中,管理部件220一般可以被安排成利用发射器部件222、传感器部件224和/或计算部件226来生成反照率图估计和/或范围图估计。在一些实施例中,反照率图估计可以包括但不限于由具有特定分辨率的二维矩阵(例如可以包括但不限于640(即宽(W))列乘以480(即,高度(R))行的元素的二维矩阵)表示的二维(2D)反照率图像,其中矩阵中的每个元素可以对应于反照率图像中的像素可以代表估计的反照率。类似地,范围图估计可以包括但不限于由具有特定分辨率的二维矩阵(例如可以包括但不限于640(即宽(W))列乘以480(即,高度(R))行的元素的二维矩阵)表示的2D范围图像,其中二维矩阵中的每个元素(其对应于范围图像中的像素)可以表示估计范围或深度。在一些实施例中,2D范围图像和/或2D反照率图像可以以特定频率(例如以软或硬实时方式每秒60次)连续地更新或刷新。
为了生成反照率图估计和/或范围图估计,管理部件220可以被配置为用于确定2D反照率图像和/或2D范围图像中的每一列,其中可以针对每一列通过沿着y轴(IK[y])投射K个经空间调制的投影在空间上投影K来确定标准辐射度计算,所述标准辐射度计算可以通过以下形式的传感器辐照度等式(等式(A1))给出:
b=∫tn(t)(∫yI(y)a(y)m(t-τ(y))dy+γ)dt
其中γ可以表示环境EM辐射148(即环境EM辐射);b可以由从EM辐射传感器设备124接收的传感器测量信息232表示;n(t)可以表示关于时间的传感器调制函数,并且可以由传输到EM辐射传感器设备124的传感器调制信息230来表示;I(y)可以表示关于竖直轴(例如,y轴等)的空间调制函数,并且可以由发射器调制函数234的至少一部分表示;m(t)可以表示关于时间的发射器调制函数(即时间发射器调制函数),并且还可以由传输到EM辐射发射器设备122的发射器调制信息234来表示;并且τ(y)可以表示从与EM辐射发射器设备122相关联的联合焦点中心147发射到物体130的一个或多个表面并反射回到EM辐射传感器设备124的EM辐射的行进时间(即,行进时间信息)或者从与EM辐射发射器设备122相关联的焦点中心(fC1)140发射到物体130并反射回到与EM辐射传感器设备124相关联的焦点中心(fC2)142的行进时间(即,行进时间信息)。
在一些实施例中,d(y)可以表示从EM辐射发射器设备122的焦点中心(fC1)140到物体130的范围或距离,并且可以通过以下等式(等式(A2))来估计出:
Figure BDA0001389487860000101
其中τ(y)可以表示以上讨论的行进时间信息;并且c可以代表EM辐射发射器设备122和物体130之间的介质中EM辐射的速度,例如为光速=299,792,458=m/s。等式(A1)可以进一步被排列成以下等式(等式(A3)):
Figure BDA0001389487860000102
所述等式利用卷积积分或超位置积分可以更进一步排列成如下等式(等式(A4)):
Figure BDA0001389487860000103
其中γ可以表示如先前所讨论的环境EM辐射148(即环境EM辐射);a(y)可以表示反照率,并且τ(y)可以表示可利用等式(A2)确定或计算出的范围或距离的行进时间或延迟。另外,通过检查K个经空间调制的投影,等式(A4)可以被进一步排列为(等式(A5)):
Figure BDA0001389487860000111
在一些实施例中,飞行时间设备110并且特别是飞行时间设备110的计算部件226可以被配置为用于根据等式(A5)来确定环境EM辐射信息(γ)、反照率信息a(y)、和/或范围信息(τ(y))。
估计环境EM辐射
为了确定环境EM辐射信息
Figure BDA0001389487860000113
的估计值(即,估计环境EM辐射信息),在一些实施例中,发射器部件222可以通过将环境恢复发射器调制信息提供给EM辐射发射器设备122来将EM辐射发射器设备122配置为用于发射EM辐射,其中可以根据时间发射器调制函数m(t)来生成环境恢复发射器调制信息,所述时间发射器调制函数被设定为(发射器调制函数(E1)):
m(t)=0
其中为零(0)的标量值可以表示被配置为不发射任何EM辐射的EM辐射发射器设备122。
在一些实施例中,传感器部件224可以通过将环境恢复传感器调制信息提供给EM辐射传感器设备124来将EM辐射传感器设备124配置为用于检测或采集环境EM辐射,其中可以根据传感器调制函数n(t)来生成环境恢复传感器调制信息,所述传感器调制函数被设定为(传感器调制函数(S1)):
Figure BDA0001389487860000112
其中为一(1)的标量值可以表示被配置为用于检测或采集EM辐射的EM辐射传感器设备124,并且为零(0)的标量值可以表示被配置为不检测或采集EM辐射的EM辐射传感器设备124;其中tw可以表示以上讨论的感测窗口周期。
作为响应,EM辐射传感器设备124可以将由传感器测量信息(b环境)232表示的并表示所检测到的或采集到的环境EM辐射的传感器测量结果(即,环境恢复传感器测量信息)提供给时间飞行应用118的传感器部件224。另外,传感器部件224可以经由(多个)I/O端口120接收环境恢复传感器测量信息,并且将所接收的环境恢复传感器测量信息存储在例如存储器114中。
在一些实施例中,tw可以表示感测窗口周期,并且可以至少部分地基于成像系统100的总范围来确定和设定。在一个非限制性示例中,tw可以由(等式(B1))确定:
tw=te+tm
其中te可以表示最大反射周期,即,从EM辐射发射器设备122发射的EM辐射到达物体130并被反射回到EM辐射传感器设备124所需的最大时间,或者换句话说,表示从距EM辐射发射器设备122和EM辐射传感器设备124最远的物体接收EM辐射回波的最大时间;并且tm可以表示可由成像系统100的动态范围和噪声灵敏度确定或推导出的固有系统周期。
在一些实施例中,EM辐射发射器设备122与EM辐射传感器设备124之间的相关函数可以被设定为:
(n*m)(t)=0
并且等式(A4)可以变换为(等式(B2)):
Figure BDA0001389487860000121
所述等式可以进一步变换为(等式(B3)):
Figure BDA0001389487860000122
其中
Figure BDA0001389487860000123
可以表示估计环境EM辐射;b环境可以表示从EM辐射传感器设备124接收的环境恢复传感器测量信息;并且tw可以表示以上讨论的感测窗口周期。
在一些实施例中,飞行时间应用118的计算部件226可以被配置为用于基于感测窗口周期tw和所存储的环境恢复传感器测量信息b根据等式(B3)来确定或计算估计环境EM辐射
Figure BDA0001389487860000124
估计反照率
为了确定估计反照率信息
Figure BDA0001389487860000125
在一些实施例中(例如,相对于图3A进一步讨论的实施例),发射器部件222可以通过向EM辐射发射器设备122提供反照率发射器恢复调制信息将EM辐射发射器设备122配置为用于发射作为K个经空间调制的投影Ιk[y]的EM辐射,其中可以根据时间发射器调制函数m(t)来生成反照率发射器恢复调制信息,所述时间发射器调制函数被设定为(发射器调制函数(E2)):
Figure BDA0001389487860000131
其中P(例如,标量值等)可以表示最大EM辐射发射强度,即EM辐射发射器设备122的最大输出功率;tw可以表示感测窗口周期,如以上所讨论的。并且te可以表示最大反射周期,也如以上所讨论的。
另外,传感器部件224可以通过将反照率恢复传感器调制信息提供给EM辐射传感器设备124来将EM辐射传感器设备124配置为用于检测或采集由EM辐射发射器设备122发射并反射回到EM辐射传感器设备124的EM辐射,其中可以根据传感器调制函数n(t)来生成反照率恢复传感器调制信息,所述传感器调制函数被设定为(传感器调制函数(S2)):
Figure BDA0001389487860000132
其中为一(1)的标量值可以表示被配置为用于检测或采集EM辐射的EM辐射传感器设备124,并且为零(0)的标量值可以表示被配置为不检测或采集EM辐射的EM辐射传感器设备124,如以上所讨论的;te可以表示最大反射周期,也如以上所讨论的。并且tw可以表示感测窗口周期,如以上所讨论的。
作为响应,EM辐射传感器设备124可以将由传感器测量信息
Figure BDA0001389487860000133
232表示的并表示所检测到的或采集到的EM辐射的一个或多个传感器测量结果(b1、b2、b3、…、bk)(即,反照率恢复传感器测量信息)提供给时间飞行应用118的传感器部件224。传感器部件224还可以经由(多个)I/O端口120接收反照率恢复传感器测量信息,并且将所接收的反照率恢复传感器测量信息存储在例如存储器114中。
另外或替代地,在一些实施例中(例如,相对于图3B进一步讨论的实施例),发射器部件222可以通过向EM辐射发射器设备122提供反照率和范围恢复发射器调制信息(即、组合恢复发射器调制信息)将EM辐射发射器设备122配置为用于发射作为K个经空间调制的投影Ιk[y]的EM辐射,其中可以根据时间发射器调制函数m(t)来生成反照率发射器恢复调制信息,所述时间发射器调制函数被设定为(发射器调制函数(E3)):
Figure BDA0001389487860000141
其中P(例如,标量值等)可以表示最大EM辐射发射强度,即EM辐射发射器设备122的最大输出功率,如以上所讨论的;并且tw可以表示感测窗口周期,如以上所讨论的。在一些实施例中,传感器部件224可以通过将组合传感器调制信息(其可以包括但不限于反照率恢复传感器调制信息)提供给EM辐射传感器设备124来将EM辐射传感器设备124配置为用于检测或采集由EM辐射发射器设备122发射并反射回到EM辐射传感器设备124的EM辐射。
另外,可以根据传感器调制函数n(t)来生成组合传感器调制信息的反照率恢复传感器调制信息,所述传感器调制函数被设定为(传感器调制函数(S3)):
Figure BDA0001389487860000142
其中为一(1)的标量值可以表示被配置为用于检测或采集EM辐射的EM辐射传感器设备124,并且为零(0)的标量值可以表示被配置为不检测或采集EM辐射的EM辐射传感器设备124,如以上所讨论的;并且tw可以表示感测窗口周期,如以上所讨论的。
作为响应,EM辐射传感器设备124可以将由传感器测量信息
Figure BDA0001389487860000143
232表示的并表示所检测到的或采集到的EM辐射的一个或多个传感器测量结果(b1、b2、b3、…、bk)(即,反照率恢复传感器测量信息)提供给时间飞行应用118的传感器部件224,并且传感器部件224可以经由(多个)I/O端口120接收反照率恢复传感器测量信息并将所接收的反照率恢复传感器测量信息存储在例如存储器114。
在一些实施例中,EM辐射发射器设备122与EM辐射传感器设备124之间的相关函数可以被设定为:
(n*m)(t)=Ptw
并且等式(A4)可以变换为(等式(C1)):
Figure BDA0001389487860000151
所述等式可以进一步变换为(等式(C2)):
Figure BDA0001389487860000152
在一些实施例中,等式(C2)的连续函数可以通过检查K个不同的经空间调制的投影而变换成离散函数(等式(C3)):
Figure BDA0001389487860000153
并且通过投射K个不同的经空间调制的投影,等式(C3)可以进一步变换为(等式(C4)):
Figure BDA0001389487860000154
使用压缩感测范式,等式(C4)可以被进一步变换为(等式(C5)):
Figure BDA0001389487860000155
其中
Figure BDA0001389487860000156
可以是y的函数并且可以表示2D反照率图像的具有作为2D反照率图像的竖直分辨率的R行并可以包括R x 1个元素的单列(即,具有R个元素的向量)的估计反照率信息;a可以表示等式(C5)中所示的最小化问题的内部搜索变量,并且可以包括R x 1个元素(即,具有R个元素的向量),并且还可以是y的函数;并且I可以表示包括K x R元素的感测矩阵或降维矩阵(即,具有K行和R列元素的感测矩阵),其中K行的每一行可以表示K个不同的经空间调制的投影(I1[y]、I2[y]、I3[y]、…、ΙK[y])150中的单个经空间调制的投影。另外,感测矩阵的每个元素可以是由计算部件226至少部分地基于随机子高斯分布构造的伪随机值,并且可以存储在例如存储器114中作为感测矩阵信息。此外,Ω可以结合搜索变量a的结构数据、并且可以包括变化行数的和R列的元素,其中可以基于a的先验知识来确定所述变化的行数。例如,当a分段平滑时,Ω可以表示a派生矩阵。另外,λ可以表示用于偏置Ω的加权标量值。此外,
Figure BDA0001389487860000157
可以包括K x 1个元素(即,具有K个元素的向量),并且可以表示可由(等式(C6))确定的反照率恢复传感器测量信息的的归一化版本(即归一化反照率恢复传感器测量信息):
Figure BDA0001389487860000161
其中b反照率可以表示从EM辐射传感器设备124接收的反照率恢复传感器测量信息;H可以结合估计环境EM辐射
Figure BDA0001389487860000162
并且可以基于上述等式(B2)或等式(B3)来确定;P可以表示EM辐射发射强度,如以上所讨论的;并且tw可以表示感测窗口周期,如以上所讨论的。
在一些实施例中,飞行时间应用118的计算部件226可以被配置为用于基于归一化反照率恢复传感器测量信息
Figure BDA0001389487860000163
(包括所存储的估计环境EM辐射
Figure BDA0001389487860000164
)、感测矩阵(I)、加权标量值(λ)、以及派生矩阵(Ω),利用一个或多个优化和/或统计学习算法(例如Lasso、正交匹配追踪(Orthogonal Matching Pursuit)、乘法器的交替方向法(AlternatingDirection Method of Multipliers)、学习网络等),根据等式(C5)来确定或计算估计反照率信息
Figure BDA0001389487860000165
另外,飞行时间应用118的计算部件226可以被进一步配置为用于将所确定或计算出的估计反照率信息
Figure BDA0001389487860000166
存储在例如存储器114中
估计范围
为了确定估计范围信息
Figure BDA0001389487860000167
在一些实施例中(例如,相对于图3A进一步讨论的实施例),发射器部件222可以通过向EM辐射发射器设备122提供范围恢复发射器调制信息将EM辐射发射器设备122配置为用于发射作为K个经空间调制的投影Ιk[y]的EM辐射,其中可以根据时间发射器调制函数m(t)来生成范围恢复发射器调制信息,所述时间发射器调制函数被设定为(发射器调制函数(E4)):
Figure BDA0001389487860000168
其中P(例如,标量值等)可以表示最大EM辐射发射强度,如以上所讨论的;并且tw可以表示感测窗口周期,如以上所讨论的。
在一些实施例中,传感器部件224可以通过将范围恢复传感器调制信息提供给EM辐射传感器设备124来将EM辐射传感器设备124配置为用于检测或采集由EM辐射发射器设备122发射并反射回到EM辐射传感器设备124的EM辐射,其中可以根据传感器调制函数n(t)来生成范围恢复传感器调制信息,所述传感器调制函数被设定为(传感器调制函数(S4)):
Figure BDA0001389487860000171
其中为一(1)的标量值可以表示被配置为用于检测或采集EM辐射的EM辐射传感器设备124,并且为零(0)的标量值可以表示被配置为不检测或采集EM辐射的EM辐射传感器设备124,如以上所讨论的;并且tw可以表示感测窗口周期,如以上所讨论的。
作为响应,EM辐射传感器设备124可以将由传感器测量信息
Figure BDA0001389487860000172
232表示的并表示所检测到的或采集到的EM辐射的一个或多个传感器测量结果(例如,b1、b2、b3、…、bk)(即,范围恢复传感器测量信息)提供给时间飞行应用118的传感器部件224。另外,传感器部件224可以经由(多个)I/O端口120接收范围恢复传感器测量信息并将所接收的范围恢复传感器测量信息存储在例如存储器114。
另外或替代地,在一些实施例中(例如,相对于图3B进一步讨论的实施例),发射器部件222可以通过向EM辐射发射器设备122提供组合恢复发射器调制信息将EM辐射发射器设备122配置为用于发射作为K个经空间调制的投影Ιk[y]的EM辐射,其中可以根据时间发射器调制函数m(t)来生成范围发射器恢复调制信息,所述时间发射器调制函数被设定为(发射器调制函数(E5)):
Figure BDA0001389487860000173
其中P(例如,标量值等)可以表示EM辐射发射强度,即EM辐射发射器设备122的输出功率;并且tw可以表示感测窗口周期,如以上所讨论的。
另外,传感器部件224可以通过将组合传感器调制信息(其可以进一步包括但不限于范围恢复传感器调制信息)提供给EM辐射传感器设备124来将EM辐射传感器设备124配置为用于检测或采集由EM辐射发射器设备122发射并反射回到EM辐射传感器设备124的EM辐射,其中可以根据传感器调制函数来生成所述组合传感器调制信息的范围恢复传感器调制信息,所述传感器调制函数被设定为(传感器调制函数(S5)):
Figure BDA0001389487860000181
其中为一(1)的标量值可以表示最大EM辐射发射强度,如以上所讨论的;并且tw可以表示感测窗口周期,也如以上所讨论的。
作为响应,EM辐射传感器设备124可以将表示所检测到的或采集到的EM辐射的传感器测量信息(
Figure BDA0001389487860000182
Figure BDA0001389487860000183
)232(即,第一部分范围恢复传感器测量信息和第二部分范围恢复传感器测量信息)提供给时间飞行应用118的传感器部件224。另外,传感器部件224可以经由(多个)I/O端口120接收第一和第二部分范围恢复传感器测量信息,并且将所接收的第一和第二部分范围恢复传感器测量信息存储在例如存储器114中。此外,计算部件226可以被进一步配置为用于利用相对于图3B进一步讨论的等式(E6)来确定范围恢复传感器测量信息
Figure BDA0001389487860000184
在一些实施例中,EM辐射发射器设备122与EM辐射传感器设备124之间的相关函数可以被设定为:
Figure BDA0001389487860000185
并且等式(A4)可以变换为(等式(D1)):
Figure BDA0001389487860000186
所述等式可以进一步变换为(等式(D2)):
Figure BDA0001389487860000187
所述等式可以进一步变换为(等式(D3)):
Figure BDA0001389487860000188
另外,通过设定(等式(D4)):
Figure BDA0001389487860000189
并且设定(等式(D5)):
Figure BDA0001389487860000191
等式(D3)可以进一步变换为(等式(D6)):
Figure BDA0001389487860000192
其中
Figure BDA0001389487860000193
可以表示空间调制函数I(y)的归一化版本;并且
Figure BDA0001389487860000194
可以表示行进时间或延迟信息
Figure BDA0001389487860000195
的归一化版本(即,归一化行进时间信息)。
在一些实施例中,等式(D4)的连续函数可以通过检查K个不同的经空间调制的投影而变换成离散函数(等式(D7)):
Figure BDA0001389487860000196
并且通过投射K个不同的经空间调制的投影,等式(D7)可以进一步变换为(等式(D8)):
Figure BDA0001389487860000197
使用压缩感测范式,等式(D8)可以被进一步变换为(等式(D9)):
Figure BDA0001389487860000198
其中
Figure BDA0001389487860000199
可以表示2D范围图像的具有作为竖直分辨率的R行并可以包括R x 1个元素的单列(即,具有R个元素的向量)的估计的且归一化的行进时间信息;
Figure BDA00013894878600001910
可以表示等式(D7)中所示的最小化问题的内部搜索变量,并且可以包括R x 1个元素(即,具有R个元素的向量),并且可以是y的函数;并且
Figure BDA00013894878600001911
可以表示结合了可由等式(C5)确定的估计反照率信息
Figure BDA00013894878600001912
的感测矩阵或降维矩阵I的归一化版本(即,归一化感测矩阵),并且感测矩阵I可以包括K x R个元素(即,具有K行和R列元素的感测矩阵),其中K行的每一行可以表示K个不同的经空间调制的投影(I1[y]、I2[y]、I3[y]、…、ΙK[y])150中的单个经空间调制的投影。另外,感测矩阵的每个元素可以是由计算部件226至少部分地基于随机子高斯分布构造的伪随机值,并且可以存储为感测矩阵信息。此外,Ω可以结合搜索变量
Figure BDA00013894878600001913
的结构数据、并且可以包括变化行数的和R列的元素,其中可以基于
Figure BDA0001389487860000201
的先验知识来确定所述变化的行数。例如,当
Figure BDA0001389487860000202
分段平滑时,Ω可以表示先前矩阵。另外,λ可以表示用于偏置Ω的加权标量值。此外,
Figure BDA0001389487860000203
可以包括K x 1个元素(即,具有K个元素的向量),并且可以表示可由(等式(D10))确定的范围恢复传感器测量信息的的归一化版本(即归一化范围恢复传感器测量信息):
Figure BDA0001389487860000204
其中b范围可以表示范围恢复传感器测量信息;H可以结合估计环境EM辐射
Figure BDA0001389487860000205
并且可以基于上述等式(B2)或等式(B3)来确定;并且P可以表示EM辐射发射强度,也如以上所讨论的。
在一些实施例中,飞行时间应用118的计算部件226可以被配置为用于根据等式(D9)通过首先确定估计的且归一化的行进时间信息
Figure BDA0001389487860000206
来确定或计算估计范围信息
Figure BDA0001389487860000207
此外,可以基于所存储的归一化范围恢复传感器测量信息
Figure BDA0001389487860000208
(包括所存储的估计环境EM辐射
Figure BDA0001389487860000209
归一化感测矩阵
Figure BDA00013894878600002010
(包括所存储的估计反照率信息
Figure BDA00013894878600002011
)、加权标量值(λ)、以及先前矩阵(Ω),利用一个或多个优化和/或统计学习算法(例如Lasso、正交匹配追踪、乘法器的交替方向法、学习网络等)来确定或计算估计的且归一化的行进时间信息
Figure BDA00013894878600002012
在一些实施例中,飞行时间应用118的计算部件226可以被配置为用于通过使用等式(D5)进一步确定或计算估计行进时间信息
Figure BDA00013894878600002013
并且最后使用等式(A2)确定估计范围信息
Figure BDA00013894878600002014
来确定或计算估计范围信息
Figure BDA00013894878600002015
飞行时间应用118的计算部件226可以被配置为用于将所确定或计算出的估计范围信息
Figure BDA00013894878600002016
存储在例如存储器114中。
图3A和图3B展示了用于对EM辐射发射器设备122进行调制和对EM辐射传感器设备124进行调制以生成2D反照率图像和/或2D范围图像的时序图的实施例。特别地,图3A展示了用于对EM辐射发射器设备122进行调制和对EM辐射传感器设备124进行调制以生成2D反照率图像和/或2D范围图像的时序图的第一实施例。此外,图3B展示了用于对EM辐射发射器设备122进行调制和对EM辐射传感器设备124进行调制以生成2D反照率图像和/或2D范围图像的时序图的第二实施例。
如图3A所示,时序图可以包括但不限于发射器调制时序图330、反射EM辐射定时图332、以及传感器调制时序图334,其中每个时序图可以分为恢复环境EM辐射阶段(即,阶段I)、恢复反照率阶段(即,阶段II)、以及恢复范围阶段(即,阶段III)。如图3B所示,时序图可以包括但不限于发射器调制时序图360、反射EM辐射定时图362、以及传感器调制时序图364,其中每个时序图可以分为恢复环境EM辐射阶段(即,阶段I)、和组合恢复反照率和范围阶段(即,阶段II和III)。
在一些实施例中,图3A和图3B的时序图可以表示被配置为用于确定具有W个元素或像素宽度和R个元素或像素高度的分辨率的2D反照率图像和/或2D范围图像(即,W x R分辨率图像)的单个竖直列的飞行时间应用118,其中2D反照率图像和/或2D范围图像的单个竖直列可以包括R个元素或像素。为了恢复整个2D反照率图像和/或2D范围图像,飞行时间应用118可以向EM辐射发射器设备122提供发射器调制信息234,以针对W个不同的竖直位置(例如,物体130的W个不同的竖直位置)各自投射K个经空间调制的投影Ιk[y],使得EM辐射可以从左到右或从右到左基本上扫描。此外,对于所述W个不同竖直位置的每个竖直位置,飞行时间应用118可以至少部分地基于针对第W个竖直位置接收到的传感器测量信息232来确定2D反照率图像和/或2D范围图像的第W列。
作为示例,如果飞行时间应用118被配置为用于生成具有640x 480分辨率的2D反照率图像和/或2D范围图像(例如,VGA图像),则图3A的时序图可以表示向EM辐射发射器设备122提供发射器调制信息234以在640个竖直位置中的第一竖直位置(例如,物体130上的第一竖直位置等)投射K个经空间调制的投影Ιk[y]的、并且基于针对所述第一竖直位置接收到的传感器测量信息232确定2D反照率图像和/或2D范围图像的640列的第一列的飞行时间应用118,其中2D反照率图像和/或2D范围图像的每一列可以包括480个元素或像素。
为了恢复上述示例中的2D反照率图像和/或2D范围图像的第二列,飞行时间应用118可以进一步向EM辐射发射器设备122提供发射器调制信息234以在640个竖直位置中的第二竖直位置(例如,物体130上的紧挨第一竖直位置的竖直位置等)投射K个经空间调制的投影Ιk[y]的、并且基于针对所述第二竖直位置接收到的传感器测量信息232确定2D反照率图像和/或2D范围图像的640列的第二列。因此,为了恢复整个2D反照率图像和/或2D范围图像,可以针对2D反照率图像和/或2D范围的每一列重复上述步骤、处理、方法、和/或操作,直到已经确定了2D反照率图像和/或2D范围图像的整个640列。
继续上述示例,飞行时间应用118可以被进一步配置为用于以每秒60个图像或每秒60帧的频率来恢复2D反照率图像和/或2D范围图像。在这样的实施例中,用于生成640列的单列的时间可以是约
Figure BDA0001389487860000221
另外,假设每列480行,使用压缩感测范式,压缩比可以假设为约1:10。为了提供更大的误差幅度,可以假设1:5的压缩比。此外,假设压缩比为1:5,为了确定2D范围图像的包含480像素的单列,可能需要约一百(100)次EM辐射传感器测量。这样,每次EM辐射测量的时间可以是
Figure BDA0001389487860000222
在其中每次EM辐射测量可以总体上由三(3)个相等感测窗口周期组成的实施例中,每个感测窗口周期tw可以近似为tw=86nsec。
可以理解,虽然上述示例已经被提供了针对W个不同的竖直位置各自投射K个经空间调制的投影Ιk[y],但EM辐射发射器设备122还可以被配置为用于针对R个不同的水平位置相对于水平轴投射K个经空间调制的投影Ιk[x],或者相对于水平轴和竖直轴两者投射K个经空间调制的投影Ιk[x,y]。
图3A-恢复环境EM辐射(阶段I)
为了在阶段I中恢复环境EM辐射(例如,估计环境EM辐射
Figure BDA0001389487860000223
),在一些实施例中,发射器部件222可以向EM辐射发射器设备122提供发射器调制信息234,其中发射器调制信息234可以包括但不限于在时序图330的阶段I中恢复环境辐射的过程中根据发射器调制函数(E1)生成的环境发射器调制信息。
在一些实施例中,传感器部件224可以向EM辐射传感器设备124提供传感器调制信息230,其中传感器调制信息230可以包括但不限于在时序图334的阶段I期间根据传感器调制函数(S1)生成的环境恢复传感器调制信息,以在环境感测周期308内激活EM辐射传感器设备124以检测或采集由环境恢复传感器测量信息(b环境)表示的环境EM辐射传感器测量结果。周期308可以具有感测窗口周期(tw)的相关联的持续时间。
可以理解,因为EM辐射发射器设备122可以被配置为不发射任何EM辐射,如时序图330所指示的,因此,不可能有由EM辐射发射器设备122发射的EM辐射反射回到EM辐射传感器设备124,如时序图332所指示的。
图3A-恢复反照率(阶段II)
为了在阶段II中恢复反照率(例如,估计反照率信息
Figure BDA0001389487860000231
),在一些实施例中,发射器部件222可以向EM辐射发射器设备122提供发射器调制信息234,其中发射器调制信息234可以包括但不限于在时序图330的阶段II期间根据发射器调制函数(E2)和经空间调制的投影(例如,相对于竖直轴的经空间调制的投影Ιk[y]、相对于水平轴的经空间调制的投影Ιk[x]、或相对于水平和竖直轴的经空间调制的投影Ιk[x,y]等)生成的反照率发射器恢复调制信息。此外,在阶段II期间的反照率恢复发射器调制信息可以包括但不限于对于总共K个反照率发射周期的一个或多个反照率发射周期310-K,其中每个反照率发射周期(例如,反照率发射周期310-1)可以具有最大反射周期(te)加上感测窗口周期(tw)(即,te+w=te+tw)的相关联的持续时间、并且可以对应于单个EM辐射传感器测量结果(例如,单个反照率传感器测量结果
Figure BDA0001389487860000232
等)。
另外,在K个反照率发射周期的每个反照率发射周期(例如,反照率发射周期310-1)期间,反照率恢复发射器调制信息可以将EM辐射发射器设备122配置为用于投射一个或多个对应的经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)。作为示例,在反照率发射周期310-1期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影I1[y],在反照率发射周期310-2(未示出)期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影I2[y],并且在反照率发射周期310-K期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影Ik[y]。
在一些实施例中,在EM辐射发射器设备122在反照率发射周期的至少一部分(例如,反照率发射周期310-1的一部分)内发射EM辐射的经空间调制的投影(例如,经空间调制的投影I1[y])之后,EM辐射的经空间调制的投影(例如,经空间调制的投影I1[y])可以一个或多个反射反照率发射周期312-K期间从物体130反射回来,在如时序图332的阶段II期间所示。此外,每个反射反照率发射周期(例如,反射反照率发射周期312-1)可以对应于可延时一个反射周期的反照率发射周期(例如,反照率发射周期310-1对应于反射反照率发射周期312-1等),其中,所述反射周期一般小于最大反射周期(te)或等于最大反射周期(te),如时序图332所示。
在一些实施例中,传感器部件224可以向EM辐射传感器设备124提供传感器调制信息230,其中传感器调制信息230可以包括但不限于在时序图334的阶段II期间根据传感器调制函数(S2)生成的反照率恢复传感器调制信息。此外,在阶段II期间的反照率恢复传感器调制信息可以包括但不限于对于总共K个反照率感测周期用于激活EM辐射传感器设备124的一个或多个反照率感测周期314-K,其中对于由反照率恢复传感器测量信息
Figure BDA0001389487860000241
表示的总共K个反照率传感器测量结果,每个反照率感测周期(例如,反照率感测周期314-1)可以检测或采集反照率传感器测量结果(例如,反照率传感器测量结果
Figure BDA0001389487860000242
)。另外,每个反照率感测周期(例如,反照率感测周期314-1)可以具有感测窗口周期(tw)的相关联的持续时间,并且可以相对于对应的反照率发射周期(例如,反照率发射周期310-1)的开始时间延迟最大反射周期(te)。
可以理解,通过使EM辐射传感器设备124的反照率感测周期(例如,反照率感测周期314-1)相对于对应的反照率发射周期(例如,反照率发射周期310-1)的开始延迟最大反射周期(te),EM辐射传感器设备124可以在反照率感测周期(例如,反照率感测周期314-1)的整个感测窗口周期(tw)期间检测或采集从物体130反射回的EM辐射的大部分(如果不是全部)经空间调制的投影(例如,I1[y])。
图3A-恢复范围(阶段III)
为了在阶段III中恢复范围(例如,估计范围信息
Figure BDA0001389487860000251
),在一些实施例中,发射器部件222可以向EM辐射发射器设备122提供发射器调制信息234,其中发射器调制信息234可以包括但不限于在时序图330的阶段III期间根据发射器调制函数(E4)和经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)生成的范围恢复发射器调制信息。此外,在阶段III期间的范围恢复发射器调制信息可以包括但不限于对于总共K个范围发射周期的一个或多个范围发射周期316-K,其中每个范围发射周期(例如,范围发射周期316-1)可以具有感测窗口周期(tw)的持续时间、并且可以对应于单个EM辐射传感器测量结果(例如,范围传感器测量结果
Figure BDA0001389487860000252
)。
另外,在K个范围发射周期的每个范围发射周期(例如,范围发射周期316-1)期间,范围恢复发射器调制信息可以将EM辐射发射器设备122配置为用于投射一个或多个对应的经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)。作为示例,在范围发射周期316-1期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影I1[y],在范围发射周期316-2(未示出)期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影I2[y],并且在范围发射周期316-K期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影Ik[y]。
在一些实施例中,在EM辐射发射器设备122在范围发射周期的至少一部分(例如,范围发射周期316-1的的一部分)内发射EM辐射的经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)之后,可以在一个或多个反射范围发射周期318-K内从物体130反射回EM辐射的经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等),如时序图332的阶段III所示。此外,每个反射范围发射周期(例如,反射范围发射周期318-1)可以对应于可延时一个反射周期的范围发射周期(例如,范围发射周期316-1对应于反射范围发射周期318-1),其中,所述反射周期一般小于最大反射周期(te)或等于最大反射周期(te),如时序图332所示。
在一些实施例中,传感器部件224可以向EM辐射传感器设备124提供传感器调制信息230,其中传感器调制信息230可以包括但不限于在时序图334的阶段III期间根据传感器调制函数(S4)生成的环境恢复传感器调制信息。此外,在阶段III期间的范围恢复传感器调制信息可以包括但不限于对于总共K个范围感测周期320-K的一个或多个范围感测周期(例如,范围感测周期320-1),其中对于由传感器测量信息
Figure BDA0001389487860000261
表示的总共K个范围传感器测量结果,每个范围感测周期(例如,范围感测周期320-1)可以检测或采集范围传感器测量结果(例如,范围传感器测量结果
Figure BDA0001389487860000262
)。另外,每个范围感测周期(例如,范围感测周期320-1)可以具有感测窗口周期(tw)的相关联的持续时间,并且可以是与对应的范围发射周期(例如,范围发射周期316-1)基本上同时期的(例如,对于1mm的分辨率小于6.7psec)。
可以理解,通过针对与对应的范围发射周期(例如,范围发射周期316-1、…、范围发射周期316-K)基本上同时期或同步的范围感测周期(例如,范围感测周期320-1、…、范围感测周期320-K)激活EM辐射传感器设备124,EM辐射传感器设备124可以在范围感测周期(例如,范围感测周期320-1)的感测窗口周期(tw)期间检测或采集从物体130反射回的EM辐射的至少一部分经空间调制的投影(例如,I1[y])。
可以进一步理解,反射范围发射周期(例如,反射范围发射周期318-1)与对应的范围感测周期(例如,320-1)之间的重叠区域可以至少部分地基于到表面(ds)144的距离而变化。换句话说,从物体130反射回的被EM辐射传感器设备124检测或采集到的EM辐射的经空间调制的投影(例如,Ι1[y])的量可以至少部分地基于到表面(ds)144的距离而变化。
因此,在一些实施例中,物体130可能相对于EM辐射传感器设备124和EM辐射发射器设备122越近,反射范围发射周期(例如,反射范围发射周期318-1)与对应的范围感测周期(例如,范围感测周期320-1)之间的重叠面积可能越大(如时序图332和334的阶段III所示),并且对应的范围传感器测量结果(例如,范围传感器测量结果
Figure BDA0001389487860000263
)可能越高。替代地,物体130可能相对于EM辐射传感器设备124和EM辐射发射器设备122越远,反射范围发射周期(例如,反射范围发射周期318-1)与对应的范围感测周期(例如,320-1)之间的重叠面积可能越小(如时序图332和334的阶段III所示),并且对应的范围传感器测量结果(例如,范围传感器测量结果
Figure BDA0001389487860000271
)可能越低。
图3B-恢复环境EM辐射(阶段I)
为了在阶段I中恢复环境EM辐射(例如,估计环境EM辐射
Figure BDA0001389487860000272
),在一些实施例中,发射器部件222可以向EM辐射发射器设备122提供发射器调制信息234,其中发射器调制信息234可以包括但不限于在时序图360的阶段I中恢复环境辐射的过程中根据发射器调制函数(E1)生成的环境发射器调制信息。
在一些实施例中,传感器部件224可以向EM辐射传感器设备124提供传感器调制信息230,其中传感器调制信息230可以包括但不限于在时序图364的阶段I期间根据传感器调制函数(S1)生成的环境恢复传感器调制信息,以便如以上所讨论得在环境感测周期308内激活EM辐射传感器设备124以检测或采集由环境恢复传感器测量信息(b环境)表示的环境EM辐射传感器测量结果。
可以理解,因为EM辐射发射器设备122可以被配置为不发射任何EM辐射,如时序图360所指示的,因此,不可能有由EM辐射发射器设备122发射的EM辐射反射回到EM辐射传感器设备124,如时序图362的阶段I所指示的。
图3B-恢复反照率和范围(阶段II和III)
为了在阶段II和III中恢复反照率和范围(例如,估计反照率信息
Figure BDA0001389487860000273
和估计范围信息
Figure BDA0001389487860000274
),在一些实施例中,发射器部件222可以向EM辐射发射器设备122提供发射器调制信息234,其中发射器调制信息234可以包括但不限于在时序图360的阶段II和III期间根据发射器调制函数(E3)或发射器调制函数(E5)和经空间调制的投影Ιk[y]生成的反照率和范围恢复发射器调制信息(即,组合恢复发射器调制信息)。此外,在阶段II和III期间的组合恢复发射器调制信息可以包括但不限于对于总共K个组合发射周期的一个或多个组合发射周期340-K,其中每个组合发射周期(例如,组合发射周期340-1)可以具有感测窗口周期(tw)的两倍或双倍(即,2tw)的相关联的持续时间。
另外,在K个组合发射周期的每个组合发射周期340-K(例如,组合发射周期340-1)期间,组合恢复发射器调制信息可以将EM辐射发射器设备122配置为用于投射一个或多个对应的经空间调制的投影Ιk[y]。作为示例,在组合发射周期340-1期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影I1[y],在组合发射周期340-2(未示出)期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影I2[y],并且在组合发射周期340-K期间,EM辐射发射器设备122可以被配置为用于发射EM辐射的经空间调制的投影Ik[y]。
在一些实施例中,在EM辐射发射器设备122在组合发射周期的至少一部分(例如,组合发射周期340-1的一部分)内发射EM辐射的经空间调制的投影(例如,Ι1[y])之后,EM辐射的经空间调制的投影(例如,Ι1[y])可以一个或多个反射组合发射周期342-K期间从物体130反射回来,在如时序图362的阶段II和III期间所示。此外,每个反射组合发射周期(例如,反射组合发射周期342-1)可以对应于可延时一个反射周期的组合发射周期(例如,组合发射周期340-1对应于反射组合发射周期342-1),其中,所述反射周期一般小于最大反射周期(te)或等于最大反射周期(te),如时序图362所示。
在一些实施例中,传感器部件224可以向EM辐射传感器设备124提供传感器调制信息230,其中传感器调制信息230可以包括但不限于在时序图364的阶段II和III期间根据传感器调制函数(S3)生成的反照率恢复传感器调制信息。此外,在阶段II和III期间的反照率恢复传感器调制信息可以包括但不限于对于总共K个反照率感测周期用于激活EM辐射传感器设备124的一个或多个反照率感测周期346-K,其中对于由反照率恢复传感器测量信息
Figure BDA0001389487860000281
表示的总共K个反照率传感器测量结果,每个反照率感测周期(例如,反照率感测周期346-1)可以检测或采集反照率传感器测量结果(例如,反照率传感器测量结果
Figure BDA0001389487860000282
)。另外,每个反照率感测周期(例如,反照率感测周期346-1)可以相对于对应的组合发射周期(例如,组合发射周期340-1)的开始时间延迟感测窗口周期(tw)。
可以理解,通过使EM辐射传感器设备124的每个反照率感测周期(例如,反照率感测周期346-1等)相对于对应的组合发射周期(例如,组合发射周期340-1)的开始延迟感测窗口周期(tw),EM辐射传感器设备124可以在反照率感测周期(例如,反照率感测周期346-1)的整个感测窗口周期(tw)期间检测或采集从物体130反射回的EM辐射的大部分(如果不是全部)经空间调制的投影(例如,经空间调制的投影I1[y]等)。
为了在阶段II和III中恢复范围(例如,估计范围信息
Figure BDA0001389487860000291
),在一些实施例中,传感器部件224可以向EM辐射传感器设备124提供传感器调制信息230,其中传感器调制信息230可以包括但不限于在时序图364的阶段II和III期间根据传感器调制函数(S5)生成的范围恢复传感器调制信息。此外,在阶段II和III期间的范围恢复传感器调制信息可以包括但不限于对于总共K对部分范围感测周期的一个或多个第一部分范围感测周期344-K-β和一个或多个第二部分范围感测周期344-K-α。
在一些实施例中,每个第一部分范围感测周期(例如,部分范围感测周期344-K-α)和每个第二部分范围感测周期(例如,第二部分范围感测周期344-K-β)可以形成一对部分范围感测周期。对于总共K个第一部分范围感测周期,每个第一部分感测周期344-K-α可以在阶段II和III期间激活EM辐射传感器设备124,其中对于由第一部分范围恢复传感器测量信息
Figure BDA0001389487860000292
表示的总共K个第一部分范围传感器测量结果,每个第一部分范围感测周期(例如,第一部分范围感测时段344-1-a)可以检测或采集范围传感器测量结果(例如,范围传感器测量结果
Figure BDA0001389487860000293
)。类似地,对于总共K个第二部分范围感测周期,每个第二部分感测周期344-K-β可以在阶段II和III期间激活EM辐射传感器设备124,其中对于由第二部分范围恢复传感器测量信息
Figure BDA0001389487860000294
表示的总共K个第二部分范围传感器测量结果,每个第二部分范围感测周期(例如,第二部分范围感测时段344-1-β)可以检测或采集范围传感器测量结果(例如,范围传感器测量结果
Figure BDA0001389487860000295
)。
为了确定用范围恢复传感器测量信息(范围传感器测量结果
Figure BDA0001389487860000296
等)表示的一个或多个范围传感器测量结果(例如,范围传感器测量
Figure BDA0001389487860000297
),以便利用等式(D9)和等式(D10)计算估计的和归一化的行进时间信息
Figure BDA0001389487860000301
计算部件226可以被进一步配置为用于利用(等式(E6))来确定一个或多个范围传感器测量值
Figure BDA0001389487860000302
):
Figure BDA0001389487860000303
在一些实施例中,第一部分范围感测周期和第二部分范围感测周期各自还可以具有感测窗口周期(tw)的持续时间,并且可以通过对应的反照率感测周期(例如,反照率感测周期346-K)来分隔开。另外,每个第一部分范围感测周期(例如,第一部分范围感测周期344-1-α)可以相对于对应的组合发射周期(例如,对应于第一部分范围感测周期344-1-α的组合发射周期340-1)基本同时地或同步地开始(例如,对于1mm的分辨率小于6.7psec)。此外,每个第二部分范围感测周期(例如,第二部分范围感测周期344-1-β等)可以相对于对应的组合发射周期(例如,组合发射周期340-1)时间上延迟对应的反照率感测周期(例如,反照率感测周期346-1等)和一对部分范围感测周期中的第一部分范围感测周期(例如,第一部分范围感测周期344-1-α)。
可以理解,通过针对与对应的组合发射周期(例如,组合发射周期340-1、…、范围发射周期340-K)基本上同时期或同步的第一部分范围感测周期(例如,第一部分范围感测周期344-1-α、…、第一部分范围感测周期344-K-α)激活EM辐射传感器设备124,EM辐射传感器设备124可以在第一部分范围感测周期(例如,第一部分范围感测周期344-1-α)的感测窗口周期(tw)期间检测或采集从物体130反射回的EM辐射的经空间调制的投影(例如,经空间调制的投影I1[y])的至少开始部分。
类似地,通过针对在时间上延迟对应的反照率感测周期(例如,反照率感测周期346-1等)和第一部分范围感测周期的第二部分范围感测周期(例如,第二部分范围感测周期344-1-β、…、第二部分范围感测周期344-K-β)激活EM辐射传感器设备124,EM辐射传感器设备124可以在第二部分范围感测周期(例如,第二部分范围感测周期344-1-β)的感测窗口周期(tw)期间检测或采集从物体130反射回的EM辐射的经空间调制的投影(例如,经空间调制的投影I1[y])的至少结束部分。
可以进一步理解,反射组合发射周期(例如,反射组合发射周期342-1)与对应的第一和第二部分范围感测周期之间的重叠区域可以至少部分地基于到表面(ds)144的距离而变化。换句话说,在第一和第二部分范围感测周期期间,从物体130反射回的被EM辐射传感器设备124检测或采集到的EM辐射的经空间调制的投影(例如,经空间调制的投影Ι1[y])的量可以至少部分地基于从EM辐射发射器设备122和EM辐射传感器设备124到物体130的距离而变化。
因此,在一些实施例中,物体130可能相对于EM辐射传感器设备124和EM辐射发射器设备122越近,反射组合发射周期(例如,反射组合发射周期342-1)与对应的第一部分范围感测周期(例如,第一部分范围感测周期344-1-α)之间的重叠面积可能越大,并且在第一部分范围感测周期期间的传感器测量结果可能越高。类似地,物体130可能相对于EM辐射传感器设备124和EM辐射发射器设备122越近,反射组合发射周期(例如,反射组合发射周期342-1)与对应的第二部分范围感测周期(例如,第二部分范围感测周期344-1-β)之间的重叠面积可能越小,并且在第二部分范围感测周期期间的传感器测量结果可能越低。
替代地,物体130可能相对于EM辐射传感器设备124和EM辐射发射器设备122越远,反射组合发射周期(例如,反射组合发射周期342-1)与对应的第一部分范围感测周期(例如,第一部分范围感测周期344-1-α)之间的重叠面积可能越小,并且在第一部分范围感测周期期间的传感器测量结果可能越低。类似地,物体130可能相对于EM辐射传感器设备124和EM辐射发射器设备122越远,反射组合发射周期(例如,反射组合发射周期342-1)与对应的第二部分范围感测周期(例如,第二部分范围感测周期344-1-β)之间的重叠面积可能越大,并且在第二部分范围感测周期期间的传感器测量结果可能越高。
图4展示了逻辑流程400的实施例。逻辑流程500可以表示由本文中所描述的一个或多个实施例执行的操作中的一些或全部操作。例如,逻辑流程400可以展示由图1、图2、图3A、和/或图3B所示的成像系统100执行的操作。此外,逻辑流程400可以展示用于恢复2D反照率图像和/或2D范围图像的至少一部分(例如,640x480分辨率图像的单列等)的步骤、进程、指令、和/或操作。各实施例不限于此方式。
逻辑流程400可以在410处开始,并且可以在412处向电磁(EM)辐射传感器设备提供环境恢复传感器调制信息。例如,飞行时间应用118的传感器部件224可以向EM辐射传感器设备124提供环境恢复传感器调制信息,以根据时序图334的阶段I对环境EM辐射148的至少一部分的采集进行时域调制。
逻辑流程400可以在414处从EM辐射传感器设备接收环境恢复传感器测量信息。例如,传感器部件224可以从EM辐射传感器设备124接收表示环境EM辐射的至少一部分的环境恢复传感器测量信息(b环境)。另外,传感器部件224可以进一步将所接收到的环境恢复传感器测量信息存储在存储器114中。
逻辑流程400可以在416处确定估计环境EM辐射信息。例如,计算部件226可以利用等式(B3)至少部分地基于环境恢复传感器测量信息来确定估计环境EM辐射信息。另外,计算部件226可以将所述估计环境EM辐射信息存储在存储器114中。
逻辑流程400可以在418处向EM辐射发射器设备提供反照率恢复发射器调制信息。例如,发射器部件222可以向EM辐射发射器设备122提供反照率恢复发射器调制信息,以便根据如时序图330的阶段II所示的时间发射器调制函数(E2)以及一个或多个经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)对朝向物体130的表面的EM辐射的发射进行时域和空间调制。
逻辑流程400可以在420处向EM辐射传感器设备提供反照率恢复传感器调制信息。例如,传感器部件224可以向EM辐射传感器设备124提供反照率恢复传感器调制信息,以根据如时序图334的阶段II所示的时间传感器调制函数(S2)对EM辐射的至少一部分的采集进行时域调制。
逻辑流程400可以在422处从EM辐射传感器设备接收反照率恢复传感器测量信息。例如,根据时序图332和334的阶段II,传感器部件224可以从EM辐射传感器设备124接收由反照率恢复传感器测量信息
Figure BDA0001389487860000321
Figure BDA0001389487860000331
表示的一个或多个传感器测量结果(例如,K个传感器测量结果),所述传感器测量结果表示从EM辐射发射器设备122发射并从所述表面反射回的EM辐射的至少一部分。另外,传感器部件224可以进一步将所接收到的反照率恢复传感器测量信息存储在存储器114中。
逻辑流程400可以在424处确定估计反照率信息。例如,在接收到由反照率恢复传感器测量信息表示的K个传感器测量结果之后,计算部件226可以至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、感测矩阵信息、和/或估计环境EM辐射信息利用等式(C5)和/或等式(C6)来确定表示2D反照率图像的至少一部分(例如2D反照率图像的单列等)的估计反照率信息。另外,计算部件226可以将所述估计反照率信息存储在存储器114中。
逻辑流程400可以在426处向EM辐射发射器设备提供范围恢复发射器调制信息。例如,发射器部件222可以向EM辐射发射器设备122提供范围恢复发射器调制信息,以便根据如时序图330的阶段III所示的时间发射器调制函数(E4)以及一个或多个经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)对朝向物体130的表面的EM辐射的发射进行时域和空间调制。
逻辑流程400可以在428处向EM辐射传感器设备提供范围恢复传感器调制信息。例如,传感器部件224可以向EM辐射传感器设备124提供范围恢复传感器调制信息,以根据如时序图334的阶段III所示的时间传感器调制函数(S4)对EM辐射的至少一部分的采集进行时域调制。
逻辑流程400可以在430处从EM辐射传感器设备接收范围恢复传感器测量信息。例如,如时序图332和334的阶段III所示,传感器部件224可以从EM辐射传感器设备124接收由范围恢复传感器测量信息
Figure BDA0001389487860000332
表示的一个或多个传感器测量结果(例如,K个传感器测量结果),所述传感器测量结果表示从EM辐射发射器设备122发射并从物体130的表面反射回的EM辐射的至少一部分。另外,传感器部件224可以进一步将所接收到的范围恢复传感器测量信息存储在存储器114中。
逻辑流程400可以在432处确定估计范围信息并且在434处结束。例如,在接收到由范围恢复传感器测量信息表示的K个传感器测量结果之后,计算部件226可以至少部分地基于范围恢复传感器测量信息、估计反照率信息、范围恢复发射器调制信息、和/或感测矩阵信息利用等式(D9)、等式(D10)、和/或等式(A2)来确定表示2D范围图像的至少一部分(例如2D范围图像的单列等)的估计范围信息。另外,传感器部件224可以进一步将所述估计范围信息存储在存储器114中。
可以理解,可以重复从412到432的步骤、进程、指令、和/或操作,以便恢复2D反照率图像和/或2D范围图像的全部(例如,640×480分辨率图像的所有列等)。各实施例不限于此方式。
图5展示了逻辑流程500的实施例。逻辑流程500可以表示由本文中所描述的一个或多个实施例执行的操作中的一些或全部操作。例如,逻辑流程500可以展示由图1、图2、图3A、和/或图3B所示的一个或多个计算系统执行的操作。此外,逻辑流程400可以展示用于恢复2D反照率图像和/或2D范围图像的至少一部分(例如,640×480分辨率图像的单列等)的步骤、进程、指令、和/或操作。各实施例不限于此方式。
逻辑流程500可以在510处开始,并且可以在512处向电磁(EM)辐射传感器设备提供环境恢复传感器调制信息。例如,飞行时间应用118的传感器部件224可以向EM辐射传感器设备124提供环境恢复传感器调制信息,以根据时序图364的阶段I对环境EM辐射148的至少一部分的采集进行时域调制。
逻辑流程500可以在514处从EM辐射传感器设备接收环境恢复传感器测量信息。例如,传感器部件224可以从EM辐射传感器设备124接收表示环境EM辐射的至少一部分的环境恢复传感器测量信息(b环境)。另外,传感器部件224可以进一步将所接收到的环境恢复传感器测量信息存储在存储器114中。
逻辑流程500可以在516处确定估计环境电磁(EM)辐射信息。例如,计算部件226可以利用等式(B3)至少部分地基于环境恢复传感器测量信息来确定估计环境EM辐射信息。另外,计算部件226可以将所述估计环境EM辐射信息存储在存储器114中。
逻辑流程500可以在518处向EM辐射传感器设备提供组合恢复发射器调制信息。例如,发射器部件222可以向EM辐射发射器设备122提供组合恢复发射器调制信息,以便根据如时序图360的阶段II和III所示的时间发射器调制函数(E3)和/或时间发射器调制函数(E5)以及一个或多个经空间调制的投影(例如,Ιk[y]、Ιk[x]、Ιk[x,y]等)对朝向物体130的表面的EM辐射的发射进行时域和空间调制。
逻辑流程500可以在520处向EM辐射传感器设备提供组合恢复传感器调制信息。例如,传感器部件224可以向EM辐射传感器设备124提供组合恢复传感器调制信息,以便根据如时序图364的阶段II和III所示的时间传感器调制函数(S3)和时间传感器调制函数(S5)对EM辐射的至少一部分的采集进行时域调制,其中组合恢复传感器调制信息可以包括但不限于至少部分地基于时间传感器调制函数(S3)生成的反照率恢复传感器调制信息以及至少部分地基于时间传感器调制函数(S5)生成的范围恢复传感器调制信息。
逻辑流程500可以在522处从EM辐射传感器设备接收第一部分范围恢复传感器测量信息。例如,根据时序图362和364的阶段II和III,传感器部件224可以从EM辐射传感器设备124接收由第一部分范围恢复传感器测量信息
Figure BDA0001389487860000351
表示的一个或多个传感器测量结果(例如,K个传感器测量结果),所述传感器测量结果表示从EM辐射发射器设备122发射并从所述表面反射回的EM辐射的至少一部分。另外,传感器部件224可以进一步将所接收到的第一部分范围恢复传感器测量信息存储在存储器114中。
逻辑流程500可以在524处从EM辐射传感器设备接收反照率恢复传感器测量信息。例如,根据时序图362和364的阶段II和阶段III,传感器部件224可以从EM辐射传感器设备124接收由反照率恢复传感器测量信息
Figure BDA0001389487860000352
Figure BDA0001389487860000353
表示的一个或多个传感器测量结果(例如,K个传感器测量结果),所述传感器测量结果表示从EM辐射发射器设备122发射并从所述表面反射回的EM辐射的至少一部分。另外,传感器部件224可以进一步将所接收到的反照率恢复传感器测量信息存储在存储器114中。
逻辑流程500可以在526处从EM辐射传感器设备接收第二部分范围恢复传感器测量信息。例如,根据时序图362和364的阶段II和III,传感器部件224可以从EM辐射传感器设备124接收由第二部分范围恢复传感器测量信息
Figure BDA0001389487860000361
表示的一个或多个传感器测量结果(例如,K个传感器测量结果),所述传感器测量结果表示从EM辐射发射器设备122发射并从所述表面反射回的EM辐射的至少一部分。另外,传感器部件224可以进一步将所接收到的第二部分范围恢复传感器测量信息存储在存储器114中。
逻辑流程500可以在528处确定范围恢复传感器测量信息。例如,在接收到由第一部分范围恢复传感器测量信息、反照率恢复传感器测量信息、以及第二部分范围恢复传感器测量信息表示的K个传感器测量结果之后,计算部件224根据等式(E6)确定范围恢复传感器测量信息
Figure BDA0001389487860000362
另外,计算部件226可以进一步将所确定的范围恢复传感器测量信息
Figure BDA0001389487860000363
Figure BDA0001389487860000364
存储在存储器114中。
逻辑流程500可以在530处确定估计反照率信息。例如,在接收到由反照率恢复传感器测量信息表示的K个传感器测量结果之后,或者在确定范围恢复传感器测量信息之后,计算部件226可以至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、感测矩阵信息、和/或估计环境EM辐射信息利用等式(C5)和/或等式(C6)来确定表示2D反照率图像的至少一部分(例如2D反照率图像的单列等)的估计反照率信息。另外,计算部件226可以将所述估计反照率信息存储在存储器114中。
逻辑流程500可以在532处确定估计范围信息并且在534处结束。例如,在确定范围恢复传感器测量信息之后,计算部件226可以至少部分地基于范围恢复传感器测量信息、估计反照率信息、范围恢复发射器调制信息、和/或感测矩阵信息利用等式(D9)、等式(D10)、和/或等式(A2)来确定表示2D范围图像的至少一部分(例如2D范围图像的单列等)的估计范围信息。另外,传感器部件224可以进一步将所述估计范围信息存储在存储器114中。
可以理解,可以重复从512到532的步骤、进程、指令、和/或操作,以便恢复2D反照率图像和/或2D范围图像的全部(例如,640×480分辨率图像的所有列等)。各实施例不限于此方式。
图6展示了系统600的一个实施例。在各实施例中,系统600可以表示适于与本文所述的一个或多个实施例一起使用的系统或架构,如成像系统100和/或飞行时间设备110。实施例不限于此方面。
如图6所示,系统600可以包括多个元件。如针对给定的设计或性能约束集合所期望的,一个或多个元件可以使用一个或多个电路、部件、寄存器、处理器、软件子例程、模块、或其任何组合来实现。举例来讲,虽然图6示出在某个拓扑中的有限数量的元件,但是可以认识到可以按给定实施方式所期望的在系统600中使用在任何合适的拓扑中的或多或少的元件。实施例并不局限于此上下文中。
在各实施例中,系统600可以包括计算设备605,该计算设备可以是任何类型的计算机或处理设备,包括个人计算机、台式计算机、平板计算机、上网本计算机、笔记本计算机、膝上型计算机、服务器、服务器场、刀片式服务器或任何其他类型的服务器等等。
在各实施例中,计算设备605可以包括处理器电路602。处理器电路602可以使用任何处理器或逻辑设备来实现。处理电路602可以是任何类型的计算元件中的一个或多个,如但不限于:微处理器、处理器、中央处理单元、数字信号处理单元、双核处理器、移动设备处理器、桌面处理器、单核处理器、片上系统(SoC)设备、复杂指令集计算(CISC)微处理器、精简指令集(RISC)微处理器、超长指令字(VLIW)微处理器、或单芯片或集成电路上的任何其他类型的处理器或处理电路。处理电路602可以经由互连643(诸如一根或多根总线、控制线和数据线)连接到计算系统的其他元件并与其通信。
在一个实施例中,计算设备605可以包括用于耦合至处理器电路602的存储器单元604。如给定实现方式所期望的,存储器单元604可以经由通信总线643或者通过处理器电路602与存储器单元604之间的专用通信总线耦合到处理器电路602。存储器单元604可以使用使能够储存数据的任何机器可读的或计算机可读的介质来实现,包括易失性和非易失性存储器两者。在一些实施例中,机器可读的或计算机可读的介质可以包括非暂态介质。实施例并不局限于此上下文中。在一些实施例中,存储器108可以与存储器单元604相同。
在各实施例中,计算设备605可以包括图形处理单元(GPU)606。GPU 606可包括经优化以执行图形相关操作的任何处理单元、逻辑或电路以及视频解码器引擎和帧关联引擎。GPU 606可以用于为诸如视频游戏、图形、计算机辅助设计(CAD)、仿真与可视化工具、成像等各种应用渲染2维(2D)和/或3维(3D)图像。各实施例不限于此方式;GPU 606可处理任何类型的图形数据,如图片、视频、程序、动画、3D、2D、目标图像等。
在一些实施例中,计算设备605可以包括显示控制器608。显示控制器608可以是用于处理图形信息并显示图形信息的任何类型的处理器、控制器、电路、逻辑等。显示控制器608可以从如(多个)缓冲器220的一个或多个缓冲器接收或检索图形信息。在处理所述信息之后,显示控制器608可以将图形信息发送到显示器。
在各实施例中,系统600可以包括收发器644。收发器644可以包括能够使用各种适合的无线通信技术发射和接收信号的一个或多个无线电。这样的技术可以涉及跨一个或多个无线网络进行通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。所述系统还可以包括用于有线网络的收发器,所述有线网络可以包括(但不限于)以太网、分组光网络(Packet Optical Networks)、(数据中心)网络结构等。在跨这样的网络进行通信时,收发器644可以根据任何版本中的一个或多个适用标准进行操作。实施例并不局限于此上下文中。
在各实施例中,计算设备605可以包括显示器645。显示器645可以构成能够显示从处理器电路602、图形处理单元606和显示控制器608接收的信息的任何显示设备。
在各实施例中,计算设备605可以包括存储设备646。存储设备646可以被实现为非易失性存储设备,如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附属存储设备、闪存、电池应急SDRAM(同步DRAM)和/或网络可接入的存储设备。在实施例中,存储设备646可以包括用于当例如包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强型保护的技术。存储设备646的进一步示例可以包括硬磁盘、软磁盘、只读光盘存储器(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储器卡或磁盘、各种类型的DVD设备、磁带设备、盒式磁带设备等。实施例并不局限于此上下文中。
在各实施例中,计算设备605可以包括一个或多个I/O适配器647。I/O适配器647的示例可以包括通用串行总线(USB)端口/适配器、IEEE 1394火线端口/适配器等。实施例并不局限于此上下文中。
图7展示了适用于实现之前所述的各实施例的示例性计算架构700的实施例。在一个实施例中,计算架构700可以包括或被实现为成像系统100和飞行时间设备110的一部分。
如本申请中所使用的,术语“系统”和“部件”旨在指计算机相关实体、或者硬件、硬件和软件的组合、软件、或执行中的软件,其示例由示例性计算架构700提供。例如,部件可以是但不限于:在处理器上运行的进程、处理器、硬盘驱动器、(光学和/或磁存储介质的)多个存储驱动、对象、可执行文件、执行线程、程序和/或计算机。举例来说,运行在服务器上的应用程序和该服务器二者都可以是部件。一个或多个部件可以驻留在进程和/或执行线程内,并且部件可以位于一个计算机上和/或分布在两个或多个计算机之间。进一步地,部件可以通过各种类型的通信介质彼此通信地耦合以协调操作。所述协调可以涉及信息的单向或双向交换。例如,部件可以以在通信介质上传达的信号的形式来传达信息。该信息可以被实现为分配给各信号线的信号。在这种分配中,每个消息都是信号。然而,另外的实施例可以替代地采用数据消息。可以跨各种连接发送这样的数据消息。示例性连接包括并行接口、串行接口和总线接口。
计算架构700包括各种公共计算元件,如一个或多个处理器、多核处理器、协处理器、存储单元、芯片组、控制器、外围设备、接口、振荡器、定时设备、视频卡、音频卡,多媒体输入/输出(I/O)部件、电源等。然而,实施例并不局限于计算架构700的实施方式。
如图7所示,计算架构700包括处理单元704、系统存储器706和系统总线708。处理单元704可以是各种商业上可获得的处理器,例如参照图1中所示的处理器部件102的进行描述的处理器。
系统总线708为系统部件(包括但不限于系统存储器706到处理单元704)提供接口。系统总线708可以是几种类型的总线结构中的任何一种,其可以进一步使用各种可商购的总线架构中的任何一种互连到存储器总线(具有或没有存储器控制器)、外围总线和局部总线。接口适配器可以经由槽架构连接到系统总线708。示例槽结构可以包括但不限于加速图形端口(AGP)、卡总线、(扩展)工业标准架构((E)ISA)、微通道架构(MCA)、NuBus、外围部件互连(扩展)(PCI(X))、PCI Express、个人计算机存储卡国际协会(PCMCIA)等。
计算架构700可以包括或实现各种制品。制品可以包括用于存储逻辑的计算机可读存储介质。计算机可读存储介质的示例可以包括能够存储电子数据的任何有形介质,包括易失性存储器或非易失性存储器、可移除存储器或不可移除存储器、可擦除存储器或不可擦除存储器、可写存储器或可重写存储器等。逻辑的示例可以包括使用任何合适类型的代码(诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、面向对象代码、可视代码等)实现的可执行计算机程序指令。实施例还可以至少部分地实现为包含在非暂态计算机可读介质之中或之上的指令,所述指令可以由一个或多个处理器读取和执行以使得能够执行本文描述的操作。
系统存储器706可以包括各种类型的一个或多个更高速存储器单元形式的计算机可读存储介质,如只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器、聚合体存储器(如铁电聚合物存储器)、双向存储器、相变或铁电存储器、硅氧氮氧硅(SONOS)存储器、磁性或光学卡、设备阵列(如独立磁盘冗余阵列(RAID))驱动、固态存储器驱动(例如,USB存储器)、固态驱动(SSD)和适用于存储信息的任何其他类型的存储介质。在图7所示的所展示的实施例中,系统存储器706可以包括非易失性存储器710和/或易失性存储器712。基本输入/输出系统(BIOS)可以被存储在非易失性存储器710中。
计算机702可包括一个或多个较低速的存储器单元的形式的各种类型的计算机可读存储介质,包括内置(或外置)硬盘驱动器(HDD)714、用于读写可移动磁盘718的磁软盘驱动器(FDD)716、以及用于读写可移动光盘722(例如,CD-ROM或DVD)的光盘驱动器720。HDD714、FDD 716和光盘驱动器720可以分别通过HDD接口724、FDD接口726和光盘驱动器接口728连接到系统总线708。用于外部驱动器实现的HDD接口724可以包括通用串行总线(USB)和IEEE 1394接口技术中的至少一者或两者。
驱动器以及相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的易失性和/或非易失性存储设备。例如,多个程序模块可以存储在驱动器和存储器单元710、712中,包括操作系统730、一个或多个应用程序732、其他程序模块734和程序数据736。在一个实施例中,一个或多个应用程序732、其他程序模块734和程序数据736可以包括例如系统105的各种应用和/或部件。
用户可以通过一个或多个有线/无线输入设备(例如,键盘738和诸如鼠标740的指向设备)将命令和信息输入到计算机702中。其他输入设备可以包括麦克风、红外(IR)远程控制、射频(RF)远程控制、游戏板、手写笔、读卡器、软件狗(Dongle)、指纹打印读取器、手套、图形输入板、操纵杆、键盘、视网膜读取器、触摸屏(例如,电容式、电阻式等)、轨迹球、轨迹板、传感器、触控笔等等。这些和其他输入设备经常通过输入设备接口742连接到处理单元704,所述输入设备接口耦合到系统总线708,但是可以通过诸如并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口等其它接口连接。
监视器744或其他类型的显示设备也经由接口(诸如视频适配器746)连接至系统总线708。监视器744可以在计算机702的内部或外部。除了监视器744之外,计算机通常还包括其他外围输出设备,如扬声器、打印机等。
计算机702可以使用经由到一个或多个远程计算机(诸如远程计算机748)的有线和/或无线通信的逻辑连接在联网环境中操作。远程计算机748可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点,并且通常包括相对于计算机702描述的许多或全部元件,尽管为了简洁的目的,仅展示了存储器/存储设备750。所描绘的逻辑连接包括至局域网(LAN)752和/或更大的网络(例如,广域网(WAN)754)的有线/无线连通性。这种LAN和WAN联网环境在办公室和公司中是常见的,并且便于企业范围的计算机网络(诸如内联网),所有这些网络都可以连接到全球通信网络(例如互联网)。
当在LAN连网环境中使用时,计算机702通过有线和/或无线通信网络接口或适配器756连接至LAN 752。适配器756可以便于到LAN 752的有线和/或无线通信,所述LAN还可以包括设置在其上的用于与适配器756的无线功能通信的无线接入点。
当在WAN联网环境中使用时,计算机702可以包括调制解调器758,或者连接到WAN754上的通信服务器,或者具有用于通过WAN 754例如通过互联网建立通信的其他装置。可以是内部或外部的和有线和/或无线设备的调制解调器758经由输入设备接口742连接到系统总线708。在联网环境中,相对于计算机702描绘的程序模块或其部分可以被存储在远程存储器/存储设备750中。应理解的是,所示网络连接是示例性的,并且可以使用在计算机之间建立通信链路的其他装置。
计算机702可操作以使用IEEE 802标准家族与有线或无线设备或实体进行通信,如无线设备操作性地布置在无线通信(例如,IEEE 802.11无线调制技术)中。这至少包括WiFi(或无线保真)、WiMax以及BluetoothTM无线技术、3G、4G、LTE无线技术等等。因此,通信可以是与常规网络一样的预定结构,或者简单地是至少两个设备之间的特定(ad hoc)通信。WiFi网络使用被称为IEEE 802.11x(a、b、g、n等)的无线电技术来提供安全、可靠、快速的无线连接。WiFi网络可用于将计算机彼此连接、连接到互联网以及连接到有线网络(使用IEEE 802.3相关的介质和功能)。
如之前参考图1-6所描述的,成像系统100的各元件可以包括各种硬件元件、软件元件或两者的组合。硬件元件的示例可以包括:设备、逻辑设备、部件、处理器、微处理器、电路、处理器、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件的示例可以包括:软件部件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。然而,判定是否是使用硬件元件和/或软件元件来实现实施例可以根据多个因数而变化,如针对给定的实现方式所期望的,如期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
详细的公开现在变为提供与进一步的实施例有关的示例。以下提供的示例一到三十三(1-33)旨在是示例性的而非限制性的。
在第一示例中,一种系统、设备、控制器、和/或装置可以包括至少部分地实现在电路中的一个或多个输入/输出(I/O)端口以及可操作地耦合到所述I/O端口的逻辑,所述逻辑的至少一部分以诸如电路的硬件实现,所述逻辑可以包括计算部件,所述计算部件用于:至少部分地基于环境恢复传感器测量信息来确定估计的环境电磁(EM)辐射信息;至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、感测矩阵信息、以及所述估计的环境EM辐射信息来确定估计的反照率信息;以及至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、范围恢复发射器调制信息、以及感测矩阵信息来确定估计的范围信息。
在第二示例中并且对于第一示例进一步而言,一种系统、设备、控制器、和/或装置可以包括传感器部件,所述传感器部件用于向EM辐射传感器设备提供环境恢复传感器调制信息,以便对环境EM辐射的至少一部分的采集进行时域调制,以及从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息。
在第三示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、和/或装置可以包括环境恢复传感器调制信息,所述环境恢复传感器调制信息可以对所述EM辐射传感器设备进行调制以在环境感测周期期间接收所述环境EM辐射,而不从与所述系统、设备、控制器、和/或装置相关联的EM辐射发射器设备发射EM辐射。
在第四示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括发射器部件和传感器部件,所述发射器部件用于向EM辐射发射器设备提供反照率恢复发射器调制信息,以便由所述EM辐射发射器设备对朝向表面的EM辐射的发射进行时域和空间调制;并且所述传感器部件用于:向所述EM辐射传感器设备提供反照率恢复传感器调制信息,以便对EM辐射的至少一部分的采集进行时域调制,以及从所述EM辐射传感器设备接收表示从所述EM辐射传感器设备发射并从所述表面反射回的EM辐射的至少一部分的反照率恢复传感器测量信息。
在第五示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括发射器部件和传感器部件,所述发射器部件用于向所述EM辐射发射器设备提供范围恢复发射器调制信息,以便由所述EM辐射发射器设备对朝向所述表面的EM辐射的发射进行时域和空间调制;并且所述传感器部件用于:向所述EM辐射传感器设备提供范围恢复传感器调制信息,以便对EM辐射的至少一部分的采集进行时域调制,以及从所述EM辐射传感器设备接收表示从所述EM辐射传感器设备发射并从所述表面反射回的EM辐射的至少一部分的范围恢复传感器测量信息。
在第六示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括范围恢复发射器调制信息和范围恢复传感器调制信息,所述范围恢复发射器调制信息可以对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个范围发射周期,并且所述范围恢复传感器调制信息用于对所述EM辐射传感器设备进行调制,以接收从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的所述至少一部分达至少一个范围感测周期。
在第七示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括范围恢复传感器调制信息,所述范围恢复传感器调制信息可以对所述EM辐射传感器设备进行时域调制,以便与发射所述EM辐射的空间模式达所述至少一个范围发射周期基本上同时地接收所述环境EM辐射达所述至少一个范围感测周期。
在第八示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括一个或多个I/O端口、EM辐射发射器设备以及EM辐射传感器设备,所述一个或多个I/O端口可以可操作地耦合到EM辐射发射器设备和EM辐射传感器设备,所述EM辐射发射器设备包括发射器设备和镜设备,并且所述EM辐射传感器设备可以包括用于检测EM辐射的检测器设备。
在第九示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括发射器设备和镜设备,所述发射器设备可以包括用于朝向所述镜设备发射EM辐射的电路和/或光学器件,并且所述镜设备可以包括用于将由所述发射器设备发射的所述EM辐射中的大部分以一个或多个角度朝向所述EM辐射发射器设备中的孔偏转的电路和/或光学器件。
在第十示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元:至少部分地基于环境恢复传感器测量信息来确定估计的环境电磁(EM)辐射信息,至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、感测矩阵信息、以及所述估计的环境EM辐射信息来确定估计的反照率信息,以及至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、范围恢复发射器调制信息、以及感测矩阵信息来确定估计的范围信息。
在第十一示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元:向EM辐射传感器设备提供环境恢复传感器调制信息,以便对环境EM辐射的至少一部分的采集进行时域调制;以及从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息。
在第十二示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元:生成和/或提供环境恢复传感器调制信息,所述环境恢复传感器调制信息用于对所述EM辐射传感器设备进行调制以在环境感测周期期间接收所述环境EM辐射,而不从EM辐射发射器设备发射EM辐射。
在第十三示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元:向EM辐射发射器设备提供反照率恢复发射器调制信息,以便由所述EM辐射发射器设备对朝向表面的EM辐射的发射进行时域和空间调制;向所述EM辐射传感器设备提供反照率恢复传感器调制信息,以便对EM辐射的至少一部分的采集进行时域调制;以及从所述EM辐射传感器设备接收表示从所述EM辐射传感器设备发射并从所述表面反射回的EM辐射的至少一部分的反照率恢复传感器测量信息。
在第十四示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元生成和/或提供所述反照率恢复发射器调制信息和反照率恢复传感器调制信息,所述反照率恢复发射器调制信息可以对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个反照率发射周期,并且所述反照率恢复传感器调制信息可以在所述EM辐射发射器设备发射所述EM辐射的空间模式持续最大反射周期之后对所述EM辐射传感器设备进行调制,以接收EM辐射的所述至少一部分达至少一个反照率感测周期。
在第十五示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元生成和/或提供所述反照率恢复发射器调制信息,所述反照率恢复发射器调制信息可以对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个反照率发射周期,并且所述至少一个反照率传感器发射周期的每个反照率发射周期包括所述最大反射周期和感测窗口周期。
在第十六示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元:向所述EM辐射发射器设备提供范围恢复发射器调制信息,以便由所述EM辐射发射器设备对朝向所述表面的EM辐射的发射进行时域和空间调制;向所述EM辐射传感器设备提供范围恢复传感器调制信息,以便对EM辐射的至少一部分的采集进行时域调制;以及从所述EM辐射传感器设备接收表示从所述EM辐射传感器设备发射并从所述表面反射回的EM辐射的至少一部分的范围恢复传感器测量信息。
在第十七示例中并且对于以上示例中的任一项进一步而言,一种包含非暂态计算机可读存储介质的物品,所述非暂态计算机可读存储介质包括多条指令,所述多条指令在由处理单元执行时使所述处理单元生成和/或提供范围恢复发射器调制信息和范围恢复传感器调制信息,所述范围恢复发射器调制信息可以对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个范围发射周期,并且所述范围恢复传感器调制信息可以对所述EM辐射传感器设备进行调制,以接收从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的所述至少一部分达至少一个范围感测周期。
在第十八示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:由处理器电路至少部分地基于环境恢复传感器测量信息来确定估计的环境EM辐射信息;由所述处理器电路至少部分地基于反照率恢复传感器测量信息、组合的恢复发射器调制信息、感测矩阵信息、和/或所述估计的环境EM辐射信息来确定估计的反照率信息;以及由所述处理器电路至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、感测矩阵信息、和/或反照率和范围恢复发射器调制信息来确定估计的范围信息。
在第十九示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:由处理器电路向电磁(EM)辐射传感器设备提供环境恢复传感器调制信息,以便对环境EM辐射的至少一部分的采集进行时域调制;以及由所述处理器电路从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息。
在第二十示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:生成和/或提供环境EM辐射传感器调制信息,所述环境EM辐射传感器调制信息可以对所述EM辐射传感器设备进行调制以在环境感测周期内接收所述环境EM辐射,而不从EM辐射发射器设备发射EM辐射。
在第二十一示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:由所述处理器电路向EM辐射发射器设备提供所述组合的恢复发射器调制信息,以便对朝向表面的EM辐射的发射进行时域和空间调制;以及由所述处理器电路向所述EM辐射传感器设备提供组合的恢复传感器调制信息,以对EM辐射的至少一部分的采集进行时域调制,其中所述组合的恢复传感器调制信息包括所述反照率恢复传感器调制信息和范围恢复传感器调制信息。
在第二十二示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:生成和/或提供组合的恢复发射器调制信息,所述组合的恢复发射器调制信息可以对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个组合的发射周期,并且每个组合的发射周期包括两个连续的感测窗口周期,所述两个连续的感测窗口周期包括第一感测窗口周期后接第二感测窗口周期。
在第二十三示例中并且对于以上示例中的任一项进一步而言,一种方法可以生成和/或提供范围恢复传感器调制信息和反照率恢复传感器调制信息,所述范围恢复传感器调制信息可以在至少一对部分范围感测周期内对EM辐射的至少一部分的采集进行时域调制,每对部分范围感测周期包括第一部分范围感测周期和第二部分范围感测期间,并且所述反照率恢复传感器调制信息可以在至少一个反照率感测周期内对EM辐射的至少一部分的采集进行时域调制,所述至少一个反照率感测周期在所述第一部分范围感测周期与所述第二部分范围感测周期之间。
在第二十四示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:由所述处理器电路从所述EM辐射传感器设备接收表示在所述至少一个反照率感测周期内从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的所述反照率恢复传感器测量信息。
在第二十五示例中并且对于以上示例中的任一项进一步而言,一种方法可以包括:由所述处理器电路从所述EM辐射传感器设备接收表示在所述第一部分范围感测周期内从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的第一部分范围恢复传感器测量信息;由所述处理器电路从所述EM辐射传感器设备接收表示在所述第二部分范围感测周期内从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的第二部分范围恢复传感器测量信息;以及由所述处理器电路至少部分地基于所述第一部分范围恢复传感器测量信息、所述第二部分范围恢复传感器测量信息、和/或所述反照率恢复传感器测量信息来确定所述范围恢复传感器测量信息。
在第二十六示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括:用于至少部分地基于环境恢复传感器测量信息来确定估计的环境EM辐射信息的装置;用于至少部分地基于反照率恢复传感器测量信息、组合的恢复发射器调制信息、感测矩阵信息、和/或所述估计的环境EM辐射信息来确定估计的反照率信息的装置;以及用于至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、感测矩阵信息、和/或反照率和范围恢复发射器调制信息来确定估计的范围信息的装置。
在第二十七示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括:用于向电磁(EM)辐射传感器设备提供环境恢复传感器调制信息以便对环境EM辐射的至少一部分的采集进行时域调制的装置;以及用于从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息的装置。
在第二十八示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括环境EM辐射传感器调制信息,所述环境EM辐射传感器调制信息可以对所述EM辐射传感器设备进行调制以在环境感测周期内接收所述环境EM辐射,而不从EM辐射发射器设备发射EM辐射。
在第二十九示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括:用于向EM辐射发射器设备提供所述组合的恢复发射器调制信息以便对朝向表面的EM辐射的发射进行时域和空间调制的装置;以及用于向所述EM辐射传感器设备提供组合的恢复传感器调制信息以对EM辐射的至少一部分的采集进行时域调制的装置,其中所述组合的恢复传感器调制信息包括所述反照率恢复传感器调制信息和范围恢复传感器调制信息。
在第三十示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括组合的恢复发射器调制信息,所述组合的恢复发射器调制信息可以对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个组合的发射周期,并且每个组合的发射周期包括两个连续的感测窗口周期,所述两个连续的感测窗口周期包括第一感测窗口周期后接第二感测窗口周期。
在第三十一示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括范围恢复传感器调制信息和反照率恢复传感器调制信息,所述范围恢复传感器调制信息在至少一对部分范围感测周期内对EM辐射的至少一部分的采集进行时域调制,每对部分范围感测周期包括第一部分范围感测周期和第二部分范围感测期间,并且所述反照率恢复传感器调制信息可以对EM辐射的至少一部分的采集进行时域调制达至少一个反照率感测周期,所述至少一个反照率感测周期在所述第一部分范围感测周期与所述第二部分范围感测周期之间。
在第三十二示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括:用于从所述EM辐射传感器设备接收所述反照率恢复传感器测量信息的装置,所述反照率恢复传感器测量信息表示在所述至少一个反照率感测周期内从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射。
在第三十三示例中并且对于以上示例中的任一项进一步而言,一种系统、设备、控制器、或装置可以包括:用于从所述EM辐射传感器设备接收第一部分范围恢复传感器测量信息的装置,所述第一部分范围恢复传感器测量信息表示在所述第一部分范围感测周期内从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射;用于从所述EM辐射传感器设备接收第二部分范围恢复传感器测量信息的装置,所述第二部分范围恢复传感器测量信息表示在所述第二部分范围感测周期内从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射;以及用于至少部分地基于所述第一部分范围恢复传感器测量信息、所述第二部分范围恢复传感器测量信息、和/或所述反照率恢复传感器测量信息来确定所述范围恢复传感器测量信息的装置。
一些实施例可使用表述“一个实施例”和“实施例”及其派生词来描述。这些术语意味着与实施例相联系地描述的具体特征、结构或者特性被包含在至少一个实施例中。短语“在一个实施例中”在本说明书中各地方的出现不一定全都引用相同的实施例。进一步地,一些实施例可使用表述“耦合”和“连接”及其派生词来描述。这些术语并不必旨在作为彼此的同义词。例如,一些实施例可使用术语“连接”和/或“耦合”来描述,以指示两个或更多个元件彼此直接物理接触或电气接触。然而,术语“耦合”还可以指两个或更多个元件未直接地彼此进行接触,但还是彼此进行合作或交互。
强调的是,提供本公开的摘要以允许读者快速确定本技术公开的本质。基于其将不被用于解释或者限制权利要求书的范围或者含义的理解提交所述摘要。此外,在前一个详细描述中,可以看到,出于将本公开连成一体的目的而将各种特征一起组合在单个实施例中。本公开的方法并不被解释为反映以下意图:所要求保护的实施例需要比每项权利要求中明确表述的特征更多的特征。而是被解释为:以下的权利要求书反映了本发明的主题在于比单个公开的实施例的全部特征少。因此,以下的权利要求书据此被并入详细的说明书中,其中,每项权利要求独立自主地作为单独的实施例。在所附权利要求书中,术语“包括(including)”和“其中(in which)”分别用作对应术语“包括(comprising)”和“其中(wherein)”的易懂的英文等价词。此外,术语“第一”、“第二”、“第三”等仅用作标签,且不旨在对它们的对象施加数字要求。
以上所描述的内容包括所公开的架构的示例。当然,不可能描述部件和/或方法的每个可想到的组合,但是本领域的技术人员可以认识到许多其他组合和置换是可能的。相应地,本新颖的架构旨在涵盖落入所附权利要求书的精神和范围内的全部这种变更、修改和变体。

Claims (26)

1.一种用于压缩感测的装置,包括:
一个或多个输入/输出(I/O)端口;以及
逻辑,所述逻辑可操作地耦合到所述I/O端口,所述逻辑的至少一部分在硬件中实现,所述逻辑包括计算部件,所述计算部件用于:
至少部分地基于环境恢复传感器测量信息来确定估计的环境电磁(EM)辐射信息,
至少部分地基于反照率恢复传感器测量信息、反照率恢复发射器调制信息、感测矩阵信息、以及所述估计的环境EM辐射信息来确定估计的反照率信息,以及
至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、范围恢复发射器调制信息、以及感测矩阵信息来确定估计的范围信息。
2.如权利要求1所述的装置,其中,所述逻辑进一步包括:
传感器部件,所述传感器部件用于:
向EM辐射传感器设备提供环境恢复传感器调制信息,以便对环境EM辐射的至少一部分的采集进行时域调制,以及
从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息。
3.如权利要求2所述的装置,其中,所述环境恢复传感器调制信息用于:对所述EM辐射传感器设备进行调制以在环境感测周期期间接收所述环境EM辐射,而没有来自与所述装置相关联的EM辐射发射器设备的EM辐射的发射。
4.如权利要求1所述的装置,其中,所述逻辑进一步包括:
发射器部件,所述发射器部件用于向EM辐射发射器设备提供反照率恢复发射器调制信息,以便由所述EM辐射发射器设备对朝向表面的EM辐射的发射进行时域和空间调制,
传感器部件,所述传感器部件用于:
向所述EM辐射传感器设备提供反照率恢复传感器调制信息,以便对EM辐射的至少一部分的采集进行时域调制,以及
从所述EM辐射传感器设备接收表示从所述EM辐射传感器设备发射并从所述表面反射回的EM辐射的至少一部分的反照率恢复传感器测量信息。
5.如权利要求1所述的装置,其中,所述逻辑进一步包括:
发射器部件,所述发射器部件用于向EM辐射发射器设备提供范围恢复发射器调制信息,以便由所述EM辐射发射器设备对朝向表面的EM辐射的发射进行时域和空间调制,以及
传感器部件,所述传感器部件用于:
向所述EM辐射传感器设备提供范围恢复传感器调制信息,以便对EM辐射的至少一部分的采集进行时域调制,以及
从所述EM辐射传感器设备接收表示从所述EM辐射传感器设备发射并从所述表面反射回的EM辐射的至少一部分的范围恢复传感器测量信息。
6.如权利要求5所述的装置,其中,
所述范围恢复发射器调制信息用于:对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个范围发射周期,以及
所述范围恢复传感器调制信息用于:对所述EM辐射传感器设备进行调制,以接收从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的所述至少一部分达至少一个范围感测周期。
7.如权利要求6所述的装置,其中,所述范围恢复传感器调制信息用于:对所述EM辐射传感器设备进行时域调制,以便与发射所述EM辐射的空间模式达所述至少一个范围发射周期同时地接收所述环境EM辐射达所述至少一个范围感测周期。
8.如权利要求1所述的装置,其中,
所述一个或多个I/O端口可操作地耦合到EM辐射发射器设备和EM辐射传感器设备,
所述EM辐射发射器设备包括发射器设备和镜设备,并且
所述EM辐射传感器设备包括用于检测EM辐射的检测器设备。
9.如权利要求8所述的装置,其中,
所述发射器设备包括:用于朝向所述镜设备发射EM辐射的电路和/或光学器件,并且
所述镜设备包括:用于以一个或多个角度将由所述发射器设备发射的所述EM辐射中的大部分朝向所述EM辐射发射器设备中的孔偏转的电路和/或光学器件。
10.一种用于压缩感测的设备,包括:
用于至少部分地基于环境恢复传感器测量信息来确定估计的环境EM辐射信息的装置;
用于至少部分地基于反照率恢复传感器测量信息、组合的恢复发射器调制信息、感测矩阵信息、和/或所述估计的环境EM辐射信息来确定估计的反照率信息的装置;以及
用于至少部分地基于范围恢复传感器测量信息、所述估计的反照率信息、感测矩阵信息、和/或反照率和范围恢复发射器调制信息来确定估计的范围信息的装置。
11.如权利要求10所述的设备,进一步包括:
用于向电磁(EM)辐射传感器设备提供环境恢复传感器调制信息以便对环境EM辐射的至少一部分的采集进行时域调制的装置;以及
用于从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息的装置。
12.如权利要求11所述的设备,其中,环境EM辐射传感器调制信息用于:对所述EM辐射传感器设备进行调制以接收所述环境EM辐射达环境感测周期,而没有来自EM辐射发射器设备的EM辐射的发射。
13.如权利要求10所述的设备,进一步包括:
用于向EM辐射发射器设备提供组合的恢复发射器调制信息以便对朝向表面的EM辐射的发射进行时域和空间调制的装置;以及
用于向所述EM辐射传感器设备提供组合的恢复传感器调制信息以便对EM辐射的至少一部分的采集进行时域调制的装置,其中,所述组合的恢复传感器调制信息包括所述反照率恢复传感器调制信息和范围恢复传感器调制信息。
14.如权利要求13所述的设备,其中,
所述组合的恢复发射器调制信息用于:对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个组合的发射周期,并且
每个组合的发射周期包括两个连续的感测窗口周期,所述两个连续的感测窗口周期包括第一感测窗口周期后接第二感测窗口周期。
15.如权利要求13所述的设备,其中,
所述范围恢复传感器调制信息用于:对EM辐射的至少一部分的采集进行时域调制达至少一对部分范围感测周期,每一对部分范围感测周期包括第一部分范围感测周期和第二部分范围感测期间,并且
所述反照率恢复传感器调制信息用于:对EM辐射的至少一部分的采集进行时域调制达至少一个反照率感测周期,所述至少一个反照率感测周期在所述第一部分范围感测周期与所述第二部分范围感测周期之间。
16.如权利要求15所述的设备,进一步包括:
用于从所述EM辐射传感器设备接收表示在所述至少一个反照率感测周期期间从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的所述反照率恢复传感器测量信息。
17.如权利要求15所述的设备,进一步包括:
用于从所述EM辐射传感器设备接收表示在所述第一部分范围感测周期期间从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的第一部分范围恢复传感器测量信息的装置;
用于从所述EM辐射传感器设备接收表示在所述第二部分范围感测周期期间从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的第二部分范围恢复传感器测量信息的装置;以及
用于至少部分地基于所述第一部分范围恢复传感器测量信息、所述第二部分范围恢复传感器测量信息、和/或所述反照率恢复传感器测量信息来确定所述范围恢复传感器测量信息的装置。
18.一种用于压缩感测的计算机实现的方法,包括:
由处理器电路至少部分地基于环境恢复传感器测量信息来确定估计的环境EM辐射信息;
由所述处理器电路至少部分地基于反照率恢复传感器测量信息、组合的恢复发射器调制信息、感测矩阵信息、和/或所述估计的环境EM辐射信息来确定估计的反照率信息;以及
由所述处理器电路至少部分地基于范围恢复传感器测量信息、所述估计反照率信息、感测矩阵信息、和/或反照率和范围恢复发射器调制信息来确定估计的范围信息。
19.如权利要求18所述的计算机实现的方法,进一步包括:
由所述处理器电路向电磁(EM)辐射传感器设备提供环境恢复传感器调制信息,以便对环境EM辐射的至少一部分的采集进行时域调制;以及
由所述处理器电路从所述EM辐射传感器设备接收表示所述环境EM辐射的至少一部分的所述环境恢复传感器测量信息。
20.如权利要求19所述的计算机实现的方法,其中,环境EM辐射传感器调制信息用于:对所述EM辐射传感器设备进行调制以接收所述环境EM辐射达环境感测周期,而没有来自EM辐射发射器设备的EM辐射的发射。
21.如权利要求18所述的计算机实现的方法,进一步包括:
由所述处理器电路向EM辐射发射器设备提供所述组合的恢复发射器调制信息,以便对朝向表面的EM辐射的发射进行时域和空间调制;以及
由所述处理器电路向所述EM辐射传感器设备提供组合的恢复传感器调制信息,以对EM辐射的至少一部分的采集进行时域调制,其中,所述组合的恢复传感器调制信息包括所述反照率恢复传感器调制信息和范围恢复传感器调制信息。
22.如权利要求21所述的计算机实现的方法,其中,
所述组合的恢复发射器调制信息用于:对所述EM辐射发射器设备进行时域和空间调制,以朝向所述表面发射EM辐射的空间模式达至少一个组合发射周期,并且
每个组合的发射周期包括两个连续的感测窗口周期,所述两个连续的感测窗口周期包括第一感测窗口周期后接第二感测窗口周期。
23.如权利要求21所述的计算机实现的方法,其中,
所述范围恢复传感器调制信息用于:对EM辐射的至少一部分的采集进行时域调制达至少一对部分范围感测周期,每一对部分范围感测周期包括第一部分范围感测周期和第二部分范围感测期间,并且
所述反照率恢复传感器调制信息用于:对EM辐射的至少一部分的采集进行时域调制达至少一个反照率感测周期,所述至少一个反照率感测周期在所述第一部分范围感测周期与所述第二部分范围感测周期之间。
24.如权利要求23所述的计算机实现的方法,进一步包括:
由所述处理器电路从所述EM辐射传感器设备接收表示在所述至少一个反照率感测周期期间从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的所述反照率恢复传感器测量信息。
25.如权利要求23所述的计算机实现的方法,进一步包括:
由所述处理器电路从所述EM辐射传感器设备接收表示在所述第一部分范围感测周期期间从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的第一部分范围恢复传感器测量信息;
由所述处理器电路从所述EM辐射传感器设备接收表示在所述第二部分范围感测周期期间从所述EM辐射传感器设备发射并从所述表面反射回的所述EM辐射的第二部分范围恢复传感器测量信息;以及
由所述处理器电路至少部分地基于所述第一部分范围恢复传感器测量信息、所述第二部分范围恢复传感器测量信息、和/或所述反照率恢复传感器测量信息来确定所述范围恢复传感器测量信息。
26.一种非暂态计算机可读存储介质,包括多条指令,所述多条指令在由处理单元执行时使所述处理单元执行如权利要求18-25中任一项所述的用于压缩感测的计算机实现的方法。
CN201680012398.8A 2015-03-27 2016-03-28 时空压缩飞行时间成像技术 Active CN107278272B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/671,238 2015-03-27
US14/671,238 US10145942B2 (en) 2015-03-27 2015-03-27 Techniques for spatio-temporal compressed time of flight imaging
PCT/US2016/024562 WO2016160725A1 (en) 2015-03-27 2016-03-28 Techniques for spatio-temporal compressed time of flight imaging

Publications (2)

Publication Number Publication Date
CN107278272A CN107278272A (zh) 2017-10-20
CN107278272B true CN107278272B (zh) 2021-10-29

Family

ID=55752733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012398.8A Active CN107278272B (zh) 2015-03-27 2016-03-28 时空压缩飞行时间成像技术

Country Status (5)

Country Link
US (1) US10145942B2 (zh)
KR (1) KR102524403B1 (zh)
CN (1) CN107278272B (zh)
TW (1) TWI622785B (zh)
WO (1) WO2016160725A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL251636B (en) * 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
WO2019110447A1 (en) 2017-12-04 2019-06-13 Ams International Ag Distance time-of-flight modules
US11221400B2 (en) * 2018-03-27 2022-01-11 Omnivision Technologies, Inc. Dual mode stacked photomultipliers suitable for use in long range time of flight applications
US11181419B2 (en) * 2018-10-09 2021-11-23 Omnivision Technologies, Inc. Photon sensing with threshold detection using capacitor-based comparator
DE102019217165A1 (de) * 2019-11-07 2021-05-12 Robert Bosch Gmbh Betriebsverfahren und Steuereinheit für ein LiDAR-System, LiDAR-System und Vorrichtung
CN111257653B (zh) * 2020-01-16 2021-06-22 湘潭大学 一种地下人行通道场景下电磁辐射预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627363A (en) * 1995-02-16 1997-05-06 Environmental Research Institute Of Michigan System and method for three-dimensional imaging of opaque objects using frequency diversity and an opacity constraint
CN1437063A (zh) * 1995-06-22 2003-08-20 3Dv系统有限公司 生成距景物距离的图象的方法和装置
WO2011084799A1 (en) * 2009-12-21 2011-07-14 Mesa Imaging Ag Stray light compensation method and system for time of flight camera systems
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
CN104380139A (zh) * 2012-02-23 2015-02-25 艾尔默斯半导体股份公司 用于测量发射器与接收器之间的测量系统的传输路径的性质的方法和传感器系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230142A (ja) * 1993-02-05 1994-08-19 Komatsu Ltd 埋設物探査装置
WO1999026083A1 (en) * 1997-11-13 1999-05-27 3Dv Systems Ltd. Three dimension imaging by dual wavelength triangulation
JP4939901B2 (ja) * 2006-11-02 2012-05-30 富士フイルム株式会社 距離画像生成方法及びその装置
US8055054B2 (en) * 2006-12-15 2011-11-08 General Electric Company Method and apparatus for thermographic nondestructive evaluation of an object
WO2009124601A1 (en) 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
CN102112844B (zh) * 2008-07-29 2013-04-24 微软国际控股私有有限公司 成像系统
US8421479B2 (en) * 2009-06-30 2013-04-16 Navisense Pulsed echo propagation device and method for measuring a parameter
US8964028B2 (en) * 2009-12-21 2015-02-24 Mesa Imaging Ag Stray light compensation method and system for time of flight camera systems
EP2378310B1 (en) * 2010-04-15 2016-08-10 Rockwell Automation Safety AG Time of flight camera unit and optical surveillance system
US8681255B2 (en) * 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9025019B2 (en) * 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US9891318B2 (en) * 2011-11-30 2018-02-13 Intel Corporation Location detection system
US20130301497A1 (en) 2012-05-12 2013-11-14 Broadcom Corporation Wi-Fi proximity considerations within single user, multiple user, multiple access, and/or MIMO wireless communications
US9607971B2 (en) * 2012-06-04 2017-03-28 Sony Corporation Semiconductor device and sensing system
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627363A (en) * 1995-02-16 1997-05-06 Environmental Research Institute Of Michigan System and method for three-dimensional imaging of opaque objects using frequency diversity and an opacity constraint
CN1437063A (zh) * 1995-06-22 2003-08-20 3Dv系统有限公司 生成距景物距离的图象的方法和装置
WO2011084799A1 (en) * 2009-12-21 2011-07-14 Mesa Imaging Ag Stray light compensation method and system for time of flight camera systems
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
CN104380139A (zh) * 2012-02-23 2015-02-25 艾尔默斯半导体股份公司 用于测量发射器与接收器之间的测量系统的传输路径的性质的方法和传感器系统

Also Published As

Publication number Publication date
US20160282452A1 (en) 2016-09-29
CN107278272A (zh) 2017-10-20
KR20170130389A (ko) 2017-11-28
WO2016160725A1 (en) 2016-10-06
TW201643464A (zh) 2016-12-16
KR102524403B1 (ko) 2023-04-20
TWI622785B (zh) 2018-05-01
US10145942B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
CN107278272B (zh) 时空压缩飞行时间成像技术
US11461964B2 (en) Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
US20180278910A1 (en) Correction of multipath interference in time of flight camera depth imaging measurements
US9070019B2 (en) Systems and methods for capturing motion in three-dimensional space
US10884109B2 (en) Analytical-adaptive multifrequency error minimization unwrapping
JP6239594B2 (ja) 3d情報処理装置及び方法
US20180343432A1 (en) Reducing Blur in a Depth Camera System
US10311589B2 (en) Model-based three-dimensional head pose estimation
JP5484133B2 (ja) 鏡面反射物体の3d姿勢を推定する方法
EP3135033B1 (en) Structured stereo
Ttofis et al. Edge-directed hardware architecture for real-time disparity map computation
US9897699B2 (en) Methods and apparatus for virtual sensor array
JP2017516238A (ja) 高精度単眼移動によるオブジェクト位置特定
KR20170052634A (ko) 심도 맵 향상
US20180268522A1 (en) Electronic device with an upscaling processor and associated method
CN104318100A (zh) 一种基于特征敏感投影算子的厚度点云薄化方法
JP2017158067A (ja) 監視システム、監視方法、および監視プログラム
KR20210127950A (ko) 동적 비전 센서 및 패턴 투사를 사용하는 3차원 이미징 및 감지
US11816854B2 (en) Image processing apparatus and image processing method
US8351653B2 (en) Distance estimation from image motion for moving obstacle detection
Mefenza et al. A framework for rapid prototyping of embedded vision applications
Nair et al. Ground truth for evaluating time of flight imaging
Chen et al. Robust speckle-autocorrelation non-line-of-sight imaging with generative adversarial networks
Miljković et al. Vehicle Distance Estimation Based on Stereo Camera System with Implementation on a Real ADAS Board
Vemulapati et al. ORB-based SLAM accelerator on SoC FPGA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant