CN110264399A - 生成超分辨率深度图 - Google Patents

生成超分辨率深度图 Download PDF

Info

Publication number
CN110264399A
CN110264399A CN201910156230.XA CN201910156230A CN110264399A CN 110264399 A CN110264399 A CN 110264399A CN 201910156230 A CN201910156230 A CN 201910156230A CN 110264399 A CN110264399 A CN 110264399A
Authority
CN
China
Prior art keywords
depth
elements
depth map
measurement
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910156230.XA
Other languages
English (en)
Inventor
胡安·卡斯特雷纳马丁内斯
金塔拉斯·文森特·普斯科里奥斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110264399A publication Critical patent/CN110264399A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了“生成超分辨率深度图”。描述了用于生成超分辨率深度图的系统和方法。一种方法包括：使用来自第一传感器的测量的深度元素和来自第二传感器的空间元素来确定多个未测量的深度图位置；对于所述多个未测量的深度图位置中的每一个，使用基于梯度的优化来计算估计的深度元素；以及生成包括所述测量的深度元素和所述估计的深度元素的超分辨率深度图。

Description

生成超分辨率深度图
技术领域
本公开的各方面总体上涉及车辆导航，并且更具体地涉及地图生成。
背景技术
现代光检测和测距(LIDAR)装置的分辨率低于现代摄像机成像装置。LIDAR装置中相对较低的深度分辨率(例如，相较于摄像机装置中的图像分辨率)可以等同于较少的情景感知，尤其是在LIDAR装置的环境经常变化的情况下。
发明内容
描述了一种深度分辨系统，其包括第一传感器、第二传感器和从所述第一传感器和第二传感器接收数据的计算机。所述计算机可以被编程为使用所述数据生成超分辨率深度图。并且描述了若干种生成超分辨率深度图的方法。根据一个说明性示例，所述方法包括：使用来自第一传感器的测量的深度元素和来自第二传感器的空间元素来确定多个未测量的深度图位置；对于所述多个未测量的深度图位置中的每一个，使用基于梯度的优化来计算估计的深度元素；以及生成包括测量的深度元素和估计的深度元素的超分辨率深度图。
根据上述至少一个示例，第一传感器是光检测和测距(LIDAR)装置，其中第二传感器是摄像机。
根据上述至少一个示例，还包括：将空间元素与测量的深度元素配准，其中多个未测量的深度图位置是不具有对应的测量的深度元素的空间元素的阵列的索引位置。
根据上述至少一个示例，在超分辨率深度图中，测量的深度元素和估计的深度元素中的每一者与从第二传感器接收的空间元素的阵列的唯一像素位置相对应。
根据上述至少一个示例，计算估计的深度元素还包括：关于每个未测量的深度图位置，量化关于相邻像素位置的深度不连续性的强度。
根据上述至少一个示例，优化包括确定成本函数的最小值。
根据上述至少一个示例，优化包括：满足xΩ＝yΩ，其中是超分辨率深度图，其中x是表示待估计的深度图图像的多维变量，其中y包括一组测量的深度元素，其中D是梯度算子，其中是l2范数，并且其中Ω表示与测量的深度元素相关联的一组像素索引。
根据上述至少一个示例，优化包括确定 的收敛。
根据上述至少一个示例，其中重复确定直到确定收敛或确定阈值(T)内的收敛。
根据上述至少一个示例，优化包括确定的收敛。
根据上述至少一个示例，其中重复确定直到确定收敛或确定阈值(T)内的收敛。
根据上述至少一个示例，确定收敛包括使用Nesterov方法来求解收敛率[O(1/k2)]的凸规划问题。
根据上述至少一个示例，还包括将超分辨率深度图与空间元素融合。
根据上述至少一个示例，还包括使用超分辨率深度图以自主模式导航车辆。
根据另一个说明性示例，描述了一种计算机，其包括处理器和存储器，所述存储器存储可由处理器执行的指令。所述指令包括：使用来自第一传感器的测量的深度元素和来自第二传感器的空间元素来确定多个未测量的深度图位置；对于所述多个未测量的深度图位置中的每一个，使用基于梯度的优化来计算估计的深度元素；以及生成包括测量的深度元素和估计的深度元素的超分辨率深度图。
根据上述至少一个示例，所述指令还包括：将从第二传感器接收的空间元素与测量的深度元素配准，其中多个未测量的深度图位置是不具有对应的测量的深度元素的空间元素的阵列的索引位置。
根据上述至少一个示例，在超分辨率深度图中，测量的深度元素和估计的深度元素中的每一者与从第二传感器接收的空间元素的阵列的唯一像素位置相对应。
根据上述至少一个示例，计算估计的深度元素的指令还包括：关于每个未测量的深度图位置，量化关于相邻像素位置的深度不连续性的强度。
根据上述至少一个示例，优化包括：满足xΩ＝yΩ，其中是超分辨率深度图，其中x是表示待估计的深度图图像的多维变量，其中y包括一组测量的深度元素，其中D是梯度算子，其中是l2范数，并且其中Ω表示与测量的深度元素相关联的一组像素索引。
根据上述至少一个示例，指令还包括：确定关于估计的深度元素的值的收敛；以及针对相应的收敛率使用Nesterov方法。
根据至少一个示例，公开了一种计算机，所述计算机被编程为执行上述指令示例的任何组合。
根据至少一个示例，公开了一种计算机，所述计算机被编程为执行上述方法示例的任何组合。
根据至少一个示例，公开了一种计算机程序产品，其包括存储指令的计算机可读介质，所述指令可由计算机处理器执行，其中所述指令包括上述指令或方法示例的任何组合。
附图说明
图1是示出车辆的示意图，所述车辆包括计算机、第一传感器和第二传感器。
图2示出了多个测量的深度元素。
图3示出了布置在阵列内的多个测量的空间元素。
图4示出了在图3的阵列内匹配的测量的深度元素。
图5示出了超分辨率深度图，其包括多个测量的深度元素和多个估计的深度元素(使用图1的计算机计算的)。
图6是示出用于生成超分辨率深度图的估计的过程的流程图。
图7示出了执行图6中所示的过程的一部分的一个示例。
图8示出了执行图6中所示的过程的所述部分的另一个示例。
图9示出了体现为空间数据的示例性场景，所述空间数据包括多个空间元素。
图10示出了图9的体现为深度数据的示例性场景，所述深度数据包括多个测量的深度元素。
图11示出了图9的体现为超分辨率深度图的估计的示例性场景，所述超分辨率深度图包括多个测量的深度元素和多个估计的深度元素。
具体实施方式
现在参考附图，其中相似的元件指代相似或相同的特征或功能，示出了深度分辨系统10。系统10被示为车辆12的一部分，车辆12可以使用系统10进行自主导航等。应当理解，车辆实施仅仅是一种环境，并且其他环境是可能的，包括任何合适的监视系统、情景感知系统、安全系统等，它们耦合到移动装置、便携式装置或静态结构(例如，静态结构包括但不限于车辆相关的基础设施或与车辆无关的基础设施)或者由它们携带。
根据所示的示例，深度分辨系统10包括两个传感器14、16和计算机18。第一传感器14(例如，光检测和测距装置)可以被配置为向计算机18提供深度数据，并且第二传感器16(例如，摄像机)可以被配置为向计算机18提供空间数据。根据至少一个说明性示例，第一传感器14和第二传感器16(分别)接收其相应周围环境内的共同场景的至少一部分的深度和空间数据。计算机18可以被编程为执行深度数据和空间数据的配准(有时也称为校准)，即，深度数据的元素可以被投影到空间数据的元素上，从而导致匹配或否则关于就该场景哪个测量的深度元素与测量的空间元素相对应的确定。通常，并且基于现有技术，第二传感器16的空间分辨率参数大于第一传感器14的对应分辨率参数。因此，(对于给定场景)，存在比(该场景的)深度元素更多的空间元素。并且如本领域技术人员将理解，可用分辨率越高，观察者(例如，人、计算机18等)将越能够分辨关于场景的细节。
如本文所使用，在二维空间元素阵列中存在对应的测量的深度元素的那些空间元素被称为通过计算机18匹配的(例如，匹配元素)，而没有对应的测量的深度元素的那些空间元素在本文中被称为未测量的深度图位置。在配准之后，并且将如下面详细描述，计算机18可以被编程有指令以执行基于梯度的优化来估计对应于多个未测量的深度位置的深度值。因此，计算机18可以实时地生成和/或输出所谓的超分辨率深度图，所述超分辨率深度图包括测量的深度元素(由第一传感器14测量的)和估计的深度元素(通过计算机18针对未测量的深度位置计算的)的合成。因此，在该过程之前，计算机可以接收所谓的稀疏深度图(例如，低深度分辨率)，并且在该过程之后，计算机可能已经生成超分辨率深度图(例如，高深度分辨率)。此外，(高分辨率)超分辨率深度图可以具有与第二传感器16的分辨率相同或相似的分辨率。以这种方式，深度数据和空间数据可以被融合(例如，一对一匹配)，从而增强计算机可用的关于其环境的信息。
在车辆12的示例性环境中，这可以用于自主地导航车辆12。并且在其他环境中，其可以用于改善情景感知，改善对单独使用空间数据难以检测到的各种物体的检测，执行其他任务等。
下面是对示例性车辆环境的描述。此后，将描述确定估计的深度元素和/或输出超分辨率深度图的方法的示例。
图1示出了包括深度分辨系统10的车辆12。车辆12被示出为乘用车；然而，车辆12也可以是包括深度分辨系统10的卡车、运动型多功能车(SUV)、休闲车、公共汽车、轨道车、飞行器等。根据一个非限制性示例，车辆12是自主车辆，即，其以完全自主模式(例如，5级)操作，如由汽车工程师协会(SAE)定义(其已定义0至5级的操作)。例如，在0至2级，人类驾驶员监视或控制大部分驾驶任务，通常没有来自车辆12的帮助。例如，在0级(“无自动化”)，人类驾驶员负责所有车辆操作。在1级(“驾驶员辅助”)，车辆12有时辅助转向、加速或制动，但驾驶员仍然负责绝大部分车辆控制。在2级(“部分自动化”)，车辆12可以在某些情况下控制转向、加速和制动而无需人为干预。在3至5级，车辆12承担更多与驾驶相关的任务。在3级(“有条件的自动化”)，车辆12可以在某些情况下处理转向、加速和制动，以及对驾驶环境的监视。然而，3级可能需要驾驶员偶尔进行干预。在4级(“高度自动化”)，车辆12可以处理与在3级相同的任务，但在某些驾驶模式下不依赖于驾驶员进行干预。在5级(“完全自动化”)，车辆12可以处理所有任务而无需任何驾驶员干预。
在其他示例中，车辆12不是完全自主车辆。例如，车辆12可以替代地以部分自主或非自主模式(例如，0至5级之一)操作。
如上面部分所述，系统10可以包括第一传感器14、第二传感器16和计算机18，以及实现装置14、16、18和车辆12上的任何其他电子装置(未示出)之间的通信的任何合适的有线或无线网络连接24。在至少一个示例中，连接24包括以下一者或多者：控制器局域网(CAN)总线、以太网、局域互连网(LIN)、光纤连接等。也存在其他示例。例如，替代地或与例如CAN总线组合，连接24可以包括一个或多个离散的有线或无线连接。
第一传感器14可以是被配置和/或编程为确定传感器14的接收器(未示出)与场景中的物体(与其间隔开)之间的空间距离的任何合适的电子装置。根据一个非限制性示例，第一传感器14是光检测和测距(LIDAR)装置。LIDAR装置是有源感测装置；即，它们在时间(t0)从发射器发射电磁辐射信号并且在时间(t1)在接收器处接收所发射的信号的返回或反射，从而使用光和时差(Δt或t1-t0)的性质来确定LIDAR装置与其上反射信号的物体之间的距离。从LIDAR装置接收的深度数据可以被称为点云数据(即，如本文所使用，点云数据包括预定坐标系中的一组数据点(在本文中被称为测量的深度元素))。通常，LIDAR装置是本领域技术人员已知的；因此，此处将不对其进行更详细讨论。应当理解，LIDAR装置仅仅是第一传感器14的一个示例；可以替代地采用其他距离测量装置(例如，无线电检测和测距(雷达)装置、声纳装置等)。
图2示出了点云数据26的一部分。此处仅出于说明目的示出了整个点云的一小部分。点云数据26包括多个测量的深度元素28。如本文所使用，测量的深度元素是从第一传感器14接收的单位数据，其中所述单位数据包括空间测量值，所述空间测量值定义第一传感器14与其上反射能量传输并返回到第一传感器14的物体之间的距离。
如图1所示的第二传感器16可以是任何合适的电子装置，其被配置和/或编程为接收光能并检测电磁频谱内的不同光带。根据一个非限制性示例，第二传感器16是摄像机。摄像机的非限制性示例包括互补金属氧化物半导体(CMOS)装置、电荷耦合装置(CCD)、其他无源感测装置、有源感测装置、无源和有源感测装置(即两者)等。摄像机是本领域技术人员已知的；因此，此处将不对其进行更详细讨论。
仅出于说明的目的，第二传感器16可以将二维空间元素阵列输出到计算机18，所述阵列的大小和形状是特定第二传感器16的性质。仅出于说明的目的，图3中示出了二维34的一部分的非限制性示例(例如，10×10像素36的阵列34)。整个像素阵列通常大很多并且可以具有高分辨率(例如，高分辨率阵列可以大于1600×1200个像素并且具有相对较高的像素密度(即，每单位面积的像素数量))。仅出于解释本公开的目的，将示出阵列34的一部分。图3示出了每个像素36可以包括空间元素38；如本文所使用，空间元素是使用第二传感器16的像素或像素状区域接收的单位数据，其中所述单位数据包括与来自周围场景的反射或发射相关联的电磁(EM)能量的测量值(因此，这样的空间元素也可以被称为测量的空间元素，因为第二传感器16量化所接收的EM能量)。在至少一个示例中，所接收的EM能量不是源自第二传感器16(即，在至少一个示例中，传感器16不是有源感测装置)。
再次回到图1，计算机18包括至少一个处理器42和存储器44。处理器42可以被编程为处理和/或执行数字指令以执行本文描述的至少一些任务。处理器42的非限制性示例包括微处理器、微控制器或控制器、专用集成电路(ASIC)等，仅举数例。并且可存储在存储器44中并可由处理器42执行的数字存储指令的一些非限制性示例包括：从第一传感器14接收测量的深度元素；从第二传感器16接收空间元素；将所接收的空间元素与对应的测量的深度元素配准；确定多个未测量的深度图位置；针对多个未测量的深度图位置计算估计的深度元素；以及生成超分辨率深度图，所述超分辨率深度图包括测量的深度元素(例如，从第一传感器14接收的)和估计的深度元素(由计算机18计算的)的合成。在下面的一个或多个过程中描述了指令的可以代替这些示例和/或除了这些示例之外使用的附加和更具体的示例，以及指令序列。
如下面将更详细描述，图4示出了(点云数据26的)测量的深度元素28与包括空间元素38(然而，此处，为了清楚起见，空间元素38被隐藏)的像素36的阵列34的配准46。如下面将更详细讨论，关于共同场景(第一传感器14从其接收深度数据并且第二传感器16从其接收空间数据)，空间元素38与对应的测量的深度元素28匹配。如本文所使用，其中空间元素38与对应的测量的深度元素不匹配的阵列34中的索引位置被称为未测量的深度图位置48。如下面将更详细描述，计算机18将针对这些未测量的深度图位置48计算估计的深度元素(例如，深度值)，以便生成超分辨率深度图。
此外，图5示出了示例性超分辨率深度图50(或其至少一部分)。还如将在下面更详细描述，所示的图50包括位置48中测量的深度元素28和多个估计的深度元素52的合成。如本文所使用，超分辨率深度图是对于捕获场景的一部分具有与估计的(例如，计算的)空间点密度(来自第二传感器16)匹配的实际(例如，测量的)数据点密度(来自第一传感器14)的深度图。例如，鉴于相同的视野(对于传感器14和传感器16)，超分辨率深度图将具有与传感器16的视野的像素阵列相同的分辨率(例如，数据点的数量)。
存储器44可以包括任何非暂时性计算机可用或可读介质，所述非暂时性计算机可用或可读介质可以包括一个或多个存储装置或物品。示例性非暂时性计算机可用存储装置包括传统硬盘、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)以及任何其他易失性或非易失性介质。非易失性介质包括例如光盘或磁盘和其他永久存储器，并且易失性介质例如还可以包括动态随机存取存储器(DRAM)。这些存储装置是非限制性示例；例如，其他形式的计算机可读介质存在并且包括磁介质、光盘ROM(CD-ROM)、数字视频盘(DVD)、其他光学介质、任何合适的存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。如上所述，存储器44可以存储一个或多个计算机程序产品，所述一个或多个计算机程序产品可以体现为软件、固件或可由处理器42执行的其他编程指令。
现在参考图6，示出了可由计算机18执行的过程600。使用过程600，计算机18可以生成和/或输出超分辨率深度图50。过程600开始于框610，其中计算机18接收共同场景60的空间元素38(从第二传感器16)。示例性共同场景60在图9至图11中示出；如本文所使用，共同场景是第一传感器14和第二传感器16的同时观察，其中两个传感器14、16接收关于它们相应环境的共同区域的信息。例如，第一传感器的视野可以至少部分与第二传感器16的视野重叠。如图3所示，空间元素38可以根据阵列34布置，并且阵列34可以以任何合适的方式索引；例如，可以使用标签i来标注水平轴并且可以使用标签j来标注竖直轴。因此，可以通过其像素位置(i，j)来标注任何像素36。并且如下所述，任何未测量的深度图位置48也可以通过其相应的像素位置(i，j)来标注。
在框620中，计算机18可以接收点云数据26，例如，从第一传感器14接收测量的深度元素28。如图2至图3所示，对于共同场景，测量的深度元素28相对于对应的空间元素38的相对密度可以是稀疏的，因为深度数据的分辨率(例如，对于LIDAR装置)通常小于空间数据的分辨率(例如，对于摄像机)。
在接收到空间元素38和测量的深度元素28两者之后，在框630中，计算机18可以执行配准46(例如，部分在图4中示出)。虽然空间元素38在图4中被隐藏，但是可以理解，测量的深度元素28被映射到阵列34的对应的像素位置(i，j)，如上所述。配准还可以包括识别多个未测量的深度图位置48，例如，通过计算机18确定哪些像素位置不具有对应的测量的深度元素28。
在框640中，计算机18应用迭代的基于梯度的优化并计算多个估计的深度元素；如本文所使用，估计的深度元素是未测量的深度图位置48的计算机计算的深度值(参见图4至图5)。下面将关于图7和图8更详细地解释如何确定框640的示例。
在框640之后的框650中，计算机18可以生成超分辨率深度图50。例如，由于计算机18可以临时存储用于给定扫描的测量的深度元素28，因此其可以将这些深度值与估计的深度元素融合。下面还将关于图7至图8更详细地描述框650。根据至少一个示例，框650包括将所生成的超分辨率深度图50输出到另一计算装置(例如，经由网络连接24)。然而，在其他示例中，计算机18不输出图50。例如，计算机18可以在内部使用超分辨率深度图50，例如，计算机18也可以被编程为执行一个或多个自主驾驶功能，并且超分辨率深度图50可以由计算机18使用来确定如何导航车辆12。
应当理解，过程600可以在点火循环期间重复多次。例如，框610至650的单次迭代可以为单个时刻提供超分辨率深度图50。例如，图9示出了在计算机18处从第二传感器16接收的多个空间元素(例如，场景60内的图像)的示例(框610)。图10示出了在计算机18处从第一传感器14接收的多个测量的深度元素(例如，相同场景60的稀疏深度图)的示例(框620)。并且图11示出了场景60的输出的超分辨率深度图50的示例，其包括测量的深度元素(图10)和多个未测量的深度图位置48的估计的深度元素52(例如，估计的深度元素52由计算机18在框640中确定)。注意：在图11中，较暗区域远离第一传感器14，而较亮区域靠近第一传感器14。
图9至图11示出了在这样的单个时刻的单个场景。然而，物体62、64(例如，人62、车辆64)中的一些可能正在移动；因此，可能需要重复执行框610至650。在自主车辆环境中，物体62、64、66(例如，地面66)的移动可以是相对的，例如，当车辆12和/或物体本身(例如，62、64)可能正在移动时。因此，在框650之后，过程600可以循环回到开始并重复上述每个框，使得计算机18或其他车载系统可以具有关于车辆12周围的物体62至66的最新信息。
图7和图8各自示出了用于确定基于梯度的优化(图6，640)和生成超分辨率深度图50(图6，650)的技术。将依次讨论每种技术。
在图7中，框640可以包括若干示例性框710、720、730和740。通常，框640和650共同确定等式(1)，其确定f(x)的最小值，其中f(x)是成本函数(例如，也称为损失函数)中的第一约束，其中 (注意：虽然使用了l2范数，但是这仅仅是示例；例如，也可以替代地使用l1范数等。)
等式(1)
其中x是表示待估计的深度图图像的多维变量，根据等式(2)中所述的约束，其表示理论的高分辨率深度图(50)。
等式(2)
xΩ＝yΩ
关于等式(1)和(2)，Ω表示与测量的深度元素28相关联的一组像素索引，并且Ω′表示与未测量的深度图位置48相关联的一组像素索引。因此，yΩ表示一组测量的深度元素28(例如，从相对较低分辨率的LIDAR装置接收、配准并映射到阵列34)，并且xΩ表示一组生成的测量的深度元素28(例如，在超分辨率深度图50中，对应于未测量的深度图位置48)，如下面更详细解释。此外，表示计算的(例如，估计的)超分辨率深度图50，根据一个示例，其包括yΩ(等式2)和的组合(参见下面的等式4)。
回到等式(1)，D是数学梯度算子，其可以在每个未测量的深度图位置48处量化关于相邻像素位置的深度不连续性的强度，例如，在Dh(水平)和Dv(竖直)方向上，如等式(3)所示。此外，表示：针对向量x定义为的l2范数，其中N是标量元素xn的数量。
等式(3)
为了估计等式(1)中的计算机18可以执行框710至740。例如，在框710中，计算机18可以初始化若干值：t(优化迭代值)可以设置为1，s0(优化变换迭代值)可以设置为y，并且γ(表示梯度下降的学习速率的预定的正标量值(例如，成本函数的贡献相对于优化的强度(下面描述))可以被设置为大于零的值。这些值中的每一个可以存储在存储器55中。γ值可以被预先配置，以便平衡超分辨率深度图50重建的质量与收敛持续时间。
在随后的框720中，计算机18可以执行下面的等式(4)。
等式(4)
其中包括深度图估计，或者更具体地，估计的深度元素52的值的估计。
关于等式(4)，IΩ′表示仅选择由Ω′定义的像素位置(例如，未测量的深度图位置48)的函数。是成本函数的梯度算子。例如，成本函数是将一个或多个变量的值映射到实数上并由此表示与所述值相关联的一些成本(或损失)的函数；此处，当成本函数被配置为优化时，该函数寻求最小化一组相应的估计的深度元素52的成本函数(例如，确定全局最小值)。因此，成本函数可以收敛于这些全局最小值或者可以在阈值(T)内接近最小值。
在随后的框730中，计算机18可以递增值t。例如，计算机18可以计算t＝t+1。因此，对于初始迭代，计算t现在等于2。
在随后的框740中，计算机18可以确定是否已经收敛到最小值或是否在收敛的阈值(T)量内。可以以任何合适的方式确定收敛。例如，可以将的每次迭代(t)与的先前的值进行比较。可以基于的值的变化的缺乏或值的最小变化(例如，小于阈值(T))来确定收敛。在框740中，如果确定收敛或阈值(T)内的收敛，则过程前进到框650，并且如果确定没有收敛或没有阈值(T)内的收敛，则该过程可以循环返回并重复框720至740(例如，直到在框740中适当地收敛)。
在随后的框650中，超分辨率深度图可以使用的值生成，如等式(5)所示，其中并且
等式(5)
其表示一组测量的深度元素28与一组估计的深度元素52的合并。
现在参考图8，示出了图6的框640的另一实施方式，其使计算机18能够更快地执行优化(例如，图8示出了框640'和650)。在框640'的这个实施中，使用用于求解收敛率[O(1/k2)]的凸规划问题的Nesterov方法之一。并且由于框650可以与上面在至少一个示例中描述的框相同，因此将仅详细描述框640'。
框640'可以包括框810、820、830、840、850、860和870。框810可以在框630(图6)之后，并且框810可以与框710相同，除了可以初始化附加值之外；即，q0＝1，其中qt值可以是表示附加学习速率(例如，附加强度值)的标量，其用于加速确定梯度下降。
在随后的框820中，计算机18可以确定如等式(6)中所述的的值。如从下面的讨论中可以明显看出，可以包括中间值并且可以用于计算如下所述(参见等式(9))并且关于图7所示的过程所述。等式(6)中所示的其他变量和函数可以与上述那些相同或相似。
等式(6)
在随后的框830中，计算机18可以确定等式(7)。
等式(7)
在随后的框840中，计算机18可以使用等式(7)中确定的qt值来确定等式(8)。
等式(8)
λt＝(qt-1-1)/qt)，其中λt值也可以是表示附加学习速率(例如，附加强度值)的标量，其用于加速确定梯度下降。
在随后的框850中，计算机18可以使用在等式(6)和(8)中计算的值来确定等式(9)。
等式(9)
随后的框860可以与框730相同；因此，这里将不再重述。类似地，随后的框870可以与框740相同；因此，这里将不再重述，例如，除了如果确定没有收敛或没有阈值(T)内的收敛，则该过程可以循环返回并重复框820至870(例如，直到在框870中适当地收敛)。
如上所述，在框870之后，该过程可以前进到框650，其可以与先前描述的相同。因此，使用框640'，计算机18可以加速收敛的确定，从而增加计算机18确定超分辨率深度图50的速度。因此，可以增加超分辨率深度图确定的频率，从而允许(例如在车辆实施中)车辆12接收更多的实时情景感知。如本文所使用，实时是指输入数据(例如，框610、620)与输出数据(例如，框650)之间的时间差，其中这些实例之间的时间差小于150毫秒。
因此，使用上述过程和示例，计算机18可以接收稀疏深度图(例如，具有低深度分辨率)并生成超分辨率深度图50(例如，具有高深度分辨率)。此外，(高分辨率)超分辨率深度图50可以具有与第二传感器16的分辨率相同或相似的分辨率，其中可以测量一些深度数据，同时可以估计一些深度数据。在一些示例中，深度数据和空间数据可以被融合(例如，一对一匹配)，从而增强计算机可用的关于其环境的信息。例如，测量的深度元素28和估计的深度元素52中的每一者可以与从第二传感器16接收的空间元素38的阵列34的唯一像素位置相对应。
因此，已经描述了用于车辆的深度分辨系统。所述系统可以包括第一传感器、第二传感器和计算机。第一传感器可以接收关于其周围环境的稀疏深度数据，并且计算机可以使用稀疏深度数据和使用基于梯度的优化计算的估计的深度数据来计算超分辨率深度图。
一般来讲，所描述的计算系统和/或装置可以采用多种计算机操作系统中的任一种，包括但决不限于以下版本和/或种类：Ford 应用程序；AppLink/Smart DeviceLink中间件；汽车操作系统；Microsoft操作系统；Unix操作系统(例如，由加利福尼亚州红木海岸的甲骨文公司发布的操作系统)；由纽约州阿蒙克市的国际商业机器公司发布的AIX UNIX操作系统；Linux操作系统；由加利福尼亚州库比蒂诺市的苹果公司发布的Mac OSX和iOS操作系统；由加拿大滑铁卢的黑莓有限公司发布的黑莓操作系统；以及由谷歌公司和开放手机联盟开发的安卓操作系统；或由QNX软件系统公司提供的车载娱乐信息平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、或膝上型计算机或手持计算机、或一些其他计算系统和/或装置。
计算装置通常包括计算机可执行指令，其中所述指令可由诸如以上列出的那些的一个或多个计算装置执行。计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序编译或解译，所述编程语言和/或技术包括但不限于且单独地或组合地：JavaTM、C、C++、Visual Basic、Java Script、Perl等。这些应用程序中的一些可以在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。一般来讲，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并执行这些指令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。
计算机可读介质(也被称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。这种介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如典型地构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一个或多个传输介质传输，所述传输介质包括同轴电缆、铜线和光纤，包括构成耦合到计算机的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带，或计算机可从中读取的任何其他介质。
本文所述的数据库、数据存储库或其他数据存储可以包括用于存储、存取和检索各种数据的各种机制，包括分层数据库、文件系统中的一组文件、专有格式的应用程序数据库、关系数据库管理系统(RDBMS)等。每个这样的数据存储通常被包括在采用诸如以上提及中的一种的计算机操作系统的计算装置内，并且以各种方式中的任何一种或多种来经由网络进行存取。文件系统可以从计算机操作系统存取，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行存储的程序的语言之外，RDBMS通常还使用结构化查询语言(SQL)，诸如上文提及的PL/SQL语言。
在一些示例中，系统元件可以实施为一个或多个计算装置(例如，服务器、个人计算机等)上的计算机可读指令(例如，软件)，存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所述功能的此类指令。
处理器经由电路、芯片或其他电子部件实施，并且可以包括一个或多个微控制器、一个或多个现场可编程门阵列(FPGA)、一个或多个专用电路(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个客户集成电路等。处理器可以被编程为处理传感器数据。处理数据可以包括处理由传感器捕获的视频馈送或其他数据流，以确定主车辆的道路车道和任何目标车辆的存在。如下所述，处理器指示车辆部件根据传感器数据来致动。处理器可以结合到控制器(例如，自主模式控制器)中。
存储器(或数据存储装置)经由电路、芯片或其他电子部件来实施，并且可以包括以下一者或多者：只读存储器(ROM)；随机存取存储器(RAM)；快闪存储器；电可编程存储器(EPROM)；电可编程可擦除存储器(EEPROM)；嵌入式多媒体卡(eMMC)；硬盘驱动器；或任何易失性或非易失性介质等。存储器可以存储从传感器收集的数据。
已经以说明性方式描述了本公开，并且将理解，已经使用的术语旨在本质上是描述性的而不是限制性的字词。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以以不同于具体描述的其他方式实践。
根据本发明，一种方法包括：使用来自第一传感器的测量的深度元素和来自第二传感器的空间元素来确定多个未测量的深度图位置；对于所述多个未测量的深度图位置中的每一个，使用基于梯度的优化来计算估计的深度元素；以及生成包括测量的深度元素和估计的深度元素的超分辨率深度图。
根据一个实施例，第一传感器是光检测和测距(LIDAR)装置，其中第二传感器是摄像机。
根据一个实施例，上述发明的特征还在于，将空间元素与测量的深度元素配准，其中多个未测量的深度图位置是不具有对应的测量的深度元素的空间元素的阵列的索引位置。
根据一个实施例，在超分辨率深度图中，测量的深度元素和估计的深度元素中的每一者与从第二传感器接收的空间元素的阵列的唯一像素位置相对应。
根据一个实施例，计算估计的深度元素还包括：关于每个未测量的深度图位置，量化关于相邻像素位置的深度不连续性的强度。
根据一个实施例，优化包括确定成本函数的最小值。
根据一个实施例，优化包括满足xΩ＝yΩ，其中是超分辨率深度图，其中x是表示待估计的深度图图像的多维变量，其中y包括一组测量的深度元素，其中D是梯度算子，其中是l2范数，并且其中Ω表示与测量的深度元素相关联的一组像素索引。
根据一个实施例，优化包括确定的收敛。
根据一个实施例，重复确定直到确定收敛或确定阈值(T)内的收敛。
根据一个实施例，优化包括确定的收敛。
根据一个实施例，重复确定直到确定收敛或确定阈值(T)内的收敛。
根据一个实施例，确定收敛包括使用Nesterov方法来求解收敛率[O(1/k2)]的凸规划问题。
根据一个实施例，上述发明的特征还在于将超分辨率深度图与空间元素融合。
根据一个实施例，上述发明的特征还在于使用超分辨率深度图以自主模式导航车辆。
根据本发明，提供了一种计算机，其具有：处理器；以及存储器，其存储可由处理器执行的指令，所述指令包括：使用来自第一传感器的测量的深度元素和来自第二传感器的空间元素来确定多个未测量的深度图位置；对于所述多个未测量的深度图位置中的每一个，使用基于梯度的优化来计算估计的深度元素；以及生成包括测量的深度元素和估计的深度元素的超分辨率深度图。
根据一个实施例，所述指令还包括：将从第二传感器接收的空间元素与测量的深度元素配准，其中多个未测量的深度图位置是不具有对应的测量的深度元素的空间元素的阵列的索引位置。
根据一个实施例，在超分辨率深度图中，测量的深度元素和估计的深度元素中的每一者与从第二传感器接收的空间元素的阵列的唯一像素位置相对应。
根据一个实施例，计算估计的深度元素的指令还包括：关于每个未测量的深度图位置，量化关于相邻像素位置的深度不连续性的强度。
根据一个实施例，优化包括满足xΩ＝yΩ，其中是超分辨率深度图，其中x是表示待估计的深度图图像的多维变量，其中y包括一组测量的深度元素，其中D是梯度算子，其中是l2范数，并且其中Ω表示与测量的深度元素相关联的一组像素索引。
根据一个实施例，指令还包括：确定关于估计的深度元素的值的收敛；以及针对相应的收敛率使用Nesterov方法。

Claims (15)

1.一种方法，其包括：
使用来自第一传感器的测量的深度元素和来自第二传感器的空间元素来确定多个未测量的深度图位置；
对于所述多个未测量的深度图位置中的每一个，使用基于梯度的优化来计算估计的深度元素；以及
生成包括所述测量的深度元素和所述估计的深度元素的超分辨率深度图。
2.如权利要求1所述的方法，其中所述第一传感器是光检测和测距(LIDAR)装置，其中所述第二传感器是摄像机。
3.如权利要求1所述的方法，其还包括：将所述空间元素与所述测量的深度元素配准，其中所述多个未测量的深度图位置是不具有对应的测量的深度元素的所述空间元素的阵列的索引位置。
4.如权利要求1所述的方法，其中在所述超分辨率深度图中，所述测量的深度元素和所述估计的深度元素中的每一者与从所述第二传感器接收的空间元素的阵列的唯一像素位置相对应。
5.如权利要求1所述的方法，其中计算估计的深度元素还包括：关于每个未测量的深度图位置，量化关于相邻像素位置的深度不连续性的强度。
6.如权利要求1所述的方法，其中所述优化包括确定成本函数的最小值。
7.如权利要求1所述的方法，其中所述优化包括：
满足xΩ＝yΩ，其中是所述超分辨率深度图，其中x是表示待估计的深度图图像的多维变量，其中y包括一组测量的深度元素，其中D是梯度算子，其中是l2范数，并且其中Ω表示与所述测量的深度元素相关联的一组像素索引。
8.如权利要求1所述的方法，其中所述优化包括确定 的收敛。
9.如权利要求8所述的方法，其中重复确定直到确定收敛或确定阈值(T)内的收敛。
10.如权利要求1所述的方法，其中所述优化包括确定的收敛。
11.如权利要求10所述的方法，其中重复确定直到确定收敛或确定阈值(T)内的收敛。
12.如权利要求10所述的方法，其中确定所述收敛包括使用Nesterov方法来求解收敛率[O(1/k2)]的凸规划问题。
13.如权利要求1所述的方法，其还包括使用所述超分辨率深度图以自主模式导航车辆。
14.一种计算机，其包括：处理器和存储器，所述存储器存储可由所述处理器执行的指令，所述指令包括如权利要求1至13中任一项所述的方法。
15.一种计算机程序产品，其包括存储指令的计算机可读介质，所述指令可由计算机处理器执行，以执行如权利要求1至13中任一项所述的方法。
CN201910156230.XA 2018-03-12 2019-03-01 生成超分辨率深度图 Pending CN110264399A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/918,557 US10628920B2 (en) 2018-03-12 2018-03-12 Generating a super-resolution depth-map
US15/918,557 2018-03-12

Publications (1)

Publication Number Publication Date
CN110264399A true CN110264399A (zh) 2019-09-20

Family

ID=67701392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910156230.XA Pending CN110264399A (zh) 2018-03-12 2019-03-01 生成超分辨率深度图

Country Status (3)

Country Link
US (1) US10628920B2 (zh)
CN (1) CN110264399A (zh)
DE (1) DE102019105578A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764106A (zh) * 2019-10-09 2020-02-07 中交一公局集团有限公司 一种采用激光雷达辅助盾构区间调坡调线测量施工方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781591B2 (en) * 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
JP4216824B2 (ja) 2005-03-07 2009-01-28 株式会社東芝 ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
DE602007012321D1 (de) 2007-11-07 2011-03-10 Tele Atlas Bv Verfahren und anordnung zur abbildung von entfernungssensordaten auf bildsensordaten
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
GB0908200D0 (en) 2009-05-13 2009-06-24 Red Cloud Media Ltd Method of simulation of a real physical environment
JP5018980B2 (ja) 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
KR101030763B1 (ko) 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
WO2014074039A1 (en) * 2012-11-12 2014-05-15 Telefonaktiebolaget L M Ericsson (Publ) Processing of depth images
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9369689B1 (en) 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
US11328446B2 (en) * 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US10148873B2 (en) 2015-12-22 2018-12-04 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion adaptive fusion of optical images and depth maps acquired by cameras and depth sensors
CN108780569B (zh) 2016-01-08 2023-05-05 特利丹菲力尔有限责任公司 用于图像分辨率增强的系统和方法
US10582121B2 (en) * 2016-01-12 2020-03-03 Mitsubishi Electric Research Laboratories, Inc. System and method for fusing outputs of sensors having different resolutions
AU2018350909B2 (en) * 2017-10-16 2021-09-23 Illumina, Inc. Aberrant splicing detection using convolutional neural networks (CNNS)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置

Also Published As

Publication number Publication date
US20190279339A1 (en) 2019-09-12
US10628920B2 (en) 2020-04-21
DE102019105578A1 (de) 2019-09-12

Similar Documents

Publication Publication Date Title
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
CN111223135B (zh) 通过使用雷达和运动数据的单目相机来增强距离估计的系统和方法
US10748247B2 (en) Computing high-resolution depth images using machine learning techniques
US10096129B2 (en) Three-dimensional mapping of an environment
CN110312912B (zh) 车辆自动停车系统和方法
US11016496B2 (en) Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
CN109425855A (zh) 使用模拟传感器数据扩增现实传感器记录
CN112912920A (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN108271408A (zh) 使用被动和主动测量生成场景的三维地图
US20220051425A1 (en) Scale-aware monocular localization and mapping
CN105143907A (zh) 定位系统和方法
US11756308B2 (en) Neural network device and method using a neural network for sensor fusion
CN110398726A (zh) 传感器校准
US11119498B2 (en) Systems and methods for simulation utilizing a segmentable monolithic mesh
US10974730B2 (en) Vehicle perception system on-line diangostics and prognostics
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN108367436A (zh) 针对三维空间中的物体位置和范围的主动相机移动确定
CN110264399A (zh) 生成超分辨率深度图
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
EP4152274A1 (en) System and method for predicting an occupancy probability of a point in an environment, and training method thereof
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
US11561553B1 (en) System and method of providing a multi-modal localization for an object
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
Alliez et al. Indoor localization and mapping: Towards tracking resilience through a multi-slam approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination